CN107632987B - 一种对话生成方法及装置 - Google Patents

一种对话生成方法及装置 Download PDF

Info

Publication number
CN107632987B
CN107632987B CN201610567504.0A CN201610567504A CN107632987B CN 107632987 B CN107632987 B CN 107632987B CN 201610567504 A CN201610567504 A CN 201610567504A CN 107632987 B CN107632987 B CN 107632987B
Authority
CN
China
Prior art keywords
hidden layer
word
vector
question sentence
layer vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610567504.0A
Other languages
English (en)
Other versions
CN107632987A (zh
Inventor
舒悦
林芬
路彦雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610567504.0A priority Critical patent/CN107632987B/zh
Priority to PCT/CN2017/093417 priority patent/WO2018014835A1/zh
Publication of CN107632987A publication Critical patent/CN107632987A/zh
Priority to US15/997,912 priority patent/US10740564B2/en
Application granted granted Critical
Publication of CN107632987B publication Critical patent/CN107632987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种对话生成方法，包括：将第K轮询问句中的每个字转化为第一词向量，并根据第一词向量计算每个字的正向隐层向量和反向隐层向量；获取第K轮询问句的内容主题，并将内容主题转化为第二词向量；根据第二词向量、第K轮询问句中最后一个字的正向隐层向量、针对第K‑1轮询问句输出的第K‑1轮答复句中最后一个字的隐层向量、以及针对第K‑1轮询问句输出的第K‑1轮答复句的初始隐层向量，确定针对第K轮询问句输出的初始隐层向量；根据第K轮询问句中每个字的正向隐层向量和反向隐层向量、以及针对第K轮询问句输出的初始隐层向量，生成针对第K轮询问句的答复句，实施本发明实施例，可以提高生成对话的精确性。

Description

一种对话生成方法及装置
技术领域
本发明涉及语音处理领域，尤其涉及一种对话生成方法及装置。
背景技术
近年来，人机交互方式正发生着日新月异的变化，对话机器人正作为一种新的交互模式吸引着越来越多人的关注。然而，如何在多轮对话中提高自动生成的回复语句的相关性，如何降低高频答案的生成概率，生成高质量的对话，一直成为自然语言处理领域研究的重点，其中，对话系统是自然语言处理的一个重要应用方向。
在现有技术方案中，对话系统可以包括基于规则的对话系统、基于搜索的对话系统或生成式对话系统。其中，基于规则的对话系统结构简单、高准确度，但泛化能力较差；基于搜索的对话系统，要求语料库的质量以及数量比较高，否则容易出现低召回等问题；生成式对话系统可以较好的构建语言模型，对任意输入语句，均可生成对应的答句，生成式对话系统建模方式可以分为单轮建模与多轮建模两类，其中，单轮生成式对话模型仅对问答对进行建模，而在处理多轮对话时将上下文直接拼接成一句长问句，但当对话轮数较多且上下文较长时，容易出现信息压缩混乱，导致生成答句质量较低等问题，多轮生成式对话模型将多轮问答传递过程进行建模，但是该模型容易生成高频答案，精确度低。
发明内容
本发明实施例提供一种对话生成方法及装置。可以解决生成对话精确度低的技术问题。
本发明第一方面提供了一种对话生成方法，包括：
将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数；
获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量；
根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量；
根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
相应地，本发明第二方面提供了一种对话生成装置，包括：
隐层计算模块，用于将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数；
主题确定模块，用于获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量；
向量计算模块，用于根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量；
答复输出模块，用于根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
相应地，本发明第三方面提供了一种对话生成装置，所述装置包括接口电路、存储器以及处理器，其中，存储器中存储一组程序代码，且处理器用于调用存储器中存储的程序代码，用于执行以下操作：
将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数；
获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量；
根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量；
根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
实施本发明实施例，首先将第K轮询问句中的每个字转化为第一词向量，并根据第一词向量计算每个字的正向隐层向量和反向隐层向量；然后获取第K轮询问句的内容主题，并将内容主题转化为第二词向量；其次根据第二词向量、第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对第K轮询问句输出的初始隐层向量；最后根据第K轮询问句中每个字的正向隐层向量和反向隐层向量、以及针对第K轮询问句输出的初始隐层向量，生成针对第K轮询问句的答复句，通过在生成对话过程中加入主题内容，有效的抑制了跨主题通用高频答复句的生成，提高生成对话的精确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提出的一种对话生成方法的流程示意图；
图2是本发明提出的一种对话生成系统的架构示意图；
图3是本发明实施例提供的一种对话生成装置的结构示意图；
图4是本发明实施例提供的另一种对话生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1是本发明第一实施例提供的一种对话生成方法的流程示意图。如图所述，本发明实施例中的方法包括：
S101，将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数。
具体实现中，可以构建多轮对话模型，如图2所示，可以将每一轮的询问句以及相应的答复句嵌入到单轮对话模型中，多轮对话模型可以看作单轮对话模型的展开，在单轮对话模型中，可以分为encoder编码层、intention意图层以及decoder解码层。
在encoder编码层，可以首先获取用户输入的第K轮询问句，并将第K轮询问句以字进行分词，使用one-hot独热编码表示询问中的每个字的词向量，然后通过embedding嵌入空间矩阵将每个字的词向量转化成一个预定维数的向量其中，one-hot独热编码的维数为预设字典的大小，每一维对应字典中的一个字，仅在对应位为1，其他都为0，然后从前向后扫描第K轮询问句，逐次将每个字的词向量输入到正向数据处理网络GRU，记录输入每个字的正向隐层向量并且从后向前扫描第K轮询问句，逐次将每个字的词向量输入到反向数据处理网络GRU，记录输入每个字后的反向隐层向量
其中，可以根据所述第K轮询问句中目标字的第一词向量和所述目标字的上一个字的正向隐层向量，计算所述目标字的正向隐层向量，目标字的正向隐层向量可以表示为根据所述第K轮询问句中目标字的第一词向量和所述目标字的下一个字的反向隐层向量，计算所述目标字的反向隐层向量，目标字的反向隐层向量可以表示为
例如，第K轮询问句为“你看过电影吗？”，首先可以对“你看过电影吗”进行正向编码，将询问中的每个字转化为一个词向量，分别为 然后根据第一个字“你”的词向量确定第一个字“你”的正向隐层向量根据第二字“看”的词向量和第一个字“你”的正向隐层向量确定第一个字“看”的正向隐层向量根据第三个字“过”的词向量和第二个字“看”的正向隐层向量确定第三个字“过”的正向隐层向量逐次类推分别计算得到第四个字“电”的正向隐层向量第五个字“影”的正向隐层向量第六个字“吗”的正向隐层向量
另外，可以首先可以对“你看过电影吗”进行反向编码，将询问中的每个字转化为一个词向量，分别为然后根据第六个字“吗”的词向量确定第六个字“吗”的反向隐层向量根据第五字“影”的词向量和第六个字“吗”的反向隐层向量确定第五个字“影”的反向隐层向量根据第四个字“电”的词向量和第五个字“影”的反向隐层向量确定第四个字“电”的正向隐层向量逐次类推分别计算得到第三个字“过”的反向隐层向量第二个字“看”的正向隐层向量第一个字“我”的反向隐层向量
S102，获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量。
具体实现中，可以使用主题模型Biterm算法对多个词中的每个词进行训练，确定每个词作为内容主题的概率分布，然后将第K轮询问句与所述多个词进行匹配，确定第K轮询问句中概率最大的内容主题，该概率最大的内容主题可以使用one-hot独热编码表示，并构建该内容主题的embedding嵌入空间矩阵，从而得到该内容主题的词向量E(k)。
S103，根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量。
具体实现中，如图2所示，在intention意图层，可以将第K轮中encoder编码层中输出的询问句中最后一个字的正向隐层向量、内容主题的词向量E(k)、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对第K-1轮询问句输出的第K-1轮答复句的初始隐层向量输入到simple-RNN神经网络中，计算得到针对第K轮询问句输出的初始隐层向量，该初始隐层向量可以表示为其中，W(in,in)、W(in,de)、W(in,en)以及W(in,e)分别为simple-RNN神经网络中的参数，σ用于将h(in,k)初始隐层向量压缩在[0,1]区间，从而增加模型的非线性表征能力。
需要说明的是，在计算初始隐层向量的过程中，由于将第K轮询问句中的内容主题加入到intention意图层进行计算，相当于在运算过程中加入了监督信息，从而在生成的答复句可以被限制在该内容主题的范围内，进而减少部分通用高频答复句的生成概率。
S104，根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
具体实现中，首先对所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量进行拼接得到所述第K轮询问句中每个字的隐层向量，其中，每个字的隐层向量然后根据所述针对所述第K轮询问句输出的初始隐层向量以及预设的标识字符的词向量，确定针对所述第K轮询问句输出的第二隐层向量，进而根据所述第二隐层向量确定所述针对所述第K轮询问句输出的第一个答复字；根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成第二个答复字的贡献度；根据所述第K轮询问句中每个字对生成第二个答复字的贡献度、所述第二隐层向量以及所述第一个答复字的词向量，计算所述第三隐层向量；根据所述第三隐层向量，生成针对所述第K轮询问句的第二个答复字，依次类推生成针对所述第K轮询问句的答复句。
需要说明的是，使用双向结构的隐状态作为attention注意力的输入，可以更加精确的描述上下文中的重点信息，有效降低单向结构重点信息靠后的问题，由于双向结构的隐层状态在一定程度上可以增加每个字的全局信息，因此避免了单向结构越靠后的字所携带的信息越多的问题，使得生成的答复句相关性更强。
进一步的，可以根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成所述第二个答复字的权重；根据所述第K轮询问句中每个字对生成所述第二个答复字的权重，计算所述第K轮询问句中每个字的隐层向量的加权和，并将所述加权和作为所述第K轮询问句中每个字对生成所述第二个答复字的贡献度。
进一步的，可以根据所述第三隐层向量，计算在预设字典中的每个字的概率分布；选择在所述预设字典中概率最大的字作为所述第二个答复字进行输出，进而依次输出第三个答复字、第四答复字、第五答复字等等，每次可以选择50个字逐字生成答复句，并选择概率最高的前5句话。
例如：可以通过答复句中某字的上一个字的隐层向量和询问句中的每个字的隐层向量，计算询问句中每个字对生成该字的重要度gjt，其中，为该字的上一个字的隐层向量，为询问句中的每个字的隐层向量，W(de,de)、W(de,en)分别为神经网络中的参数，然后对重要度gjt进行归一化处理，计算得到第K轮询问句中每个字的隐层向量的权重最后计算第K轮询问句中每个字的隐层向量的加权和从而根据逐字生成该答复字的隐层向量，其中，为该字的上一个字的词向量，为该字的上一个字的隐层向量。
针对上述发明实施例提出的一种对话生成方法，以下通过详细的例子说明该方法的具体实施步骤：
在encoder编码层，首先将询问句“你看过电影吗”按字分词为“你”、“看”“、过”、“电”、“影”、“吗”，从“你”到“我”进行正向编码，形成6个字的正向隐层向量向量即attention注意力中从左向右的向量，然后再从“吗”到“你”进行反向编码，形成6个字的反向隐层向量 即attention注意力中从右向左的向量，最后将正向隐层向量和反向隐层向量进行串联拼接，形成某个字的隐层向量，例如，询问句中“你”的隐层向量 为“你”的正向隐层向量，为“你”的反向隐层向量，并且，将询问句中的最后一个字“吗”的正向隐层向量输入到intention意图层。
在intention意图层，首先通过计算得到询问句“你看过电影吗”的内容主题为“电影”，并对内容主题“电影”进行编码得到主题向量，然后将上一轮的intention意图层的输出向量，上一轮的decoder解码层的输出向量，本轮encoder编码层的输出向量以及主题向量一并输入到intention意图层，通过神经网络运算输出初始隐层向量，该初始隐层向量可以用于decoder解码层确定答句的第一个字。
在decoder解码层，可看做encoder编码层的逆向过程，可以将词向量和隐层向量解码为自然语言，可以根据intention意图层输出的初始隐层向量和attention注意力层中询问句中每个字的词向量，生成答句“我喜欢欧美电影”。假设一个10000个字的字典，decoder每次解码会生成该1万个字的概率分布，然后每次选取概率最大的一个字进行输出。具体过程如下：首先intention的输出初始隐层向量，并将该初始隐层向量以及第一个字符是标识字符“_EOS_”的词向量输入到decoder解码层，通过神经网络更新隐层向量得到第二隐层向量，第二隐层向量通过softmax回归算法生成1万个字的概率分布，其中“我”字的概率最大，因此输出答复字“我”，然后将第二隐层向量和答复字“我”的词向量作为输入，生成第三隐层向量，根据第三隐层向量计算下一个字的概率分布，取概率最大的“喜”字作为输出。重复以上过程，直到输出特殊符号_EOS_时结束全部过程，则可以生成答复句“我喜欢欧美电影_EOS_”。
在本发明实施例中，首先将第K轮询问句中的每个字转化为第一词向量，并根据第一词向量计算每个字的正向隐层向量和反向隐层向量；然后获取第K轮询问句的内容主题，并将内容主题转化为第二词向量；其次根据第二词向量、第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对第K轮询问句输出的初始隐层向量；最后根据第K轮询问句中每个字的正向隐层向量和反向隐层向量、以及针对第K轮询问句输出的初始隐层向量，生成针对第K轮询问句的答复句，通过在生成对话过程中加入主题内容，有效的抑制了跨主题通用高频答复句的生成，提高生成对话的精确性。
请参考图3，图3是本发明实施例提供的一种对话生成装置的结构示意图。如图所述，本发明实施例中的装置包括：
隐层计算模块301，用于将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数。
具体实现中，可以构建多轮对话模型，如图2所示，可以将每一轮的询问句以及相应的答复句嵌入到单轮对话模型中，多轮对话模型可以看作单轮对话模型的展开，在单轮对话模型中，可以分为encoder编码层、intention意图层以及decoder解码层。
在encoder编码层，可以首先获取用户输入的第K轮询问句，并将第K轮询问句以字进行分词，使用one-hot独热编码表示询问中的每个字的词向量，然后通过embedding嵌入空间矩阵将每个字的词向量转化成一个预定维数的向量其中，one-hot独热编码的维数为预设字典的大小，每一维对应字典中的一个字，仅在对应位为1，其他都为0，然后从前向后扫描第K轮询问句，逐次将每个字的词向量输入到正向数据处理网络GRU，记录输入每个字的正向隐层向量并且从后向前扫描第K轮询问句，逐次将每个字的词向量输入到反向数据处理网络GRU，记录输入每个字后的反向隐层向量
其中，可以根据所述第K轮询问句中目标字的第一词向量和所述目标字的上一个字的正向隐层向量，计算所述目标字的正向隐层向量，目标字的正向隐层向量可以表示为根据所述第K轮询问句中目标字的第一词向量和所述目标字的下一个字的反向隐层向量，计算所述目标字的反向隐层向量，目标字的反向隐层向量可以表示为
例如，第K轮询问句为“你看过电影吗？”，首先可以对“你看过电影吗”进行正向编码，将询问中的每个字转化为一个词向量，分别为 然后根据第一个字“你”的词向量确定第一个字“你”的正向隐层向量根据第二字“看”的词向量和第一个字“你”的正向隐层向量确定第一个字“看”的正向隐层向量根据第三个字“过”的词向量和第二个字“看”的正向隐层向量确定第三个字“过”的正向隐层向量逐次类推分别计算得到第四个字“电”的正向隐层向量第五个字“影”的正向隐层向量第六个字“吗”的正向隐层向量
另外，可以首先可以对“你看过电影吗”进行反向编码，将询问中的每个字转化为一个词向量，分别为然后根据第六个字“吗”的词向量确定第六个字“吗”的反向隐层向量根据第五字“影”的词向量和第六个字“吗”的反向隐层向量确定第五个字“影”的反向隐层向量根据第四个字“电”的词向量和第五个字“影”的反向隐层向量确定第四个字“电”的正向隐层向量逐次类推分别计算得到第三个字“过”的反向隐层向量第二个字“看”的正向隐层向量第一个字“我”的反向隐层向量
主题确定模块302，用于获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量。
具体实现中，可以使用主题模型Biterm算法对多个词中的每个词进行训练，确定每个词作为内容主题的概率分布，然后将第K轮询问句与所述多个词进行匹配，确定第K轮询问句中概率最大的内容主题，该概率最大的内容主题可以使用one-hot独热编码表示，并构建该内容主题的embedding嵌入空间矩阵，从而得到该内容主题的词向量E(k)。
向量计算模块303，用于根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量。
具体实现中，如图2所示，在intention意图层，可以将第K轮中encoder编码层中输出的询问句中最后一个字的正向隐层向量、内容主题的词向量E(k)、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对第K-1轮询问句输出的第K-1轮答复句的初始隐层向量输入到simple-RNN神经网络中，计算得到针对第K轮询问句输出的初始隐层向量，该初始隐层向量可以表示为其中，W(in,in)、W(in,de)、W(in,en)以及W(in,e)分别为simple-RNN神经网络中的参数，σ用于将h(in,k)初始隐层向量压缩在[0,1]区间，从而增加模型的非线性表征能力。
需要说明的是，在计算初始隐层向量的过程中，由于将第K轮询问句中的内容主题加入到intention意图层进行计算，相当于在运算过程中加入了监督信息，从而在生成的答复句可以被限制在该内容主题的范围内，进而减少部分通用高频答复句的生成概率。
答复输出模块304，用于根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
具体实现中，首先对所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量进行拼接得到所述第K轮询问句中每个字的隐层向量，其中，每个字的隐层向量然后根据所述针对所述第K轮询问句输出的初始隐层向量以及预设的标识字符的词向量，确定针对所述第K轮询问句输出的第二隐层向量，进而根据所述第二隐层向量确定所述针对所述第K轮询问句输出的第一个答复字；根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成第二个答复字的贡献度；根据所述第K轮询问句中每个字对生成第二个答复字的贡献度、所述第二隐层向量以及所述第一个答复字的词向量，计算所述第三隐层向量；根据所述第三隐层向量，生成针对所述第K轮询问句的第二个答复字，依次类推生成针对所述第K轮询问句的答复句。
需要说明的是，使用双向结构的隐状态作为attention注意力的输入，可以更加精确的描述上下文中的重点信息，有效降低单向结构重点信息靠后的问题，由于双向结构的隐层状态在一定程度上可以增加每个字的全局信息，因此避免了单向结构越靠后的字所携带的信息越多的问题，使得生成的答复句相关性更强。
进一步的，可以根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成所述第二个答复字的权重；根据所述第K轮询问句中每个字对生成所述第二个答复字的权重，计算所述第K轮询问句中每个字的隐层向量的加权和，并将所述加权和作为所述第K轮询问句中每个字对生成所述第二个答复字的贡献度。
进一步的，可以根据所述第三隐层向量，计算在预设字典中的每个字的概率分布；选择在所述预设字典中概率最大的字作为所述第二个答复字进行输出，进而依次输出第三个答复字、第四答复字、第五答复字等等，每次可以选择50个字逐字生成答复句，并选择概率最高的前5句话。
例如：可以通过答复句中某字的上一个字的隐层向量和询问句中的每个字的隐层向量，计算询问句中每个字对生成该字的重要度gjt，其中，为该字的上一个字的隐层向量，为询问句中的每个字的隐层向量，W(de,de)、W(de,en)分别为神经网络中的参数，然后对重要度gjt进行归一化处理，计算得到第K轮询问句中每个字的隐层向量的权重最后计算第K轮询问句中每个字的隐层向量的加权和从而根据逐字生成该答复字的隐层向量，其中，为该字的上一个字的词向量，为该字的上一个字的隐层向量。
针对上述发明实施例提出的一种对话生成装置，以下通过详细的例子说明该方法的具体实施步骤：
在encoder编码层，首先将询问句“你看过电影吗”按字分词为“你”、“看”“、过”、“电”、“影”、“吗”，从“你”到“我”进行正向编码，形成6个字的正向隐层向量向量即attention注意力中从左向右的向量，然后再从“吗”到“你”进行反向编码，形成6个字的反向隐层向量 即attention注意力中从右向左的向量，最后将正向隐层向量和反向隐层向量进行串联拼接，形成某个字的隐层向量，例如，询问句中“你”的隐层向量 为“你”的正向隐层向量，为“你”的反向隐层向量，并且，将询问句中的最后一个字“吗”的正向隐层向量输入到intention意图层。
在intention意图层，首先通过计算得到询问句“你看过电影吗”的内容主题为“电影”，并对内容主题“电影”进行编码得到主题向量，然后将上一轮的intention意图层的输出向量，上一轮的decoder解码层的输出向量，本轮encoder编码层的输出向量以及主题向量一并输入到intention意图层，通过神经网络运算输出初始隐层向量，该初始隐层向量可以用于decoder解码层确定答句的第一个字。
在decoder解码层，可看做encoder编码层的逆向过程，可以将词向量和隐层向量解码为自然语言，可以根据intention意图层输出的初始隐层向量和attention注意力层中询问句中每个字的词向量，生成答句“我喜欢欧美电影”。假设一个10000个字的字典，decoder每次解码会生成该1万个字的概率分布，然后每次选取概率最大的一个字进行输出。具体过程如下：首先intention的输出初始隐层向量，并将该初始隐层向量以及第一个字符是标识字符“_EOS_”的词向量输入到decoder解码层，通过神经网络更新隐层向量得到第二隐层向量，第二隐层向量通过softmax回归算法生成1万个字的概率分布，其中“我”字的概率最大，因此输出答复字“我”，然后将第二隐层向量和答复字“我”的词向量作为输入，生成第三隐层向量，根据第三隐层向量计算下一个字的概率分布，取概率最大的“喜”字作为输出。重复以上过程，直到输出特殊符号_EOS_时结束全部过程，则可以生成答复句“我喜欢欧美电影_EOS_”。
在本发明实施例中，首先将第K轮询问句中的每个字转化为第一词向量，并根据第一词向量计算每个字的正向隐层向量和反向隐层向量；然后获取第K轮询问句的内容主题，并将内容主题转化为第二词向量；其次根据第二词向量、第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对第K轮询问句输出的初始隐层向量；最后根据第K轮询问句中每个字的正向隐层向量和反向隐层向量、以及针对第K轮询问句输出的初始隐层向量，生成针对第K轮询问句的答复句，通过在生成对话过程中加入主题内容，有效的抑制了跨主题通用高频答复句的生成，提高生成对话的精确性。
请参考图4，图4是本发明实施例提供的一种对话生成装置的结构示意图。如图所示，该装置可以包括：至少一个处理器401，例如CPU，至少一个接口电路402，至少一个存储器403，至少一个总线404。其中，通信总线404用于实现这些组件之间的连接通信。其中，本发明实施例中的接口电路402可以是有线发送端口，也可以为无线设备，例如包括天线装置，用于与其他节点设备进行信令或数据的通信。存储器403可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器403可选的还可以是至少一个位于远离前述处理器401的存储装置。存储器403中存储一组程序代码，且处理器401用于调用存储器中存储的程序代码，用于执行以下操作：
将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数；
获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量；
根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量；
根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
其中，处理器401用于执行如下操作步骤：
根据所述第K轮询问句中目标字的第一词向量和所述目标字的上一个字的正向隐层向量，计算所述目标字的正向隐层向量；或
根据所述第K轮询问句中目标字的第一词向量和所述目标字的下一个字的反向隐层向量，计算所述目标字的反向隐层向量。
其中，处理器401用于执行如下操作步骤：
对所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量进行拼接得到所述第K轮询问句中每个字的隐层向量；
根据所述针对所述第K轮询问句输出的初始隐层向量以及所述第K轮询问句中每个字的隐层向量，生成针对所述第K轮询问句的答复句。
其中，处理器401用于执行如下操作步骤：
根据所述针对所述第K轮询问句输出的初始隐层向量以及预设的标识字符的词向量，确定针对所述第K轮询问句输出的第二隐层向量，进而根据所述第二隐层向量确定所述针对所述第K轮询问句输出的第一个答复字；
根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成第二个答复字的贡献度；
根据所述第K轮询问句中每个字对生成第二个答复字的贡献度、所述第二隐层向量以及所述第一个答复字的词向量，计算所述第三隐层向量；
根据所述第三隐层向量，生成针对所述第K轮询问句的第二个答复字，依次类推生成针对所述第K轮询问句的答复句。
其中，处理器401用于执行如下操作步骤：
根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成所述第二个答复字的权重；
根据所述第K轮询问句中每个字对生成所述第二个答复字的权重，计算所述第K轮询问句中每个字的隐层向量的加权和，并将所述加权和作为所述第K轮询问句中每个字对生成所述第二个答复字的贡献度。
其中，处理器401用于执行如下操作步骤：
根据所述第三隐层向量，计算在预设字典中的每个字的概率分布；
选择在所述预设字典中概率最大的字作为所述第二个答复字进行输出。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(英文：Read-OKly Memory，简称：ROM)、随机存取器(英文：RaKdom Access Memory，简称：RAM)、磁盘或光盘等。
以上对本发明实施例所提供的内容下载方法及相关设备、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种对话生成方法，其特征在于，所述方法包括：
将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数，所述正向隐层向量由所述每个字的第一词向量输入到正向数据处理网络得到，所述反向隐层向量由所述每个字的第一词向量输入到反向数据处理网络得到；
获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量；
根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的正向隐层向量和反向隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量；
根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量包括：
根据所述第K轮询问句中目标字的第一词向量和所述目标字的上一个字的正向隐层向量，计算所述目标字的正向隐层向量；或
根据所述第K轮询问句中目标字的第一词向量和所述目标字的下一个字的反向隐层向量，计算所述目标字的反向隐层向量。
3.如权利要求1所述的方法，其特征在于，所述根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句包括：
对所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量进行拼接得到所述第K轮询问句中每个字的隐层向量；
根据所述针对所述第K轮询问句输出的初始隐层向量以及所述第K轮询问句中每个字的隐层向量，生成针对所述第K轮询问句的答复句。
4.如权利要求3所述的方法，其特征在于，所述根据所述针对所述第K轮询问句输出的初始隐层向量以及所述第K轮询问句中每个字的隐层向量，生成针对所述第K轮询问句的答复句包括：
根据所述针对所述第K轮询问句输出的初始隐层向量以及预设的标识字符的词向量，确定针对所述第K轮询问句输出的第二隐层向量，进而根据所述第二隐层向量确定所述针对所述第K轮询问句输出的第一个答复字；
根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成第二个答复字的贡献度；
根据所述第K轮询问句中每个字对生成第二个答复字的贡献度、所述第二隐层向量以及所述第一个答复字的词向量，计算第三隐层向量；
根据所述第三隐层向量，生成针对所述第K轮询问句的第二个答复字，依次类推生成针对所述第K轮询问句的答复句。
5.如权利要求4所述的方法，其特征在于，所述根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成第二个答复字的贡献度包括：
根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成所述第二个答复字的权重；
根据所述第K轮询问句中每个字对生成所述第二个答复字的权重，计算所述第K轮询问句中每个字的隐层向量的加权和，并将所述加权和作为所述第K轮询问句中每个字对生成所述第二个答复字的贡献度。
6.如权利要求4或5所述的方法，其特征在于，所述根据所述第三隐层向量，生成针对所述第K轮询问句的第二个答复字包括：
根据所述第三隐层向量，计算在预设字典中的每个字的概率分布；
选择在所述预设字典中概率最大的字作为所述第二个答复字进行输出。
7.一种对话生成装置，其特征在于，所述装置包括：
隐层计算模块，用于将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数，所述正向隐层向量由所述每个字的第一词向量输入到正向数据处理网络得到，所述反向隐层向量由所述每个字的第一词向量输入到反向数据处理网络得到；
主题确定模块，用于获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量；
向量计算模块，用于根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的正向隐层向量和反向隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量；
答复输出模块，用于根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
8.如权利要求7所述的装置，其特征在于，所述隐层计算模块具体用于：
根据所述第K轮询问句中目标字的第一词向量和所述目标字的上一个字的正向隐层向量，计算所述目标字的正向隐层向量；或
根据所述第K轮询问句中目标字的第一词向量和所述目标字的下一个字的反向隐层向量，计算所述目标字的反向隐层向量。
9.如权利要求7所述的装置，其特征在于，所述答复输出模块具体用于：
对所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量进行拼接得到所述第K轮询问句中每个字的隐层向量；
根据所述针对所述第K轮询问句输出的初始隐层向量以及所述第K轮询问句中每个字的隐层向量，生成针对所述第K轮询问句的答复句。
10.如权利要求9所述的装置，其特征在于，所述答复输出模块具体用于：
根据所述针对所述第K轮询问句输出的初始隐层向量以及预设的标识字符的词向量，确定针对所述第K轮询问句输出的第二隐层向量，进而根据所述第二隐层向量确定所述针对所述第K轮询问句输出的第一个答复字；
根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成第二个答复字的贡献度；
根据所述第K轮询问句中每个字对生成第二个答复字的贡献度、所述第二隐层向量以及所述第一个答复字的词向量，计算第三隐层向量；
根据所述第三隐层向量，生成针对所述第K轮询问句的第二个答复字，依次类推生成针对所述第K轮询问句的答复句。
11.如权利要求10所述的装置，其特征在于，所述答复输出模块具体用于：
根据所述第二隐层向量以及所述第K轮询问句中每个字的隐层向量，计算所述第K轮询问句中每个字对生成所述第二个答复字的权重；
根据所述第K轮询问句中每个字对生成所述第二个答复字的权重，计算所述第K轮询问句中每个字的隐层向量的加权和，并将所述加权和作为所述第K轮询问句中每个字对生成所述第二个答复字的贡献度。
12.如权利要求10或11所述的装置，其特征在于，所述答复输出模块具体用于：
根据所述第三隐层向量，计算在预设字典中的每个字的概率分布；
选择在所述预设字典中概率最大的字作为所述第二个答复字进行输出。
13.一种对话生成装置，其特征在于，所述装置包括接口电路、存储器以及处理器，其中，存储器中存储一组程序代码，且处理器用于调用存储器中存储的程序代码，用于执行以下操作：
将第K轮询问句中的每个字转化为第一词向量，并根据所述第一词向量计算所述每个字的正向隐层向量和反向隐层向量，K为大于等于2的正整数,所述正向隐层向量由所述每个字的第一词向量输入到正向数据处理网络得到，所述反向隐层向量由所述每个字的第一词向量输入到反向数据处理网络得到；
获取所述第K轮询问句的内容主题，并将所述内容主题转化为第二词向量；
根据所述第二词向量、所述第K轮询问句中最后一个字的正向隐层向量、针对第K-1轮询问句输出的第K-1轮答复句中最后一个字的正向隐层向量和反向隐层向量、以及针对所述第K-1轮询问句输出的第K-1轮答复句的初始隐层向量，确定针对所述第K轮询问句输出的初始隐层向量；
根据所述第K轮询问句中每个字的所述正向隐层向量和所述反向隐层向量、以及所述针对所述第K轮询问句输出的初始隐层向量，生成针对所述第K轮询问句的答复句。
CN201610567504.0A 2016-07-19 2016-07-19 一种对话生成方法及装置 Active CN107632987B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610567504.0A CN107632987B (zh) 2016-07-19 2016-07-19 一种对话生成方法及装置
PCT/CN2017/093417 WO2018014835A1 (zh) 2016-07-19 2017-07-18 一种对话生成方法及装置、设备、存储介质
US15/997,912 US10740564B2 (en) 2016-07-19 2018-06-05 Dialog generation method, apparatus, and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610567504.0A CN107632987B (zh) 2016-07-19 2016-07-19 一种对话生成方法及装置

Publications (2)

Publication Number Publication Date
CN107632987A CN107632987A (zh) 2018-01-26
CN107632987B true CN107632987B (zh) 2018-12-07

Family

ID=60991987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610567504.0A Active CN107632987B (zh) 2016-07-19 2016-07-19 一种对话生成方法及装置

Country Status (3)

Country Link
US (1) US10740564B2 (zh)
CN (1) CN107632987B (zh)
WO (1) WO2018014835A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568233A (en) * 2017-10-27 2019-05-15 Babylon Partners Ltd A computer implemented determination method and system
CN110309275A (zh) * 2018-03-15 2019-10-08 北京京东尚科信息技术有限公司 一种对话生成的方法和装置
CN108491514B (zh) * 2018-03-26 2020-12-01 清华大学 对话系统中提问的方法及装置、电子设备、计算机可读介质
CN109241262B (zh) * 2018-08-31 2021-01-05 出门问问信息科技有限公司 基于关键词生成回复语句的方法及装置
CN109241265B (zh) * 2018-09-17 2022-06-03 四川长虹电器股份有限公司 一种面向多轮查询的领域识别方法及系统
CN109376222B (zh) * 2018-09-27 2021-05-25 国信优易数据股份有限公司 问答匹配度计算方法、问答自动匹配方法及装置
US11270084B2 (en) * 2018-10-12 2022-03-08 Johnson Controls Tyco IP Holdings LLP Systems and methods for using trigger words to generate human-like responses in virtual assistants
CN109558585A (zh) * 2018-10-26 2019-04-02 深圳点猫科技有限公司 一种基于教育系统的答案自动寻找方法及电子设备
CN109635093B (zh) * 2018-12-17 2022-05-27 北京百度网讯科技有限公司 用于生成回复语句的方法和装置
CN109726394A (zh) * 2018-12-18 2019-05-07 电子科技大学 基于融合btm模型的短文本主题聚类方法
CN109597884B (zh) * 2018-12-28 2021-07-20 北京百度网讯科技有限公司 对话生成的方法、装置、存储介质和终端设备
IT201900000526A1 (it) * 2019-01-11 2020-07-11 Userbot S R L Sistema di intelligenza artificiale per processi aziendali
CN110147435B (zh) * 2019-01-24 2023-08-22 腾讯科技（深圳）有限公司 对话生成方法、装置、设备及存储介质
CN109933809B (zh) * 2019-03-15 2023-09-15 北京金山数字娱乐科技有限公司 一种翻译方法及装置、翻译模型的训练方法及装置
CN109992785B (zh) * 2019-04-09 2023-07-25 腾讯科技（深圳）有限公司 基于机器学习的内容计算方法、装置及设备
US11604962B2 (en) 2019-05-09 2023-03-14 Genpact Luxembourg S.à r.l. II Method and system for training a machine learning system using context injection
CN110134790B (zh) * 2019-05-17 2022-09-30 中国科学技术大学 一种语境集合与回复集合的匹配方法及装置
CN110413729B (zh) * 2019-06-25 2023-04-07 江南大学 基于尾句-上下文双重注意力模型的多轮对话生成方法
US11176330B2 (en) * 2019-07-22 2021-11-16 Advanced New Technologies Co., Ltd. Generating recommendation information
CN110598206B (zh) * 2019-08-13 2023-04-07 平安国际智慧城市科技股份有限公司 文本语义识别方法、装置、计算机设备和存储介质
CN110473540B (zh) * 2019-08-29 2022-05-31 京东方科技集团股份有限公司 语音交互方法及系统、终端设备、计算机设备及介质
CN111091011B (zh) * 2019-12-20 2023-07-28 科大讯飞股份有限公司 领域预测方法、领域预测装置及电子设备
CN111428014A (zh) * 2020-03-17 2020-07-17 北京香侬慧语科技有限责任公司 一种基于最大互信息的非自回归对话说生成方法及模型
US11494564B2 (en) * 2020-03-27 2022-11-08 Naver Corporation Unsupervised aspect-based multi-document abstractive summarization
CN111597339B (zh) * 2020-05-22 2023-06-30 北京慧闻科技(集团)有限公司 文档级多轮对话意图分类方法、装置、设备及存储介质
CN112270167B (zh) * 2020-10-14 2022-02-08 北京百度网讯科技有限公司 角色标注方法、装置、电子设备和存储介质
CN113076408A (zh) * 2021-03-19 2021-07-06 联想(北京)有限公司 一种会话信息的处理方法及装置
CN112925896A (zh) * 2021-04-04 2021-06-08 河南工业大学 一种基于联合解码的话题扩展情感对话生成方法
CN114238549A (zh) * 2021-12-15 2022-03-25 平安科技（深圳）有限公司 文本生成模型的训练方法、装置、存储介质及计算机设备
CN115293132B (zh) * 2022-09-30 2022-12-30 腾讯科技（深圳）有限公司 虚拟场景的对话处理方法、装置、电子设备及存储介质
CN116226356B (zh) * 2023-05-08 2023-07-04 深圳市拓保软件有限公司 一种基于nlp的智能客服交互方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952928A (zh) * 2005-10-20 2007-04-25 梁威 建立自然语言知识库及其自动问答检索的计算机系统
CN104050256A (zh) * 2014-06-13 2014-09-17 西安蒜泥电子科技有限责任公司 基于主动学习的问答方法及采用该方法的问答系统
CN104462064A (zh) * 2014-12-15 2015-03-25 陈包容 一种移动终端信息通讯提示输入内容的方法和系统
CN105095444A (zh) * 2015-07-24 2015-11-25 百度在线网络技术（北京）有限公司 信息获取方法和装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974412A (en) * 1997-09-24 1999-10-26 Sapient Health Network Intelligent query system for automatically indexing information in a database and automatically categorizing users
US6654735B1 (en) * 1999-01-08 2003-11-25 International Business Machines Corporation Outbound information analysis for generating user interest profiles and improving user productivity
US6347313B1 (en) * 1999-03-01 2002-02-12 Hewlett-Packard Company Information embedding based on user relevance feedback for object retrieval
US7567958B1 (en) * 2000-04-04 2009-07-28 Aol, Llc Filtering system for providing personalized information in the absence of negative data
ATE297588T1 (de) * 2000-11-14 2005-06-15 Ibm Anpassung des phonetischen kontextes zur verbesserung der spracherkennung
US8566102B1 (en) * 2002-03-28 2013-10-22 At&T Intellectual Property Ii, L.P. System and method of automating a spoken dialogue service
US7590603B2 (en) * 2004-10-01 2009-09-15 Microsoft Corporation Method and system for classifying and identifying messages as question or not a question within a discussion thread
JP4476786B2 (ja) * 2004-11-10 2010-06-09 株式会社東芝 検索装置
US9129300B2 (en) * 2010-04-21 2015-09-08 Yahoo! Inc. Using external sources for sponsored search AD selection
US10331785B2 (en) * 2012-02-17 2019-06-25 Tivo Solutions Inc. Identifying multimedia asset similarity using blended semantic and latent feature analysis
US9465833B2 (en) * 2012-07-31 2016-10-11 Veveo, Inc. Disambiguating user intent in conversational interaction system for large corpus information retrieval
US20140236577A1 (en) * 2013-02-15 2014-08-21 Nec Laboratories America, Inc. Semantic Representations of Rare Words in a Neural Probabilistic Language Model
US9298757B1 (en) * 2013-03-13 2016-03-29 International Business Machines Corporation Determining similarity of linguistic objects
US20140280088A1 (en) * 2013-03-15 2014-09-18 Luminoso Technologies, Inc. Combined term and vector proximity text search
US9514753B2 (en) * 2013-11-04 2016-12-06 Google Inc. Speaker identification using hash-based indexing
US20150169772A1 (en) * 2013-12-12 2015-06-18 Microsoft Corporation Personalizing Search Results Based on User-Generated Content
CN104615646A (zh) * 2014-12-25 2015-05-13 上海科阅信息技术有限公司 智能聊天机器人系统
US20160189556A1 (en) * 2014-12-29 2016-06-30 International Business Machines Corporation Evaluating presentation data
US10102206B2 (en) * 2016-03-31 2018-10-16 Dropbox, Inc. Intelligently identifying and presenting digital documents
WO2018014018A1 (en) * 2016-07-15 2018-01-18 University Of Central Florida Research Foundation, Inc. Synthetic data generation of time series data
US11113732B2 (en) * 2016-09-26 2021-09-07 Microsoft Technology Licensing, Llc Controlling use of negative features in a matching operation
CN107885756B (zh) * 2016-09-30 2020-05-08 华为技术有限公司 基于深度学习的对话方法、装置及设备
US10540967B2 (en) * 2016-11-14 2020-01-21 Xerox Corporation Machine reading method for dialog state tracking
US10635733B2 (en) * 2017-05-05 2020-04-28 Microsoft Technology Licensing, Llc Personalized user-categorized recommendations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1952928A (zh) * 2005-10-20 2007-04-25 梁威 建立自然语言知识库及其自动问答检索的计算机系统
CN104050256A (zh) * 2014-06-13 2014-09-17 西安蒜泥电子科技有限责任公司 基于主动学习的问答方法及采用该方法的问答系统
CN104462064A (zh) * 2014-12-15 2015-03-25 陈包容 一种移动终端信息通讯提示输入内容的方法和系统
CN105095444A (zh) * 2015-07-24 2015-11-25 百度在线网络技术（北京）有限公司 信息获取方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models》;Iulian V. Serban等;《Association for the Advancement of Artificial Intelligence (www.aaai.org)》;Serban I V, Sordoni A, Bengio Y, et al. Bui;20150217;第3776-3783页 *

Also Published As

Publication number Publication date
US10740564B2 (en) 2020-08-11
WO2018014835A1 (zh) 2018-01-25
CN107632987A (zh) 2018-01-26
US20180285348A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CN107632987B (zh) 一种对话生成方法及装置
US10747959B2 (en) Dialog generation method, apparatus, and electronic device
WO2018058994A1 (zh) 基于深度学习的对话方法、装置及设备
CN111190600B (zh) 基于gru注意力模型的前端代码自动生成的方法及系统
CN111309889A (zh) 用于文本处理的方法和装置
CN108090218B (zh) 基于深度强化学习的对话系统生成方法和装置
CN111626062B (zh) 文本语义编码方法及系统
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN112767917B (zh) 语音识别方法、装置及存储介质
CN112861548B (zh) 自然语言生成及模型的训练方法、装置、设备和存储介质
CN110209803B (zh) 故事生成方法、装置、计算机设备及存储介质
CN108959388B (zh) 信息生成方法及装置
CN111401037B (zh) 自然语言的生成方法、装置、电子设备及存储介质
CN116884391B (zh) 基于扩散模型的多模态融合音频生成方法及装置
CN112164407A (zh) 音色转换方法及装置
CN114358023B (zh) 智能问答召回方法、装置、计算机设备及存储介质
CN109829040B (zh) 一种智能对话方法及装置
CN111339274A (zh) 对话生成模型训练方法、对话生成方法及装置
CN113569017B (zh) 一种模型处理方法、装置、电子设备及存储介质
CN111797220A (zh) 对话生成方法、装置、计算机设备和存储介质
CN111090740A (zh) 一种用于对话系统的知识图谱生成方法
CN112950501B (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
CN113553413A (zh) 对话状态的生成方法、装置、电子设备和存储介质
CN111048065A (zh) 文本纠错数据生成方法及相关装置
CN116798052B (zh) 文本识别模型的训练方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant