CN108062388A - 人机对话的回复生成方法和装置 - Google Patents

人机对话的回复生成方法和装置 Download PDF

Info

Publication number
CN108062388A
CN108062388A CN201711350420.2A CN201711350420A CN108062388A CN 108062388 A CN108062388 A CN 108062388A CN 201711350420 A CN201711350420 A CN 201711350420A CN 108062388 A CN108062388 A CN 108062388A
Authority
CN
China
Prior art keywords
hidden state
vocabulary
text position
message
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711350420.2A
Other languages
English (en)
Other versions
CN108062388B (zh
Inventor
陈潮涛
李辰
姜迪
吴华
何径舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711350420.2A priority Critical patent/CN108062388B/zh
Publication of CN108062388A publication Critical patent/CN108062388A/zh
Application granted granted Critical
Publication of CN108062388B publication Critical patent/CN108062388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出一种人机对话的回复生成方法和装置，其中，方法包括：获取人机对话中的用户消息，生成用于回复用户消息的多个关键词，利用编码器对多个关键词进行编码，得到多个关键词的第一隐状态，根据多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位置对应的多个第二隐状态，根据每一个第二隐状态进行采样，得到处于第二隐状态对应文本位置上的词汇，根据各词汇所处的文本位置，生成回复消息。通过获取用户消息生成多个关键词，并对关键词进行编码和解码处理，并通过采样获取关键词对应的文本词汇，进而生成回复消息，解决了现有技术中需要依赖特定的模板，生成的回复消息适用性、相关性和多样性较差，无法满足用户需求的问题。

Description

人机对话的回复生成方法和装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种人机对话的回复生成方法和装置。
背景技术
自然语言处理技术的发展，使得通过人机对话系统实现了人与计算机之间可用自然语 言进行有效通信，而回复生成是人机对话系统的一个重要组成部分,在人机对话系统中，系 统根据用户的消息，生成一句自然语言作为系统回复。
相关技术中，人机对话系统中的回复生成技术主要采用模板方法，还有基于深度学习 的端到端生成技术，根据接收到的用户的消息生成相应的自然语言的回复，但这两种方式 系统适用性差，且得到的回复语言的流畅性、相关性和多样性均较差，都无法满足用户的 需求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种人机对话的回复生成方法和装置，通过用户 消息生成多个关键词，并对关键词进行编码和解码处理，并通过采样获取关键词对应的文 本词汇，进而生成回复消息，实现了不需要构建特征工程，适用于开放域的对话系统，解 决了现有技术中需要依赖特定的模板，系统适用性差，生成的回复消息适用性、相关性和 多样性也较差，无法满足用户需求的问题。
本发明的第二个目的在于提出一种人机对话的回复生成装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种人机对话的回复生成方法，包括：
获取人机对话中的用户消息；
根据用户消息，生成用于回复所述用户消息的多个关键词；
利用编码器对所述多个关键词进行编码，得到所述多个关键词的第一隐状态；
根据所述多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位置对应 的多个第二隐状态；其中，若当前文本位置不为首个文本位置，当前文本位置对应的第二 隐状态，是根据前一个文本位置对应的第二隐状态和所述多个关键词的第一隐状态，计算 得到当前文本位置的注意力分布后，根据所述注意力分布对所述多个关键词的第一隐状态 进行加权平均得到当前文本位置的上下文向量，根据所述前一个文本位置对应的第二隐状 态和所述上下文向量，生成当前文本位置对应的第二隐状态；
根据每一个第二隐状态进行采样，得到处于所述第二隐状态对应文本位置上的词汇；
根据各词汇，以及各词汇所处的文本位置，生成回复消息。
本发明实施例的人机对话的回复生成方法中，获取人机对话中的用户消息，根据用户 消息，生成用于回复用户消息的多个关键词，利用编码器对多个关键词进行编码，得到多 个关键词的第一隐状态，根据多个关键词的第一隐状态，利用解码器顺序生成回复消息中 各文本位置对应的多个第二隐状态，根据每一个第二隐状态进行采样，得到处于第二隐状 态对应文本位置上的词汇，根据各词汇，以及各词汇所处的文本位置，生成回复消息。通 过用户消息生成多个关键词，并对关键词进行编码和解码处理，并通过采样获取关键词对 应的文本词汇，进而生成回复消息，实现了不需要构建特征工程，适用于开放域的对话系 统，解决了现有技术中需要依赖特定的模板，系统适用性差，生成的回复消息适用性、相关性和多样性也较差，无法满足用户需求的问题。
为达上述目的，本发明第二方面实施例提出了一种人机对话的回复生成装置，包括：
获取模块，用于获取人机对话中的用户消息；
第一生成模块，用于根据用户消息，生成用于回复所述用户消息的多个关键词；
编码模块，用于利用编码器对所述多个关键词进行编码，得到所述多个关键词的第一 隐状态；
解码模块，用于根据所述多个关键词的第一隐状态，利用解码器顺序生成回复消息中 各文本位置对应的多个第二隐状态；其中，若当前文本位置不为首个文本位置，当前文本 位置对应的第二隐状态，是根据前一个文本位置对应的第二隐状态和所述多个关键词的第 一隐状态，计算得到当前文本位置的注意力分布后，根据所述注意力分布对所述多个关键 词的第一隐状态进行加权平均得到当前文本位置的上下文向量，根据所述前一个文本位置 对应的第二隐状态和所述上下文向量，生成当前文本位置对应的第二隐状态；
第二生成模块，用于根据每一个第二隐状态进行采样，得到处于所述第二隐状态对应 文本位置上的词汇；根据各词汇，以及各词汇所处的文本位置，生成回复消息。
本发明实施例的人机对话的回复生成装置中，获取模块用于获取人机对话中的用户消 息，第一生成模块用于根据用户消息，生成用于回复用户消息的多个关键词，编码模块用 于利用编码器对多个关键词进行编码，得到多个关键词的第一隐状态，解码模块用于根据 多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位置对应的多个第二隐 状态，第二生成模块用于根据每一个第二隐状态进行采样，得到处于第二隐状态对应文本 位置上的词汇，根据各词汇，以及各词汇所处的文本位置，生成回复消息。通过用户消息 生成多个关键词，并对关键词进行编码和解码处理，并通过采样获取关键词对应的文本词 汇，进而生成回复消息，实现了不需要构建特征工程，适用于开放域的对话系统，解决了 现有技术中需要依赖特定的模板，系统适用性差，生成的回复消息适用性、相关性和多样 性也较差，无法满足用户需求的问题。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器 及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现 如第一方面所述的人机对话的回复生成方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质， 其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的人机对话的回复生 成方法。
为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算 机程序产品中的指令被处理器执行时，实现如第一方面所述的人机对话的回复生成方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显 和容易理解，其中：
图1为本发明实施例所提供的一种人机对话的回复生成方法的流程示意图；
图2为本发明实施例所提供的另一种人机对话的回复生成方法的流程示意图；
图3为本发明实施例所提供的基于关键词的文本生成系统的框图；
图4为本发明实施例提供的一种人机对话的回复生成装置的结构示意图；
图5为本发明实施例所提供的另一种人机对话的回复生成装置的结构示意图；以及
图6示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的人机对话的回复生成方法和装置。
现有技术中，人机对话系统中根据人机对话中的用户消息生成回复消息，而生成的回 复消息适用性较差，同时回复消息的相关性和多样性也较差，无法满足用户的需求。
目前，人机对话系统中的回复生成主要是通过以下2种方案实现的：
方案1：模板方法：需要通过人工预先定义模板和规则，将自然语言理解和对话管理 模块的输出转换为自然语言。但是，这种方式，模板的构造依赖于人工编写的特征，耗费大量的人力和成本，而构造的模板通常只适用于特定领域，如天气预报、体育报告等，无 法进行其他领域的迁移，适用性较差，又由于模板方法只能生成固定样式的回复，缺乏多 样性。
方案2：序列-序列的深度学习框架Sequence to Sequence(Seq2Seq)深度学习框架： 利用循环神经网络，将用户的消息和系统的回复建模为两个序列，通过大规模的语料训练 模型学习两个序列间的映射关系。而这种方法缺乏主题规划，倾向于生成一般的模糊性回 复，如“我不知道”，“我也是”等，缺乏相关性和多样性。
为解决上述问题，本发明实施例提出了一种人机对话的回复生成方法，通过采集用户 消息生成关键词，并基于生成的关键词进行编码和解码处理，并通过采样生成对应的词汇， 进而生成回复消息，不依赖于特定模板，实现了生成的回复消息适用性、相关性和多样性 较好。
图1为本发明实施例所提供的一种人机对话的回复生成方法的流程示意图，如图1所 示，该方法包括：
步骤S101，获取人机对话中的用户消息。
具体地，在人机对话系统中的人机对话界面，采集用户输入的用户消息，该用户消息 可以为一个词，或一个句子，例如：天气、我要去游乐场等。
步骤S102，根据用户消息，生成用于回复用户消息的多个关键词。
根据获取的用户信息，可采用多种关键词生成方式生成用户回复用户消息的多个关键 词，作为一种可能的实现方式，根据点互信息确定多个关键词，具体地，根据用户消息中的消息词，计算消息词wq与回复词wr之间的点互信息，可根据公式计算得到点互信息PMI，根据点互信息，从回复词中确定多 个关键词。例如，在给定用户消息q＝{wq1,wq2,...,wqn}时，可以根据词语wr与用户消息的 点互信息对词语进行排序，选取点互信息最高的 若干个词语作为回复的关键词。
作为另一种可能的实现方式，根据主题模型确定多个关键词，具体地，采用经过训练 的主题模型，例如，Twitter-LDA模型，Stentence-LDA模型，将用户消息，输入主题模型中，能够确定用户主题。进而从用户主题中，选取出现概率最高的主题词作为多个关键词。
作为又一种可能的实现方式，还可以根据对话管理算法确定多个关键词，具体地，采 用对话管理算法，对获取的用户消息进行语义分析，得到语义槽，每一个语义槽中包含特 定的语义，根据语义槽，确定多个关键词。
可选地，还可以通过将上述3种可能的实现方式确定的关键词，进行组合和排序，得 到用于回复用户消息的多个关键词，使得关键词更加准确。
步骤S103，利用编码器对多个关键词进行编码，得到多个关键词的第一隐状态。
具体地，利用编码器根据确定的多个关键词，对关键词进行编码，对关键词进行编码 后得到对应每一个关键词的编码结果，该编码结果即为该关键词的第一隐状态，作为一种 可能的实现方式，若关键词无序，则直接将关键词的嵌入(embedding)向量作为第一隐状 态；作为另一种可能的实现方式，若关键词有序，则编码器，可采用门循环单元(GatedRucurrent Unit，GRU)模型或SUM模型或双向GRU(BIGRU)模型来确定关键词的词序 信息，进而得到关键词的第一隐状态。
其中，GRU模型包含2个门函数，分别为重置门reset gate的r和更新门updategate 的z，在GRU模型中，r和z共同控制了如何从之前的隐状态ht-1计算获得新的隐状态ht，具体地，可通过如下4个公式来解释模型的实现原理：
rt＝σ(Wrxt+Urht-1) 重置门
zt＝σ(Wzxt+Uzht-1) 更新门
新的记忆
隐状态
其中，重置门：xt为模型的输入，重置信号rt直接应用于先前的隐藏状态的控制。
更新门：更新信号zt会决定以多大程度将ht-1向下一个状态传递。比如，如果zt≈1，则 ht-1几乎完全传递给ht，相反的，如果zt≈0，新的传递给下一层隐层。
新的记忆：一个新的记忆是由重置信号rt、过去的隐状态ht-1和新的输入xt共同得 到的。重置信号rt会判定ht-1对结果的重要程度，如果ht-1和新的记忆的计算不相关，那 么重置门能够完全消除过去的隐状态，也就是说，这个阶段能够对新观察到的信息(词)和历 史的隐状态ht-1进行合理合并，根据总结这个新词以何种状态融合。
隐状态：使用过去隐状态ht-1最终产生了隐状态ht，新的记忆会根据更新门的更新 信号zt判定产生ht。
其中，、U、W、Wz、Uz、Wr和Ur为模型的参数，需要通过样本对模型训练过程中学 习确定，σ代表非线性分类函数，一般是使用sigmoid分类函数。
需要说明的是，所谓第一隐状态，是指该关键词通过编码后，无法从编码的结果直接 识别该关键词，故称为隐状态，而本实施例中，为了和其它过程中的隐状态区别，故称为第一隐状态。例如，关键词：标准，通过一种可能的编码机制，如，二进制编码，利用2 个字节的二进制数，可得到对应该关键词“学”的编码结果为：00110001 00000111，因该 二进制编码结果无法直接识别为关键字“学”，故称为关键词“学”的第一隐状态。
步骤S104，根据多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位 置对应的多个第二隐状态。
具体地，若当前文本位置不为首个文本位置，当前文本位置对应的第二隐状态，是根 据前一个文本位置对应的第二隐状态和编码器输出的多个关键词的第一隐状态，计算得到 当前文本位置的注意力分布，解码器根据注意力分布对多个关键词的第一隐状态进行加权 平均得到当前文本位置的上下文向量，根据前一个文本位置对应的第二隐状态和上下文向 量，生成当前文本位置对应的第二隐状态。
这是因为，未引入注意力分布时，解码器是仅通过计算得到的上下文向量来进一步确 定第二隐状态。也就是说，编码器将关键词生成第一隐状态的序列，并将该序列压缩进一 个固定长度的上下文向量中，这样会导致上下文向量中无法涵盖用户消息中的所有信息， 或者后面的信息会将前面的信息覆盖，使得解码器获得的输入序列不完整，解码准确度较 低，而引入的注意力分布用于指示当前文本位置上体现各个关键词含义的概率，即基于注 意力分布能够确定出当前文本位置应表达哪一个关键词的语义，使得解码器能注意获取的 第一隐状态的序列中对应该关键词的部分，进而生成对应的第二隐状态。
可选地，若当前文本位置为回复消息的首个文本位置，将多个关键词编码得到的第一 隐状态输入解码器，得到当前文本位置对应的多个第二隐状态。
步骤S105，根据每一个第二隐状态进行采样，得到处于第二隐状态对应文本位置上的 词汇。
本步骤中对复制机制进行了进一步解释，复制机制即为通过每一个第二隐状态，以及 上下文向量，计算得到词库词汇分布、词库词汇分布概率和关键词分布，进而加权计算得 到词汇预测分布，根据该词汇预测分布确定处于第二隐状态对应文本位置上的词汇，复制 机制通过引入关键词分布，实现了通过直接复制关键词，并通过分析关键词对应的概率的 大小，来判断词汇预测分布中是低频的关键词还是高频的日常词，提高了解码器生成低频 关键词的效果。具体地，首先，针对第n个文本位置对应的第二隐状态Sn，根据Sn，计算得到在第n个文本位置上的词库词汇分布其中，词库词汇分布用于表示在当前文 本位置上，词库中各个词的概率，通常日常使用的高频词概率较高。然后，根据第n个文 本位置的上下文向量Cn计算得到在第n个文本位置上符合词库词汇分布的概率再根 据注意力分布an，计算得到在第n个文本位置上的关键词分布
最后，根据概率对词库词汇分布和关键词分布进行加权计算，代入公式得到在第n个文本位置上词汇预测分布on，也就是说，通 过概率对日常高频词和关键词进行加权，确定最终的词汇分布，而这样处理，使得词汇分 布同时满足多样性和与用户提问的相关性。
进一步，根据词汇预测分布on，其中，词汇预测分布on指示词库中各个词被选中的概 率，在词库中采样，可从词库中选择概率最高的词汇，作为当前位置上的词汇，从而确定在第n个文本位置上的词汇，使得该词汇和用户提问的相关性较高。
步骤S106，根据各词汇，以及各词汇所处的文本位置，生成回复消息。
具体地，根据确定的每个文本位置上的词汇，将词汇连接成一句完整的回复消息，作 为用户输入消息的回复消息。
需要说明的是，编码器和解码器均可以选择多种模型来实现，为了选择最优的编码器 和解码器模型的组合方式，本发明的发明人预先做了测试，将不同的编码器模型和解码器 模型进行组合，以及是否引入复制机制，组合得到的方案分别测试得到熵值，根据最低的 熵值确定了最优的解码器和编码器的模型，如表1所示：
编码器 解码器 复制机制 熵值
Sum GRU F 6.97
Sum GRU T 6.59
GRU GRU F 6.12
BIGRU GRU F 6.01
GRU GRU T 5.35
BIGRU GRU T 5.33
表1
如表1中所示，F是False的简写，代表不引入复制机制，T是Ture的简写，代表引入复制机制，当编码器为BIGRU模型，解码器为GRU模型时，得到的熵值5.33最小，因熵 值最小时，信息量最大，不确定性最小，故选择熵值最小时编码器和解码器对应的模型， 并引入复制机制，从而能够得到最佳的效果。
本发明实施例的人机对话的回复生成方法中，获取人机对话中的用户消息，根据用户 消息，生成用于回复用户消息的多个关键词，利用编码器对多个关键词进行编码，得到多 个关键词的第一隐状态，根据多个关键词的第一隐状态，利用解码器顺序生成回复消息中 各文本位置对应的多个第二隐状态，根据每一个第二隐状态进行采样，得到处于第二隐状 态对应文本位置上的词汇，根据各词汇，以及各词汇所处的文本位置，生成回复消息。通 过用户消息生成多个关键词，并对关键词进行编码和解码处理，并通过采样获取关键词对 应的文本词汇，进而生成回复消息，实现了不需要构建特征工程，适用于开放域的对话系 统，解决了现有技术中需要依赖特定的模板，系统适用性差，生成的回复消息适用性、相关性和多样性也较差，无法满足用户需求的问题。
为了清楚说明上一实施例，本实施例提供了另一种人机对话的回复生成方法，进一步 清楚解释根据关键词生成各文本位置对应的词汇，从而生成回复信息的过程，图2为本发明 实施例所提供的另一种人机对话的回复生成方法的流程示意图，本实施例中，根据用户消 息，生成了用于回复用户消息的多个关键词，基于该关键词可获得回复用户消息的各个文 本位置上的词汇，从而确定回复消息，为了清楚说明本实施例中的方法，本发明实施例还 提供了一种基于关键词的文本生成系统的可能的实现方式，图3为本发明实施例所提供的基 于关键词的文本生成系统的框图，结合图3，对图2实施例中的步骤进行进一步解释说明。
如图2所示，该方法包括：
步骤S201，获取人机对话中的用户消息。
例如，人机对话系统获取到的用户消息为：说啥子标准梨花。
步骤S202，根据用户消息，生成用于回复用户消息的多个关键词。
具体地，根据用户消息生成用于回复用户消息的多个关键词的方法，可参照上一实施 例中的步骤S102，原理相同，此处不再赘述。根据用户消息：说啥子标准梨花，得到的多 个关键词可为：说，啥子，标准，梨花。
步骤S203，利用编码器对多个关键词进行编码，得到多个关键词的第一隐状态。
具体地，如图3所示，将生成的关键词：说，啥子，标准，梨花，输入编码器，编码器对多个关键词进行编码，作为一种可能的实现方式，可通过BIGRU作为编码器，生成对应 各个关键词的第一隐状态：h1，h2，h3，h4。
步骤S204，根据多个关键词的第一隐状态，利用解码器，生成回复消息中首个文本位 置对应的第二隐状态。
具体地，回复消息包括多个文本位置，各个文本位置上的词汇构成了回复消息。例如： 如图3中，“你”对应的文本位置S1即为首个文本位置，而“啥子”对应的文本位置S5即不是首个文本位置。
在编码器确定出多个关键词的第一隐状态之后，将多个关键词的第一隐状态输入解码 器，从而使得解码器顺序生成回复消息中各文本位置对应的多个第二隐状态，进而才能够 根据第二隐状态，最终确定对应文本位置上的词汇。为了得到较佳的效果，本发明实施例 中，首个文本位置的第二隐状态的生成过程和其余文本位置的第二隐状态生成过程存在一 定差异性。
具体来说，首个文本位置的第二隐状态的生成过程沿用了相关技术中的解码方式，直 接生成第二隐状态。而后续文本位置的第二隐状态的生成过程，则引入了注意力分布机制， 从而使得其余文本位置的第二隐状态在保证相关性的同时，增强了多样性。具体引入注意 力分布机制的方式将在下文进行介绍，此处不再赘述。
具体在生成回复消息中首个文本位置对应的第二隐状态时，可以将多个关键词编码得 到的第一隐状态输入解码器，将解码器的输出作为首个文本位置对应的第二隐状态S1。
步骤S205，根据多个关键词编码得到的第一隐状态，并结合前一个文本位置对应的第 二隐状态，利用解码器计算得到后续各文本位置对应的第二隐状态。
具体地，若关键词在解码器中的文本位置不为首个文本位置，则计算文本位置对应的 第二隐状态的方法和步骤S205中方法不同，引入了注意力分布的机制，并结合前一个文本 位置对应的第二隐状态，利用解码器计算得到当前文本位置对应的第二隐状态。本实施例 中，如图3所示，列举的例子得到的关键词在解码器中的文本位置均不为首个文本位置。
其中，本实施例中，在编码器和解码器之间引入注意力分布机制，注意力分布机制attention就是把一个固定的输入上下文向量(context)c改成一个动态的上下文向量c，注意力分布用aij表示，公式为：其中，i代表第i个输出，j代表第j 个输入，eij＝α(si-1,hj)，其中，hj代表输入的第j个隐状态，即本实施例中第一隐状态， si-1代表第i个输出的前一个输出，即本实施例中的第二隐状态，eij表示输入hj和输出si-1的匹配评分，aij就可以表示给定输入hj预测输出为si的概率。
进而，通过注意力分布aij就可以计算得到动态的上下文向量Ci，
进而，通过计算对应每一个输入对应的第一隐状态h的的权值，并且根据这个权值把 所有输入对应的第一隐状态h加权起来，加入到循环神经网络(RNN/recurrent neuralnetwork)中计算新的文本对应的第二隐状态St：
st＝f(yt-1,st-1,c)，其中C为上下文向量，St-1为上一个文本位置对应的文本的第二隐状态， yt-1代表上一个输出的预测词汇。
进一步，以关键词“啥子”为例，对引入注意力分布机制，利用解码器生成对应的第二隐状态进行说明。如图3中所示，关键词“啥子”对应解码器中文本所在的位置为第5个，不为首个文本位置，根据编码器生成的关键词“说，啥子，标准，梨花”对应的第一隐状 态h1，h2，h3，h4，以及第五个文本位置前一个即第四个文本位置对应的文本的第二隐状态 S4，计算得到关键词“啥子”对应的文本位置的注意力分布a5，根据注意力分布a5，对多个 关键词的第一隐状态h1，h2，h3，h4进行加权平均，得到当前文本位置的上下文向量C5，再 根据前一个文本位置对应的文本的第二隐状态S4和上下文向量C5，生成当前第五文本位置 对应的第二隐状态S5。
步骤S206，根据每一个第二隐状态进行采样，得到处于第二隐状态对应文本位置上的 词汇。
具体地，关键词“啥子”对应的文本位置对应的第二隐状态为S5，根据S5，计算得到第5个文本位置上的词库词汇分布利用上下文向量C5，计算得到第5个文本位置上符合词库词汇分布的概率再利用注意力分布a5，计算得到在第n个文本位置上的关键词分布
进一步，根据词库词汇分布的概率对词库词汇分布和关键词分布进行加权计 算，代入公式得到第5个文本位置上词汇预测分布即为前述的复制机制在确定第5个文本位置上词汇的具体例子，其中，该词汇预测分布o5指示词库中各个词被选中的概率，根据词汇预测分布o5， 在词库中采样，可从词库中选择概率最高的词汇，作为当前位置上的词汇，从而确定在第 5个文本位置上的词汇，也就是说通过该复制机制，即可确定在第5个文本位置上的概率 最高的词是低频的关键词“啥子”。
需要说明的是，其他文本位置上的词汇生成方法，同上述第5个文本位置上的词汇生 成方法，原理相同，此处不再赘述。
步骤S207，根据各词汇，以及各词汇所处的文本位置，生成回复消息。
具体地，根据用户输入的“说啥子标准梨花”，得到的各词汇和各词汇所处的位置，进而可生成回复消息“你说的是啥子标准的梨花”。
本发明实施例的人机对话的回复生成方法中，获取人机对话中的用户消息，根据用户 消息，生成用于回复用户消息的多个关键词，利用编码器对多个关键词进行编码，得到多 个关键词的第一隐状态，根据多个关键词的第一隐状态，利用解码器顺序生成回复消息中 各文本位置对应的多个第二隐状态，根据每一个第二隐状态进行采样，得到处于第二隐状 态对应文本位置上的词汇，根据各词汇，以及各词汇所处的文本位置，生成回复消息。通 过用户消息生成多个关键词，并对关键词进行编码和解码处理，并通过采样获取关键词对 应的文本词汇，进而生成回复消息，实现了不需要构建特征工程，适用于开放域的对话系 统，解决了现有技术中需要依赖特定的模板，系统适用性差，生成的回复消息适用性、相关性和多样性也较差，无法满足用户需求的问题。
为了实现上述实施例，本发明还提出一种人机对话的回复生成装置。
图4为本发明实施例提供的一种人机对话的回复生成装置的结构示意图。
如图4所示，该装置包括：获取模块41、第一生成模块42、编码模块43、解码模块 44和第二生成模块45。
获取模块41，用于获取人机对话中的用户消息。
第一生成模块42，用于根据用户消息，生成用于回复用户消息的多个关键词。
编码模块43，用于利用编码器对多个关键词进行编码，得到多个关键词的第一隐状态。
解码模块44，用于根据多个关键词的第一隐状态，利用解码器顺序生成回复消息中各 文本位置对应的多个第二隐状态，其中，若当前文本位置不为首个文本位置，当前文本位 置对应的第二隐状态，是根据前一个文本位置对应的第二隐状态和多个关键词的第一隐状 态，计算得到当前文本位置的注意力分布后，根据注意力分布对多个关键词的第一隐状态 进行加权平均得到当前文本位置的上下文向量，根据前一个文本位置对应的第二隐状态和 上下文向量，生成当前文本位置对应的第二隐状态。
第二生成模块45，用于根据每一个第二隐状态进行采样，得到处于第二隐状态对应文 本位置上的词汇，根据各词汇，以及各词汇所处的文本位置，生成回复消息。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘 述。
本发明实施例的人机对话的回复生成装置中，获取模块用于获取人机对话中的用户消 息，第一生成模块用于根据用户消息，生成用于回复用户消息的多个关键词，编码模块用 于利用编码器对多个关键词进行编码，得到多个关键词的第一隐状态，解码模块用于根据 多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位置对应的多个第二隐 状态，第二生成模块用于根据每一个第二隐状态进行采样，得到处于第二隐状态对应文本 位置上的词汇，根据各词汇，以及各词汇所处的文本位置，生成回复消息。通过用户消息 生成多个关键词，并对关键词进行编码和解码处理，并通过采样获取关键词对应的文本词 汇，进而生成回复消息，实现了不需要构建特征工程，适用于开放域的对话系统，解决了 现有技术中需要依赖特定的模板，系统适用性差，生成的回复消息适用性、相关性和多样 性也较差，无法满足用户需求的问题。
基于上述实施例，本发明实施例还提供了一种人机对话的回复生成装置的可能的实现 方式，图5为本发明实施例所提供的另一种人机对话的回复生成装置的结构示意图，在上 一实施例的基础上，如图5所示，该装置的第二生成模块45，还包括：计算单元451和采样单元452。
计算单元451，用于针对第n个文本位置对应的第二隐状态Sn，根据Sn，计算得到在第n个文本位置上的词库词汇分布根据第n个文本位置的上下文向量Cn计算得到在第 n个文本位置上符合词库词汇分布的概率根据注意力分布an，计算得到在第n个文本 位置上的关键词分布根据概率对词库词汇分布和关键词分布进行加权计算， 得到在第n个文本位置上词汇预测分布on。
采样单元452，用于根据词汇预测分布on，在词库中采样，确定在第n个文本位置上的词汇。
作为一种可能的实现方式，计算单元451，具体用于：
将概率词库词汇分布和关键词分布代入公式计算得到在第n个文本位置上的词汇预测分布on。
本实施例中，作为一种可能的实现方式，解码模块44，还可以用于：
若当前文本位置为回复消息的首个文本位置，将多个关键词编码得到的第一隐状态输 入解码器，得到当前文本位置对应的第二隐状态。
本实施例中，作为一种可能的实现方式，第一生成模块42，具体用于：根据用户消息 中的消息词，计算消息词与回复词之间的点互信息，根据点互信息，从回复词中确定多个 关键词。
作为另一种可能的实现方式，第一生成模块42，还具体用于：采用经过训练的主题模 型，根据用户消息，确定用户主题，从用户主题中，选取主题词作为多个关键词。
作为又一种可能的实现方式，第一生成模块42，还具体用于：采用对话管理算法，对 用户消息进行分析，得到语义槽，根据语义槽，确定多个关键词。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘 述。
本发明实施例的人机对话的回复生成装置中，获取模块用于获取人机对话中的用户消 息，第一生成模块用于根据用户消息，生成用于回复用户消息的多个关键词，编码模块用 于利用编码器对多个关键词进行编码，得到多个关键词的第一隐状态，解码模块用于根据 多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位置对应的多个第二隐 状态，第二生成模块用于根据每一个第二隐状态进行采样，得到处于第二隐状态对应文本 位置上的词汇，根据各词汇，以及各词汇所处的文本位置，生成回复消息。通过用户消息 生成多个关键词，并对关键词进行编码和解码处理，并通过采样获取关键词对应的文本词 汇，进而生成回复消息，实现了不需要构建特征工程，适用于开放域的对话系统，解决了 现有技术中需要依赖特定的模板，系统适用性差，生成的回复消息适用性、相关性和多样 性也较差，无法满足用户需求的问题。
为实现上述实施例，本发明实施例还提出了一种计算机设备，包括存储器、处理器及 存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现前 述方法实施例所述的人机对话的回复生成方法。
为实现上述实施例，本发明实施例还提出了一种非临时性计算机可读存储介质，其上 存储有计算机程序，该程序被处理器执行时实现前述方法实施例所述的人机对话的回复生 成方法。
为实现上述实施例，本发明实施例还提出了一种计算机程序产品，当该计算机程序产 品中的指令被处理器执行时，实现如前述方法实施例所述的人机对话的回复生成方法。
图6示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图6显示的计 算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围 总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例 来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下 简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线， 增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称： VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI) 总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算 机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器 (Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12 可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬 盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读 写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下， 每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少 一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以 执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中， 这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程 序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执 行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等) 通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得 该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调 器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12 还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网) 通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白， 尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于： 微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数 据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数 据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者 特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述 不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以 在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领 域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进 行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示 或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两 个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个 或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分， 并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的 实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实 现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令 执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行 系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设 备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布 线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只 读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及 便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述 程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行 编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储 在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实 施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或 固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技 术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离 散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可 编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可 以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中， 该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既 可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以 软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读 取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了 本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制， 本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种人机对话的回复生成方法，其特征在于，包括以下步骤：
获取人机对话中的用户消息；
根据用户消息，生成用于回复所述用户消息的多个关键词；
利用编码器对所述多个关键词进行编码，得到所述多个关键词的第一隐状态；
根据所述多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位置对应的多个第二隐状态；其中，若当前文本位置不为首个文本位置，当前文本位置对应的第二隐状态，是根据前一个文本位置对应的第二隐状态和所述多个关键词的第一隐状态，计算得到当前文本位置的注意力分布后，根据所述注意力分布对所述多个关键词的第一隐状态进行加权平均得到当前文本位置的上下文向量，根据所述前一个文本位置对应的第二隐状态和所述上下文向量，生成当前文本位置对应的第二隐状态；
根据每一个第二隐状态进行采样，得到处于所述第二隐状态对应文本位置上的词汇；
根据各词汇，以及各词汇所处的文本位置，生成回复消息。
2.根据权利要求1所述的回复方法，其特征在于，所述根据每一个第二隐状态进行采样，得到处于所述第二隐状态对应文本位置上的词汇，包括：
针对第n个文本位置对应的第二隐状态Sn，根据Sn，计算得到在第n个文本位置上的词库词汇分布根据第n个文本位置的上下文向量Cn计算得到在第n个文本位置上符合所述词库词汇分布的概率
根据注意力分布an，计算得到在第n个文本位置上的关键词分布
根据所述概率对所述词库词汇分布和所述关键词分布进行加权计算，得到在第n个文本位置上词汇预测分布on；
根据所述词汇预测分布on，在所述词库中采样，确定在第n个文本位置上的词汇。
3.根据权利要求2所述的回复方法，其特征在于，所述根据所述概率对所述词库词汇分布和所述关键词分布进行加权计算，得到在第n个文本位置上词汇预测分布on，包括：
将所述概率所述词库词汇分布和所述关键词分布代入公式计算得到在第n个文本位置上的词汇预测分布on。
4.根据权利要求1所述的回复方法，其特征在于，所述根据所述多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位置对应的多个第二隐状态，包括：
若当前文本位置为所述回复消息的首个文本位置，将所述多个关键词编码得到的第一隐状态输入所述解码器，得到当前文本位置对应的第二隐状态。
5.根据权利要求1所述的回复方法，其特征在于，所述根据用户消息，生成用于回复所述用户消息的多个关键词，包括：
根据所述用户消息中的消息词，计算所述消息词与回复词之间的点互信息；
根据点互信息，从回复词中确定所述多个关键词。
6.根据权利要求1所述的回复方法，其特征在于，所述根据用户消息，生成用于回复所述用户消息的多个关键词，包括：
采用经过训练的主题模型，根据用户消息，确定用户主题；
从所述用户主题中，选取主题词作为所述多个关键词。
7.根据权利要求1所述的回复方法，其特征在于，所述根据用户消息，生成用于回复所述用户消息的多个关键词，包括：
采用对话管理算法，对所述用户消息进行分析，得到语义槽；
根据所述语义槽，确定所述多个关键词。
8.一种人机对话的回复生成装置，其特征在于，包括：
获取模块，用于获取人机对话中的用户消息；
第一生成模块，用于根据用户消息，生成用于回复所述用户消息的多个关键词；
编码模块，用于利用编码器对所述多个关键词进行编码，得到所述多个关键词的第一隐状态；
解码模块，用于根据所述多个关键词的第一隐状态，利用解码器顺序生成回复消息中各文本位置对应的多个第二隐状态；其中，若当前文本位置不为首个文本位置，当前文本位置对应的第二隐状态，是根据前一个文本位置对应的第二隐状态和所述多个关键词的第一隐状态，计算得到当前文本位置的注意力分布后，根据所述注意力分布对所述多个关键词的第一隐状态进行加权平均得到当前文本位置的上下文向量，根据所述前一个文本位置对应的第二隐状态和所述上下文向量，生成当前文本位置对应的第二隐状态；
第二生成模块，用于根据每一个第二隐状态进行采样，得到处于所述第二隐状态对应文本位置上的词汇；根据各词汇，以及各词汇所处的文本位置，生成回复消息。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的人机对话的回复生成方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的人机对话的回复生成方法。
11.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-7中任一所述的人机对话的回复生成方法。
CN201711350420.2A 2017-12-15 2017-12-15 人机对话的回复生成方法和装置 Active CN108062388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711350420.2A CN108062388B (zh) 2017-12-15 2017-12-15 人机对话的回复生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711350420.2A CN108062388B (zh) 2017-12-15 2017-12-15 人机对话的回复生成方法和装置

Publications (2)

Publication Number Publication Date
CN108062388A true CN108062388A (zh) 2018-05-22
CN108062388B CN108062388B (zh) 2021-09-17

Family

ID=62139011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711350420.2A Active CN108062388B (zh) 2017-12-15 2017-12-15 人机对话的回复生成方法和装置

Country Status (1)

Country Link
CN (1) CN108062388B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920510A (zh) * 2018-05-30 2018-11-30 出门问问信息科技有限公司 自动聊天方法、装置和电子设备
CN108959421A (zh) * 2018-06-08 2018-12-07 三角兽（北京）科技有限公司 候选回复评价装置和问询回复设备及其方法、存储介质
CN108959246A (zh) * 2018-06-12 2018-12-07 北京慧闻科技发展有限公司 基于改进的注意力机制的答案选择方法、装置和电子设备
CN109002186A (zh) * 2018-06-28 2018-12-14 北京金山安全软件有限公司 一种输入预测方法及装置
CN109062951A (zh) * 2018-06-22 2018-12-21 厦门快商通信息技术有限公司 基于意图分析和对话聚类的对话流程抽取方法、设备及存储介质
CN109597884A (zh) * 2018-12-28 2019-04-09 北京百度网讯科技有限公司 对话生成的方法、装置、存储介质和终端设备
CN109670185A (zh) * 2018-12-27 2019-04-23 北京百度网讯科技有限公司 基于人工智能的文本生成方法和装置
CN109670155A (zh) * 2018-11-08 2019-04-23 龙马智声（珠海）科技有限公司 一种自动回复通信信息的方法
CN109783621A (zh) * 2018-12-17 2019-05-21 北京百度网讯科技有限公司 对话生成方法、装置及设备
CN109828986A (zh) * 2019-01-15 2019-05-31 巨轮智能装备股份有限公司 一种面向定制装备制造协同过程的信息智能化处理方法
CN109846471A (zh) * 2019-01-30 2019-06-07 郑州大学 一种基于BiGRU深度神经网络的心肌梗死检测方法
CN109977212A (zh) * 2019-03-28 2019-07-05 清华大学深圳研究生院 对话机器人的回复内容生成方法和终端设备
CN110070224A (zh) * 2019-04-20 2019-07-30 北京工业大学 一种基于多步骤递归预测的空气质量预测方法
CN110232118A (zh) * 2019-08-08 2019-09-13 中山大学 一种新型的基于gru注意力机制的答案选择模型
CN110442693A (zh) * 2019-07-27 2019-11-12 中国科学院自动化研究所 基于人工智能的回复消息生成方法、装置、服务器及介质
CN110674281A (zh) * 2019-12-05 2020-01-10 北京百度网讯科技有限公司 人机对话及人机对话模型获取方法、装置及存储介质
CN110929114A (zh) * 2018-09-19 2020-03-27 奥多比公司 利用动态记忆网络来跟踪数字对话状态并生成响应
CN111314451A (zh) * 2020-02-07 2020-06-19 普强时代(珠海横琴)信息技术有限公司 一种基于云计算应用的语言处理系统
CN111444399A (zh) * 2020-03-30 2020-07-24 腾讯科技（深圳）有限公司 回复内容的生成方法、装置、设备及可读存储介质
CN111832309A (zh) * 2019-03-26 2020-10-27 北京京东尚科信息技术有限公司 文本生成方法、装置和计算机可读存储介质
CN111971670A (zh) * 2018-11-02 2020-11-20 微软技术许可有限责任公司 在对话中生成响应
CN112364643A (zh) * 2019-12-31 2021-02-12 北京京东尚科信息技术有限公司 用于生成自然语言文本的方法、装置、电子设备和介质
CN113553863A (zh) * 2021-06-30 2021-10-26 北京百度网讯科技有限公司 文本生成方法、装置、电子设备和存储介质
CN113705576A (zh) * 2021-11-01 2021-11-26 江西中业智能科技有限公司 一种文本识别方法、装置、可读存储介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280087A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Results of Question and Answer Systems
CN104516921A (zh) * 2013-09-30 2015-04-15 华为技术有限公司 自动回复方法及装置
CN106326452A (zh) * 2016-08-26 2017-01-11 宁波薄言信息技术有限公司 一种基于上下文的人机对话方法
CN106503156A (zh) * 2016-10-24 2017-03-15 北京百度网讯科技有限公司 基于人工智能的人机交互方法及装置
CN106649778A (zh) * 2016-12-27 2017-05-10 北京百度网讯科技有限公司 基于深度问答的交互方法和装置
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107180037A (zh) * 2016-03-09 2017-09-19 北京京东尚科信息技术有限公司 人机交互方法和装置
CN107273487A (zh) * 2017-06-13 2017-10-20 北京百度网讯科技有限公司 基于人工智能的聊天数据的生成方法、装置及计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280087A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Results of Question and Answer Systems
CN104516921A (zh) * 2013-09-30 2015-04-15 华为技术有限公司 自动回复方法及装置
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107180037A (zh) * 2016-03-09 2017-09-19 北京京东尚科信息技术有限公司 人机交互方法和装置
CN106326452A (zh) * 2016-08-26 2017-01-11 宁波薄言信息技术有限公司 一种基于上下文的人机对话方法
CN106503156A (zh) * 2016-10-24 2017-03-15 北京百度网讯科技有限公司 基于人工智能的人机交互方法及装置
CN106649778A (zh) * 2016-12-27 2017-05-10 北京百度网讯科技有限公司 基于深度问答的交互方法和装置
CN107273487A (zh) * 2017-06-13 2017-10-20 北京百度网讯科技有限公司 基于人工智能的聊天数据的生成方法、装置及计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOUNGSOO JANG等: "Neural dialog state tracker for large ontologies by attention mechanism", 《IEEE》 *
天煞#孤星: "深度学习方法（九）：自然语言处理中的Attention Model注意力模型", 《HTTPS://BLOG.CSDN.NET/XBINWORLD/ARTICLE/DETAILS/54607525》 *
王东升等: "基于本体和语义文法的上下文相关问答", 《中文信息学报》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108920510A (zh) * 2018-05-30 2018-11-30 出门问问信息科技有限公司 自动聊天方法、装置和电子设备
CN108959421A (zh) * 2018-06-08 2018-12-07 三角兽（北京）科技有限公司 候选回复评价装置和问询回复设备及其方法、存储介质
CN108959246A (zh) * 2018-06-12 2018-12-07 北京慧闻科技发展有限公司 基于改进的注意力机制的答案选择方法、装置和电子设备
CN108959246B (zh) * 2018-06-12 2022-07-12 北京慧闻科技(集团)有限公司 基于改进的注意力机制的答案选择方法、装置和电子设备
CN109062951A (zh) * 2018-06-22 2018-12-21 厦门快商通信息技术有限公司 基于意图分析和对话聚类的对话流程抽取方法、设备及存储介质
CN109062951B (zh) * 2018-06-22 2021-04-06 厦门快商通信息技术有限公司 基于意图分析和对话聚类的对话流程抽取方法、设备及存储介质
CN109002186A (zh) * 2018-06-28 2018-12-14 北京金山安全软件有限公司 一种输入预测方法及装置
US11409374B2 (en) 2018-06-28 2022-08-09 Beijing Kingsoft Internet Security Software Co., Ltd. Method and device for input prediction
CN110929114A (zh) * 2018-09-19 2020-03-27 奥多比公司 利用动态记忆网络来跟踪数字对话状态并生成响应
CN111971670A (zh) * 2018-11-02 2020-11-20 微软技术许可有限责任公司 在对话中生成响应
CN109670155A (zh) * 2018-11-08 2019-04-23 龙马智声（珠海）科技有限公司 一种自动回复通信信息的方法
CN109783621B (zh) * 2018-12-17 2021-10-08 北京百度网讯科技有限公司 对话生成方法、装置及设备
CN109783621A (zh) * 2018-12-17 2019-05-21 北京百度网讯科技有限公司 对话生成方法、装置及设备
CN109670185A (zh) * 2018-12-27 2019-04-23 北京百度网讯科技有限公司 基于人工智能的文本生成方法和装置
CN109670185B (zh) * 2018-12-27 2023-06-23 北京百度网讯科技有限公司 基于人工智能的文本生成方法和装置
CN109597884A (zh) * 2018-12-28 2019-04-09 北京百度网讯科技有限公司 对话生成的方法、装置、存储介质和终端设备
CN109597884B (zh) * 2018-12-28 2021-07-20 北京百度网讯科技有限公司 对话生成的方法、装置、存储介质和终端设备
CN109828986A (zh) * 2019-01-15 2019-05-31 巨轮智能装备股份有限公司 一种面向定制装备制造协同过程的信息智能化处理方法
CN109828986B (zh) * 2019-01-15 2023-09-01 巨轮智能装备股份有限公司 一种面向定制装备制造协同过程的信息智能化处理方法
CN109846471A (zh) * 2019-01-30 2019-06-07 郑州大学 一种基于BiGRU深度神经网络的心肌梗死检测方法
CN111832309A (zh) * 2019-03-26 2020-10-27 北京京东尚科信息技术有限公司 文本生成方法、装置和计算机可读存储介质
CN109977212A (zh) * 2019-03-28 2019-07-05 清华大学深圳研究生院 对话机器人的回复内容生成方法和终端设备
CN109977212B (zh) * 2019-03-28 2020-11-24 清华大学深圳研究生院 对话机器人的回复内容生成方法和终端设备
CN110070224A (zh) * 2019-04-20 2019-07-30 北京工业大学 一种基于多步骤递归预测的空气质量预测方法
CN110442693B (zh) * 2019-07-27 2022-02-22 中国科学院自动化研究所 基于人工智能的回复消息生成方法、装置、服务器及介质
CN110442693A (zh) * 2019-07-27 2019-11-12 中国科学院自动化研究所 基于人工智能的回复消息生成方法、装置、服务器及介质
CN110232118A (zh) * 2019-08-08 2019-09-13 中山大学 一种新型的基于gru注意力机制的答案选择模型
CN110674281A (zh) * 2019-12-05 2020-01-10 北京百度网讯科技有限公司 人机对话及人机对话模型获取方法、装置及存储介质
CN110674281B (zh) * 2019-12-05 2020-05-29 北京百度网讯科技有限公司 人机对话及人机对话模型获取方法、装置及存储介质
CN112364643B (zh) * 2019-12-31 2024-04-16 北京京东尚科信息技术有限公司 用于生成自然语言文本的方法、装置、电子设备和介质
CN112364643A (zh) * 2019-12-31 2021-02-12 北京京东尚科信息技术有限公司 用于生成自然语言文本的方法、装置、电子设备和介质
CN111314451A (zh) * 2020-02-07 2020-06-19 普强时代(珠海横琴)信息技术有限公司 一种基于云计算应用的语言处理系统
CN111444399A (zh) * 2020-03-30 2020-07-24 腾讯科技（深圳）有限公司 回复内容的生成方法、装置、设备及可读存储介质
CN113553863A (zh) * 2021-06-30 2021-10-26 北京百度网讯科技有限公司 文本生成方法、装置、电子设备和存储介质
CN113553863B (zh) * 2021-06-30 2023-10-20 北京百度网讯科技有限公司 文本生成方法、装置、电子设备和存储介质
CN113705576A (zh) * 2021-11-01 2021-11-26 江西中业智能科技有限公司 一种文本识别方法、装置、可读存储介质及设备

Also Published As

Publication number Publication date
CN108062388B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN108062388A (zh) 人机对话的回复生成方法和装置
CN111967266B (zh) 中文命名实体识别系统、模型构建方法和应用及相关设备
CN108984683B (zh) 结构化数据的提取方法、系统、设备及存储介质
CN110765775B (zh) 一种融合语义和标签差异的命名实体识别领域自适应的方法
CN110532557B (zh) 一种无监督的文本相似度计算方法
CN109165384A (zh) 一种命名实体识别方法及装置
CN110750959A (zh) 文本信息处理的方法、模型训练的方法以及相关装置
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN109271493A (zh) 一种语言文本处理方法、装置和存储介质
CN112069328B (zh) 一种基于多标签分类的实体关系联合抽取模型的建立方法
CN111782768B (zh) 基于双曲空间表示和标签文本互动的细粒度实体识别方法
CN110162789B (zh) 一种基于汉语拼音的词表征方法及装置
CN110377916A (zh) 词预测方法、装置、计算机设备及存储介质
CN112069302A (zh) 会话意图识别模型的训练方法、会话意图识别方法及装置
CN112905795A (zh) 文本意图分类的方法、装置和可读介质
CN109919175B (zh) 一种结合属性信息的实体多分类方法
CN112559749B (zh) 在线教育师生智能匹配方法、装置及存储介质
CN110851601A (zh) 基于分层注意力机制的跨领域情感分类系统及方法
CN109670185A (zh) 基于人工智能的文本生成方法和装置
CN111061951A (zh) 一种基于双层自注意力评论建模的推荐模型
CN115310551A (zh) 文本分析模型训练方法、装置、电子设备和存储介质
CN113988300A (zh) 一种题目结构推理方法及系统
CN112214595A (zh) 类别确定方法、装置、设备及介质
CN116245097A (zh) 训练实体识别模型的方法、实体识别方法及对应装置
CN116049387A (zh) 一种基于图卷积的短文本分类方法、装置、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant