CN113806506B - 一种面向常识推理的生成式人机对话回复生成方法 - Google Patents

一种面向常识推理的生成式人机对话回复生成方法 Download PDF

Info

Publication number
CN113806506B
CN113806506B CN202111083577.XA CN202111083577A CN113806506B CN 113806506 B CN113806506 B CN 113806506B CN 202111083577 A CN202111083577 A CN 202111083577A CN 113806506 B CN113806506 B CN 113806506B
Authority
CN
China
Prior art keywords
vector
knowledge
context
head
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111083577.XA
Other languages
English (en)
Other versions
CN113806506A (zh
Inventor
卢国明
康昭
陈爱国
罗光春
穆亚侨
姚娴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111083577.XA priority Critical patent/CN113806506B/zh
Publication of CN113806506A publication Critical patent/CN113806506A/zh
Application granted granted Critical
Publication of CN113806506B publication Critical patent/CN113806506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)

Abstract

一种面向常识推理的生成式人机对话回复生成方法，属于自然语言处理技术领域。本发明通过上下文搜索引入知识实体，对知识向量与对话向量共同解码生成回复，这样的回复采用了已有的知识和推断技术对上下文进行判断，有效提升了对话的回复质量。

Description

一种面向常识推理的生成式人机对话回复生成方法
技术领域
本发明属于自然语言处理技术领域，具体涉及一种面向常识推理的生成式人机对话回复生成方法。
背景技术
使用自然语言与机器沟通是长久以来计算机科学研究的目标之一。随着现代人工智能和深度学习技术的大幅发展，以及全球互联网与移动设备普及带来的对话语料的大幅增加，之前由于词义多样、语法复杂而难以获得进展的自然语言处理领域研究与对话系统领域也得到了快速发展。
人机对话是指能够让机器通过人类语言与人进行交互的系统。生成式对话系统是在深度学习等技术较为成熟之后才逐渐具有可用性的技术，生成式对话系统需要在一个没有语料库作为直接参考的情况下，使用纯数据驱动的端到端方式进行回复生成。同时其中引入背景知识为使用一个机器推理过程将与对话相关的知识引入到对话过程当中，使对话更有活力。
目前的生成式对话回复较多使用序列到序列模型及其变种，其使用循环神经网络作为模型的编码与解码器，编码器将输入序列中具体任务所需要的信息通过编码器部分提取出来作为中间向量，解码器将中间向量转化为人类可理解的所需输出序列。现有的生成对话方式存在以下不足：
1.缺乏对于对话的理解，导致对话系统粗犷地生成相似、模糊不清的回复，使对话准确性较差。
2.缺乏对于知识的处理，难以获得与使用相关的知识，使对话的回复信息多样性较低。
发明内容
本发明的目的在于，针对背景技术存在的不足，提出了一种面向常识推理的生成式人机对话回复生成方法。本发明通过上下文搜索引入知识实体，对知识向量与对话向量共同解码生成回复，这样的回复采用了已有的知识和推断技术对上下文进行判断，有效提升了对话的回复质量。
为实现上述目的，本发明采用的技术方案如下：
一种面向常识推理的生成式人机对话回复生成方法，其特征在于，包括以下步骤：
S1.对对话上下文文本信息数据进行预处理；
S11.对对话上下文文本信息数据进行数据清洗处理；
S12.将S11清洗处理后的上下文文本信息数据根据说话人进行句子分隔；
S2.对步骤S1预处理后的对话上下文信息数据进行编码，得到上下文向量Wcontext；
S3.对步骤S1预处理后的对话上下文信息数据进行知识推理；
S31.采用词表的方法将步骤S1预处理后的对话上下文信息数据中的字转化为整型标志符，得到以整型数字表示的上下文标志符序列input＝{w1，w2，...，wt，...，wN}，其中，N为对话上下文信息数据的总字数，wt为第t个字的数字表示；
S32.将S31得到的上下文标志符序列进行编码向量化，得到编码矩阵W＝{h1，h2，...，ht，...，hN}，ht为第t个字的编码结果，ht＝Embedding(wt)；然后，采用自注意力机制进行计算，得到output，output＝NN(M)，其中，NN为神经网络计算函数，中间量M＝[head1，head2，...，headi，...，headH]，headi＝selfAttention(QiW，KiW，ViW)，H代表多头自注意力机制模型中模块头的个数，headi为多头自注意力中第i个头的计算结果，Qi、Ki、Vi分别为第i个头中计算Q、K、V所用的训练变量参数，Q、K、V分别为自注意力计算中的询、键、值矩阵；采用Sigmoid函数计算每个词的重要性，对重要性过滤，得到对话上下文文本信息数据中需要关注的相关知识实体序列knowledge＝{K1，K2，...，Km}，其中Km为第m个以词语形式存在的知识实体，m代表对话上下文文本信息数据中的知识实体的数量；
S33.将S32输出的知识实体序列knowledge在文档知识库中进行检索，得到文档知识输出Kdocuments＝{Kd1，Kd2，...，Kdn}，其中，Kdn为第n个知识实体相关文字序列，n为检索到的相关文字序列的数量；
S34.将S32输出的知识实体序列knowledge在知识图谱知识库中进行推理，得到结构化知识输出Kgraph＝{Kg1，Kg2，...，Kgp}，其中Kgp为第p个三元组的文字序列，p为根据知识图谱知识库得到的三元组的数量；
S35.将S34输出的结构化知识Kgraph转化为Trans-E向量，得到Ktrans＝{Kt1，Kt2，...，Ktp}，其中Ktp为转化成的第p个Trans-E向量；
S4.进行知识融合，得到知识向量Wknowledge；
S41.将S33输出的Kdocuments与S34输出的Kgraph拼接、转化为整型标志符序列，得到拼接后的以整型数字表示的输入序列I＝{w1′，w2′，...，wt′，...，wN′′}，其中，N′为拼接后的以整型数字表示的输入序列的总字数，wt′为第t个字的数字表示；
S42.对S41输出的序列I进行编码，并与Ktrans进行拼接，得到输入向量Wk；然后，采用自注意力机制对输入向量Wk进行计算，得到中间向量Wz；
S43.对S42输出的中间向量Wz与S2得到的上下文向量Wcontext进行自注意力计算，上下文向量Wcontext作为注意力计算的Q向量，中间向量Wz作为注意力计算的K、V向量，计算得到知识向量Wknowledge；
S5.对上下文向量Wcontext与知识向量Wknowledge进行解码，进行回复生成；
S51.将上下文向量Wcontext与知识向量Wknowledge拼接，得到联合向量Wunion＝[Wcontext，Wknowledge]；
S52.将第j次的回复向量Wj进行自注意力计算，得到第一中间向量Waj，其中，第0次的回复向量为预设的初始回复向量W0；
S53.将S52得到的第一中间向量Waj与S51得到的联合向量Wunion进行自注意力计算，第一中间向量Waj作为注意力计算的Q向量，联合向量Wunion作为注意力计算的K、V向量，计算得到第二中间向量Wbj；
S54.将S53输出的第二中间向量Wbj输入神经网络进行计算，然后通过softmax函数得到one-hot编码，并对one-hot编码查表得到目标文字，将之前所有的文字编码，得到回复向量Wj+1；
S55.重复步骤S52-S54，直到生成的字符为终止符，输出回复向量，并采用查表的方法将回复向量转化为文字回复。
本发明的有益效果为：
本发明提出了一种面向常识推理的生成式人机对话回复生成方法，能够将更全面的知识更有效地引入到生成式对话回复中，有效提升了对话的回复质量。
附图说明
图1为本发明提供的一种面向常识推理的生成式人机对话回复生成方法的流程图。
具体实施方式
一种面向常识推理的生成式人机对话回复生成方法，具体包括以下步骤：
S1.对对话上下文文本信息数据进行预处理；具体过程为：
S11.对对话上下文文本信息数据进行数据清洗处理，包括分词、大小写转换、全角半角格式转换；
S12.将S11清洗处理后的上下文文本信息数据根据说话人进行句子分隔；具体为，在说话人1的句子前标注[speaker1]，说话人2的句子前标注[speaker2]；
S2.采用多头自注意力机制的编码方法，利用Transformer Encoder(编码器)对步骤S1预处理后的对话上下文信息数据进行编码，得到上下文向量Wcontext；
S3.对步骤S1预处理后的对话上下文信息数据进行知识推理；具体过程为：
S31.采用词表的方法将步骤S1预处理后的对话上下文信息数据中的每个字转化为整型标志符TOKEN，得到以整型数字表示的上下文标志符序列input＝{w1，w2，...，wt，...，wN}，其中，N为对话上下文信息数据的总字数，wt为第t个字的数字表示；
S32.将S31得到的上下文标志符序列输入基于BERT的实体选择器中，通过一个Embedding编码器进行编码向量化，得到编码矩阵W＝{h1，h2，...，ht，...，hN}，其中，ht为第t个字的编码结果，ht＝Embedding(wt)；然后，采用自注意力机制进行计算，得到output，output＝NN(M)，其中，NN为神经网络计算函数，中间量M＝[head1，head2，...，headi，...，headH]，headi＝selfAttention(QiW，KiW，ViW)，H代表多头自注意力机制模型中模块头的个数，headi为多头自注意力中第i个头的计算结果，Qi、Ki、Vi分别为第i个头中计算Q、K、V所用的训练变量参数，Q、K、V分别为自注意力计算中的询、键、值矩阵；采用Sigmoid函数计算自注意力计算得到的output中每个词的重要性，通过预设的重要性阈值对重要性过滤，得到对话上下文文本信息数据中需要关注(需要关注的知识实体是指重要性超过预设的重要性阈值的知识实体)的相关知识实体序列knowledge＝{K1，K2，...，Km}，其中Km为第m个以词语形式存在的知识实体，m代表对话上下文文本信息数据中的知识实体的数量；
S33.将S32输出的知识实体序列knowledge在预先设置的文档知识库中根据预先设置的检索匹配规则进行检索，得到文档知识输出Kdocuments＝{Kd1，Kd2，...，Kdn}，其中，Kdn为第n个知识实体相关文字序列，n为检索到的相关文字序列的数量；该相关文字序列是根据预先构建的相关关联关系选择的；
S34.将S32输出的知识实体序列knowledge在预先设置的、采用三元组描述的知识图谱知识库中进行推理，提取与{K1，K2，...，Km}中各知识实体相关的实体在预设范围内的三元组，作为结构化知识输出Kgraph＝{Kg1，Kg2，...，Kgp}，其中Kgp为第p个三元组的文字序列，p为根据知识图谱知识库得到的三元组的数量；具体地，与各知识实体相关的实体可以是各知识实体的同义词、近义词等；
S35.将S34输出的结构化知识Kgraph转化为Trans-E向量，即Ktrans＝{Kt1，Kt2，...，Ktp}，其中Ktp为三元组转化成的第p个Trans-E向量，p为根据知识图谱知识库得到的三元组的数量；
S4.进行知识融合，得到知识向量Wknowledge；具体过程为：
S41.将S33输出的Kdocuments与S34输出的Kgraph拼接、转化为整型标志符序列TOKEN，得到拼接后的以整型数字表示的输入序列I＝{w1′，w2′，...，wt′，...，wN′′}，其中，N′为拼接后的以整型数字表示的输入序列的总字数，wt′为第t个字的数字表示；
S42.对S41输出的序列I进行编码使得其格式与Ktrans格式匹配以实现与Ktrans的拼接，然后与Ktrans进行拼接，得到输入向量Wk；然后，采用自注意力机制对输入向量Wk进行计算，得到中间向量Wz，Wz＝NN(M)，其中，NN为神经网络计算函数，M＝[head1，head2，...，headi，...，headH]，headi＝selfAttention(QiWk，KiWk，ViWk)，H代表多头自注意力机制模型中模块头的个数，headi为多头自注意力中第i个头的计算结果，Qi、Ki、Vi分别为第i个头中计算Q、K、V所用的训练变量参数，Q、K、V分别为自注意力计算中的询、键、值矩阵；
S43.对S42输出的中间向量Wz与S2得到的上下文向量Wcontext进行自注意力计算，上下文向量Wcontext作为注意力计算的Q向量，中间向量Wz作为注意力计算的K、V向量，计算得到知识向量Wknowledge，Wknowledge＝NN(M)，其中，NN为神经网络计算函数，M＝[head1，head2，...，headi，...，headH]，headi＝selfAttention(QiWcontext，KiWz，ViWz)，H代表多头自注意力机制模型中单个模块头的个数，headi为多头自注意力中第i个头的计算结果，Qi、Ki、Vi分别为第i个头中计算Q、K、V所用的训练变量参数；
S5.对上下文向量Wcontext与知识向量Wknowledge进行解码，进行回复生成；具体过程为：
S51.将S2得到的上下文向量Wcontext与S4得到的知识向量Wknowledge拼接，得到联合向量Wunion＝[Wcontext，Wknowledge]；
S52.将第j次的回复向量Wj进行自注意力计算，得到第一中间向量Waj，其中，j＝0，1，2，…，第0次的回复向量为预设的初始回复向量W0；Waj＝NN(M)，其中，NN为神经网络计算函数，M＝[head1，head2，...，headi，...，headH]，headi＝selfAttention(QiWj，KiWj，ViWj)，H代表多头自注意力机制模型中单个模块头的个数，headi为多头自注意力中第i个头的计算结果，Qi、Ki、Vi分别为第i个头中计算Q、K、V所用的训练变量参数，Q、K、V分别为自注意力计算中的询、键、值矩阵；
S53.将S52得到的第一中间向量Waj与S51得到的联合向量Wunion进行自注意力计算，第一中间向量Waj作为注意力计算的Q向量，联合向量Wunion作为注意力计算的K、V向量，计算得到第二中间向量Wbj，Wbj＝NN(M)，其中，NN为神经网络计算函数，M＝[head1，head2，...，headi，...，headH]，headi＝selfAttention(QiWaj，KiWunion，ViWunion)，H代表多头自注意力机制模型中单个模块头的个数，headi为多头自注意力中第i个头的计算结果，Qi、Ki、Vi分别为第i个头中计算Q、K、V所用的训练变量参数；
S54.将S53输出的第二中间向量Wbj输入神经网络进行计算，然后通过softmax函数得到one-hot编码，并对one-hot编码查表得到目标文字，将之前所有的文字(截止目前为止得到的所有文字)输出组合编码，得到回复向量Wj+1；
S55.判断是否得到终止符，若生成的字符为终止符，则输出回复向量，并采用查表的方法将回复向量转化为文字回复；若生成的字符不是终止符，则令i＝i+1，进入步骤S52。

Claims (1)

1.一种面向常识推理的生成式人机对话回复生成方法，其特征在于，包括以下步骤：
S1.对对话上下文文本信息数据进行预处理；
S11.对对话上下文文本信息数据进行数据清洗处理；
S12.将S11清洗处理后的上下文文本信息数据根据说话人进行句子分隔；
S2.对步骤S1预处理后的对话上下文信息数据进行编码，得到上下文向量Wcontext；
S3.对步骤S1预处理后的对话上下文信息数据进行知识推理；
S31.采用词表的方法将步骤S1预处理后的对话上下文信息数据中的字转化为整型标志符，得到以整型数字表示的上下文标志符序列input＝{w1，w2，...，wt，...，wN}，其中，N为对话上下文信息数据的总字数，wt为第t个字的数字表示；
S32.将S31得到的上下文标志符序列进行编码向量化，得到编码矩阵W＝{h1，h2，...，ht，...，hN}，ht为第t个字的编码结果，ht＝Embedding(wt)；然后，采用自注意力机制进行计算，得到output，output＝NN(M)，其中，NN为神经网络计算函数，中间量M＝[head1，head2，...，headi，...，headH]，headi＝selfAttention(QiW，KiW，ViW)，H代表多头自注意力机制模型中模块头的个数，headi为多头自注意力中第i个头的计算结果，Qi、Ki、Vi分别为第i个头中计算Q、K、V所用的训练变量参数，Q、K、V分别为自注意力计算中的询、键、值矩阵；采用Sigmoid函数计算每个词的重要性，对重要性过滤，得到对话上下文文本信息数据中需要关注的相关知识实体序列knowledge＝{K1，K2，...，Km}，其中Km为第m个以词语形式存在的知识实体，m代表对话上下文文本信息数据中的知识实体的数量；
S33.将S32输出的知识实体序列knowledge在文档知识库中进行检索，得到文档知识输出Kdocuments＝{Kd1，Kd2，...，Kdn}，其中，Kdn为第n个知识实体相关文字序列，n为检索到的相关文字序列的数量；
S34.将S32输出的知识实体序列knowledge在知识图谱知识库中进行推理，得到结构化知识输出Kgraph＝{Kg1，Kg2，...，Kgp}，其中Kgp为第p个三元组的文字序列，p为根据知识图谱知识库得到的三元组的数量；
S35.将S34输出的结构化知识Kgraph转化为Trans-E向量，得到Ktrans＝{Kt1，Kt2，...，Ktp}，其中Ktp为转化成的第p个Trans-E向量；
S4.进行知识融合，得到知识向量Wknowledge；
S41.将S33输出的Kdocuments与S34输出的Kgraph拼接、转化为整型标志符序列，得到拼接后的以整型数字表示的输入序列I＝{w1′，w2′，...，wt′，...，wN′′}，其中，N′为拼接后的以整型数字表示的输入序列的总字数，wt′为第t个字的数字表示；
S42.对S41输出的序列I进行编码，并与Ktrans进行拼接，得到输入向量Wk；然后，采用自注意力机制对输入向量Wk进行计算，得到中间向量Wz；
S43.对S42输出的中间向量Wz与S2得到的上下文向量Wcontext进行自注意力计算，上下文向量Wcontext作为注意力计算的Q向量，中间向量Wz作为注意力计算的K、V向量，计算得到知识向量Wknowledge；
S5.对上下文向量Wcontext与知识向量Wknowledge进行解码，进行回复生成；
S51.将上下文向量Wcontext与知识向量Wknowledge拼接，得到联合向量Wunion＝[Wcontext，Wknowledge]；
S52.将第j次的回复向量Wj进行自注意力计算，得到第一中间向量Waj，其中，第0次的回复向量为预设的初始回复向量W0；
S53.将S52得到的第一中间向量Waj与S51得到的联合向量Wunion进行自注意力计算，第一中间向量Waj作为注意力计算的Q向量，联合向量Wunion作为注意力计算的K、V向量，计算得到第二中间向量Wbj；
S54.将S53输出的第二中间向量Wbj输入神经网络进行计算，然后通过softmax函数得到one-hot编码，并对one-hot编码查表得到目标文字，将之前所有的文字编码，得到回复向量Wj+1；
S55.重复步骤S52-S54，直到生成的字符为终止符，输出回复向量，并采用查表的方法将回复向量转化为文字回复。
CN202111083577.XA 2021-09-15 2021-09-15 一种面向常识推理的生成式人机对话回复生成方法 Active CN113806506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083577.XA CN113806506B (zh) 2021-09-15 2021-09-15 一种面向常识推理的生成式人机对话回复生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083577.XA CN113806506B (zh) 2021-09-15 2021-09-15 一种面向常识推理的生成式人机对话回复生成方法

Publications (2)

Publication Number Publication Date
CN113806506A CN113806506A (zh) 2021-12-17
CN113806506B true CN113806506B (zh) 2023-04-18

Family

ID=78895558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083577.XA Active CN113806506B (zh) 2021-09-15 2021-09-15 一种面向常识推理的生成式人机对话回复生成方法

Country Status (1)

Country Link
CN (1) CN113806506B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084314A (zh) * 2020-08-20 2020-12-15 电子科技大学 一种引入知识的生成式会话系统
CN113609301A (zh) * 2021-07-05 2021-11-05 上海交通大学 一种基于知识图谱的对话方法、介质及系统
CN113656569A (zh) * 2021-08-24 2021-11-16 电子科技大学 一种基于上下文信息推理的生成式对话方法
CN114072832A (zh) * 2019-06-28 2022-02-18 脸谱科技有限责任公司 用于助理系统的基于记忆的对话推理和问答
CN115358289A (zh) * 2022-07-20 2022-11-18 南京航空航天大学 一种融合多类型知识库和推理技术的文本生成算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071599A1 (en) * 2017-10-13 2019-04-18 Microsoft Technology Licensing, Llc PROVIDING AN ANSWER IN A SESSION

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114072832A (zh) * 2019-06-28 2022-02-18 脸谱科技有限责任公司 用于助理系统的基于记忆的对话推理和问答
CN112084314A (zh) * 2020-08-20 2020-12-15 电子科技大学 一种引入知识的生成式会话系统
CN113609301A (zh) * 2021-07-05 2021-11-05 上海交通大学 一种基于知识图谱的对话方法、介质及系统
CN113656569A (zh) * 2021-08-24 2021-11-16 电子科技大学 一种基于上下文信息推理的生成式对话方法
CN115358289A (zh) * 2022-07-20 2022-11-18 南京航空航天大学 一种融合多类型知识库和推理技术的文本生成算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Anuj Kumar等.OpendialKG:explainable conversational reasoning with attention-based walks overknowledge graphs.《Association for computational Linguistics》.2019,845-854. *
张聪.基于深度学习的开放领域多轮对话技术研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2021,I138-1006. *

Also Published As

Publication number Publication date
CN113806506A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN111145728B (zh) 语音识别模型训练方法、系统、移动终端及存储介质
CN112633364B (zh) 一种基于Transformer-ESIM注意力机制的多模态情绪识别方法
CN111199727B (zh) 语音识别模型训练方法、系统、移动终端及存储介质
CN111897933B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN111274375B (zh) 一种基于双向gru网络的多轮对话方法及系统
CN110609891A (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN112214591B (zh) 一种对话预测的方法及装置
CN111783459A (zh) 一种基于改进Transformer+CRF的老挝语命名实体识别方法
CN115964467A (zh) 一种融合视觉情境的富语义对话生成方法
CN111966800A (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN114443813B (zh) 一种智能化的在线教学资源知识点概念实体链接方法
CN113919319B (zh) 基于动作场景强化的脚本事件预测方法
CN116341562A (zh) 一种基于Unilm语言模型的相似问题生成方法
CN113254582A (zh) 一种基于预训练模型的知识驱动对话方法
CN114238652A (zh) 一种用于端到端场景的工业故障知识图谱建立方法
CN116975288A (zh) 文本处理方法及文本处理模型训练方法
CN113656569B (zh) 一种基于上下文信息推理的生成式对话方法
CN117437909B (zh) 基于热词特征向量自注意力机制的语音识别模型构建方法
CN114386426A (zh) 一种基于多元语义融合的金牌话术推荐方法及装置
CN114281954A (zh) 一种基于关系图注意力网络的多轮对话回复生成系统及方法
CN113326367A (zh) 基于端到端文本生成的任务型对话方法和系统
CN116108856B (zh) 基于长短回路认知与显隐情感交互的情感识别方法及系统
CN117648469A (zh) 一种基于对比学习的交叉双塔结构答案选择方法
CN113806506B (zh) 一种面向常识推理的生成式人机对话回复生成方法
CN116663566A (zh) 一种基于商品评价的方面级情感分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant