CN113326367B - 基于端到端文本生成的任务型对话方法和系统 - Google Patents

基于端到端文本生成的任务型对话方法和系统 Download PDF

Info

Publication number
CN113326367B
CN113326367B CN202110739806.2A CN202110739806A CN113326367B CN 113326367 B CN113326367 B CN 113326367B CN 202110739806 A CN202110739806 A CN 202110739806A CN 113326367 B CN113326367 B CN 113326367B
Authority
CN
China
Prior art keywords
dialogue
information
text generation
corpus
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110739806.2A
Other languages
English (en)
Other versions
CN113326367A (zh
Inventor
饶璐
谭斌
周兴发
杨兰
孙锐
展华益
方凡
李焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Qiruike Technology Co Ltd
Original Assignee
Sichuan Qiruike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Qiruike Technology Co Ltd filed Critical Sichuan Qiruike Technology Co Ltd
Priority to CN202110739806.2A priority Critical patent/CN113326367B/zh
Publication of CN113326367A publication Critical patent/CN113326367A/zh
Application granted granted Critical
Publication of CN113326367B publication Critical patent/CN113326367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于端到端文本生成的任务型对话方法，包括：获取用户当前对话话术，并更新历史对话语料库；将历史对话语料转换为语义向量；将语义向量输入文本生成模型，得到不包含实体信息的回复话术，回复话术中的具体实体信息由槽位标签指代；将槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配，将匹配度最高的信息作为槽位标签具体指代的实体信息；将回复话术中的槽位标签替换为实体信息，并将替换了实体信息的回复话术输入文本校正模块，得到最终的回复话术；本发明还公开了一种基于端到端文本生成的任务型对话系统，本发明解决了耗费大量的人力和时间来标注数据、生成的回复话术语义不明确、缺乏上下文联系等问题。

Description

基于端到端文本生成的任务型对话方法和系统
技术领域
本发明涉及自然语言处理和深度学习技术领域，特别是一种基于端到端文本生成的任务型对话方法和系统。
背景技术
近年来，随着信息技术和自然语言处理技术的不断发展，自动问答系统逐渐成为人们的研究重点。其主要包含自然语言理解，对话管理以及自然语言生成三个模块。自然语言理解技术由早期的序列标注或基于统计的方法逐渐发展为基于深度学习的方法，对话管理框架也由基于规则的方法发展为基于强化学习的方法，而自然语言生成技术也由当初的基于模板的方法发展为端到端的深度学习模型。早期的自动问答系统主要采用流水线方法，将三个主要模块依次拼接，这样的系统稳定性高，但需要大量人工对各模块数据进行标注，费时费力，且存在错误传递问题，一旦前一个模块生成的结果错误，将对后续模块的预测结果造成负面影响。端到端的自动对话技术就很好的缓解了上述问题，它直接利用了对话两端的源数据来构建对话模型的参数，减少了大量的人工标注和模板设计的时间，也避免了错误传递问题。
自动问答系统按照目的的不同可以分为开放领域的对话系统和任务型对话系统。开放领域的特点是用户语义意图不明确，通常期望的是语义相关性和渐进性的娱乐性质聊天，主要起到拉进距离、建立信任关系、顺滑过渡对话过程和提高用户粘性的作用，对生成回复的准确率要求较低。而任务型对话是以任务为驱动的对话过程，用户一般都带有明显的意图参与对话，并期望对话系统能够满足或完成自身需求。任务型对话通常需要借助外部数据库获取额外知识来达成用户的目的，比如查询天气、订购机票等。与传统的基于流水线的任务型对话方法相比，近几年比较受关注的端到端的任务型对话系统虽然在一定程度上缓解了耗费人工、避免错误传递等问题，但这种端到端的模型结构很难将外部知识库信息全面地融入答案生成的过程中，同时生成的文本也存在语义不明，上下文关联度不强等问题。
现有技术中，CN112541060A提出了一种基于对抗训练的端到端任务型对话学习框架和方法，该方法采用了三种网络分别用于实体抽取、从知识库中检索相关实体和学习语言模型，并训练生成了对抗网络来完成模块之间的知识迁移，该发明虽然有效利用了外部知识库信息，但整个系统流程复杂，包含多个网络模块，需要比较繁重的数据标注工作，耗费人力。
CN111462750A提出了一种语义与知识增强的端到端任务型对话系统及方法，其中包括对话历史语义信息编码模块、外部数据库访问模块和对话回复解码模块，该发明利用这三个模块设计出高效快速的端到端对话信息编码模型，实现了历史文本到回复生成映射的过程，具有较高的迁移性。但是该方法仍然存在端到端模型的常见问题，就是无法保证生成文本的内容具有明确的含义和较高的可读性。
综上所述，现有任务型对话系统存在以下几点问题：
1)流水线模式的任务型对话系统对数据标注工作依赖性较高，需要耗费大量人力对各个子模块进行数据标注，且存在错误传递问题，一旦上一个环节的模型预测结果错误，将直接影响其下游模型的准确性。
2)任务型对话系统对外部数据库依赖性较高，但端到端的深度学习模型无法将外部知识库信息有效应用到答案生成过程当中。
3)一些端到端的任务型对话系统包含多个子任务模块，系统流程复杂，仍然需要比较繁重的数据标注工作，并且包含了语义理解模块，语义理解的不稳定性将对最终的答案生成产生影响。
4)常见的端到端生成式模型，都存在生成文本语义不明确，上下文联系不紧密的问题。
发明内容
为解决现有技术中存在的问题，本发明的目的是提供一种基于端到端文本生成的任务型对话方法和系统，本发明解决了耗费大量的人力和时间来标注数据、传统流水线模型带来的错误传递问题以及生成文本语义不清晰、上下文缺乏联系等问题。
为实现上述目的，本发明采用的技术方案是：一种基于端到端文本生成的任务型对话方法，包括：
获取用户当前对话话术，并更新历史对话语料库；
将所述历史对话语料转换为语义向量；
将所述语义向量输入文本生成模型，得到不包含实体信息的回复话术，回复话术中的具体实体信息由槽位标签指代；
将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配，将匹配度最高的信息作为槽位标签具体指代的实体信息；
将回复话术中的槽位标签替换为所述实体信息，并将替换了实体信息的回复话术输入文本校正模块，得到最终的回复话术。
作为本发明的进一步改进，在更新历史对话语料库之前，还包括：构建用于存储历史对话语料和外部知识库的模块，制定对话语料和外部知识库的存储形式。
作为本发明的进一步改进，在将所述历史对话语料转换为语义向量之前，还包括构建预训练语言模型，所述预训练语言模型为单向特征表示的自回归预训练语言模型、双向特征表示的自编码预训练语言模型或双向特征表示的自回归预训练语言模型。
作为本发明的进一步改进，构建预训练语言模型之后，还包括获取当前用户对话话术的情感特征，将所述用户对话话术输入预训练语言模型之后得到的向量表示与所述情感特征向量进行融合，得到包含上下文信息和情感信息的语义向量。
作为本发明的进一步改进，采用Seq2Seq模型或采用Pointer-GeneratorNetworks模型构建所述文本生成模型。
作为本发明的进一步改进，构建所述文本生成模型后，还包括设定损失函数，以及设定迭代更新所述文本生成模型的参数。
作为本发明的进一步改进，构建所述文本生成模型后，对其进行训练，具体包括：获取语料数据，根据实际需求对语料中的文本进行处理，将处理后的文本转换为语义向量，将所述语义向量输入文本生成模型进行训练，得到训练好的文本生成模型。
作为本发明的进一步改进，所述将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配具体包括：采用基于记忆力网络的指针筛查方式，找到与所述槽位标签特征向量最相关的知识条目，并从所述知识条目中选择出符合要求的实体信息。
作为本发明的进一步改进，所述文本校正模块通过语义通顺度计算方法给所述回复话术打分，若得分高于预设阈值，所述回复话术即为最终输出回答，若得分低于预设阈值，对回复话术中的非实体信息进行语义增强操作并重新打分，直到所述回复话术得分高于预设阈值时，停止语义增强操作，所述语义增强后的回复话术作为最终输出回答。
本发明还公开了一种基于端到端文本生成的任务型对话系统，包括：
对话更新单元，用于获取用户当前对话话术，并更新历史对话语料库；
向量转换单元，用于将所述历史对话语料转换为语义向量；
文本生成单元，用于将所述语义向量输入文本生成模型，得到不包含实体信息的回复话术，回复话术中的具体实体信息由槽位标签指代；
信息匹配单元，用于将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配，将匹配度最高的信息作为槽位标签具体指代的实体信息；
文本校正单元，用于将回复话术中的槽位标签替换为所述实体信息，并将替换了实体信息的回复话术输入文本校正模块，得到最终的回复话术。
本发明的有益效果是：
1、本发明提供的基于端到端文本生成的任务型对话方法和系统流程简洁，无需意图识别和实体抽取等语义理解环节，避免了流水线方法所带来的的错误传递问题；
2、本发明提供的基于端到端文本生成的任务型对话方法和系统通过预训练模型引入了对话话术的上下文信息和情感信息，使得生成的回复话术内容更加丰富，满足了情感的一致性，有效提高人机交互过程中的用户体验感；
3、本发明提供的基于端到端文本生成的任务型对话方法和系统将历史对话信息和外部知识库信息巧妙引入回复生成阶段，使得生成的回复话术与历史对话更具有相关性；
4、本发明提供的基于端到端文本生成的任务型对话方法和系统采用了文本校正技术，对生成的回复话术进行修正，解决了端到端文本生成模型普遍存在的语法不通顺的问题。
附图说明
图1为本发明实施例1基于端到端文本生成的任务型对话方法的流程示意图；
图2为本发明实施例2基于端到端文本生成的任务型对话系统的系统架构图。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例1
如图1所示，一种基于端到端文本生成的任务型对话方法，包括：
步骤1、获取用户当前对话话术，并更新历史对话语料库。
具体实施例中，更新历史对话语料库之前，还包括：构建用于存储历史对话语料和外部知识库的模块，制定对话语料和外部知识库的存储形式。
所述构建用于存储历史对话语料和外部知识库模块的方法，包括：采用记忆网络队历史对话语料和外部知识库的信息进行存储。
所述制定对话语料和外部知识库的存储形式的方法，包括：采用三元组的形式来存储历史对话语料和外部知识库信息，其中，历史对话语料采用(speaker，turn，word)形式来存储，如：(用户，轮数1，今天)，(用户，轮数1，的)；外部知识库信息采用(subject，relation/attribute，object)形式来存储，如：(加油站，距离，三公里)。
步骤2、将所述历史对话语料转换为语义向量。
具体实施例中，在将所述历史对话语料转换为语义向量之前，还包括构建预训练语言模型。
所述构建预训练语言模型的方法，包括：单向特征表示的自回归预训练语言模型，这样的模型单方向抽取预训练语料文本的特征，如ELMO模型和ULMFiT模型等。
所述构建预训练语言模型的方法，还包括：双向特征表示的自编码预训练语言模型，以BERT预训练语言模型为主，其衍生模型还有ERINE模型、RoBERTa模型和spanBERT模型。
所述构建预训练语言模型的方法，还包括：双向特征表示的自回归预训练语言模型，引入了双注意力流和transformer机制，代表模型有XLNet。
具体实施例中，构建预训练语言模型之后，还包括获取当前用户对话话术的情感特征，将所述用户对话话术输入预训练语言模型之后得到的向量表示与所述情感特征向量进行融合，得到包含上下文信息和情感信息的语义向量。
所述获取当前用户对话话术情感特征的方法，包括：基于深度学习的分类模型方法，如RNN模型，LSTM模型，GRU模型等。
所述获取当前用户对话话术情感特征的方法，还包括：基于情感字典的规则模板方法。
步骤3、将所述语义向量输入文本生成模型，得到不包含实体信息的回复话术，回复话术中的具体实体信息由槽位标签指代。
具体实施例中，将所述语义向量输入文本生成模型之前，还包括构建文本生成模型的方法。
所述构建文本生成模型的方法，包括：采用Seq2Seq模型，包含Encoder、Decoder以及连接两者的中间状态向量C，Encoder将输入序列通过学习编码成一个固定大小的状态向量C，继而将C传递给Decoder，Decoder再通过对状态向量C的学习输出对应的序列。
所述构建文本生成模型的方法，还包括：采用Pointer-generator网络，在Seq2Seq模型的基础上加入注意力机制，使用Encoder阶段上一个时刻的隐藏状态来计算attention，得到上下文向量，再将其作为该时刻单元的输入。
具体实施例中，所述构建文本生成模型的方法之后，还包括：损失函数的设定，以及迭代更新所述文本生成模型参数的方法的设定。
所述损失函数的设定方法，包括：采用最大间隔损失函数来计算真实值与预测值之间的差值。
所述迭代更新文本生成模型参数的方法，包括：采用Adam优化器，或采用AdaGrad优化器。
具体实施例中，所述构建文本生成模型的方法之后，还包括：文本生成模型的训练方法。包含获取语料数据，根据实际需求对语料中的文本进行特殊处理，将所述处理后的文本转换为语义向量，将所述语义向量输入文本生成模型进行训练，得到训练好的文本生成模型。
步骤4、将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配，将匹配度最高的信息作为槽位标签具体指代的实体信息。
所述将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配的方法，包括：采用基于记忆力网络的指针筛查方式，找到与所述槽位标签特征向量最相关的知识条目，并从所述知识条目中选择出符合要求的实体信息。
从所述知识条目中选择出符合要求的实体信息的方法，包括：在选择出与所述槽位标签特征向量最相关的知识条目之后，由于外部知识库和历史对话信息都是以三元组形式存储，所以抽取三元组中第三个位置的实体作为符合要求的实体信息，即(subject，relation/attribute，object)三元组中object位置的信息或(speaker，turn，word)三元组中word位置的信息。
步骤5、将回复话术中的槽位标签替换为所述实体信息，并将替换了实体信息的回复话术输入文本校正模块，得到最终的回复话术。
具体实施例中，所述将替换了实体信息的回复话术输入文本校正模块之前，还包括构建文本校正模块：通过语义通顺度计算方法给所述回复话术打分，若得分高于预设阈值，所述回复话术即为最终输出回答，若得分低于预设阈值，对回复话术中的非实体信息进行语义增强操作并重新打分，直到所述回复话术得分高于预设阈值时，停止语义增强操作，所述语义增强后的回复话术作为最终输出回答。
所述语义通顺度的计算方法，包括：基于依存句法分析的语义通顺度计算方法，或基于神经网络模型的语义通顺度计算方法。
根据本发明提供的方法，简化了任务型对话处理流程，避免了传统流水线方法带来的错误传递问题，有效引入外部知识库、历史对话信息以及丰富的语义信息，使得生成的回答话术更具有多样性和情感一致性。同时，本发明提供的文本校正模块，有效解决了端到端文本生成模型普遍存在的语法不通顺的问题。
实施例2
如图2所示，一种基于端到端文本生成的任务型对话系统，包括：
对话更新单元，获取用户当前对话话术，并更新历史对话语料库；
向量转换单元，将所述历史对话语料转换为语义向量；
文本生成单元，将所述语义向量输入文本生成模型，得到不包含实体信息的回复话术，回复话术中的具体实体信息由槽位标签指代；
信息匹配单元，将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配，将匹配度最高的信息作为槽位标签具体指代的实体信息；
文本校正单元，将回复话术中的槽位标签替换为所述实体信息，并将替换了实体信息的回复话术输入文本校正模块，得到最终的回复话术。
需要说明的是，本实施例中的各个单元是逻辑意义上的，在具体实施过程中，一个单元可拆分成多个单元，多个单元也可以合并成一个单元。
该系统能够让任务型对话系统流程更加简明，避免了传统流水线方法带来的错误传递问题，有效引入外部知识库、历史对话信息以及丰富的语义信息，让生成的回复话术语义更加明确，更具有多样性和情感一致性。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种基于端到端文本生成的任务型对话方法，其特征在于，包括：
获取用户当前对话话术，并更新历史对话语料库；
将所述历史对话语料转换为语义向量；
在将所述历史对话语料转换为语义向量之前，还包括构建预训练语言模型，所述预训练语言模型为单向特征表示的自回归预训练语言模型、双向特征表示的自编码预训练语言模型或双向特征表示的自回归预训练语言模型；
构建预训练语言模型之后，还包括获取当前用户对话话术的情感特征向量，将所述用户对话话术输入预训练语言模型之后得到的向量表示与所述情感特征向量进行融合，得到包含上下文信息和情感信息的语义向量；
将所述语义向量输入文本生成模型，得到不包含实体信息的回复话术，回复话术中的具体实体信息由槽位标签指代；
将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配，将匹配度最高的信息作为槽位标签具体指代的实体信息；所述将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配具体包括：采用基于记忆力网络的指针筛查方式，找到与所述槽位标签特征向量最相关的知识条目，并从所述知识条目中选择出符合要求的实体信息；
将回复话术中的槽位标签替换为所述实体信息，并将替换了实体信息的回复话术输入文本校正模块，得到最终的回复话术。
2.根据权利要求1所述的基于端到端文本生成的任务型对话方法，其特征在于，在更新历史对话语料库之前，还包括：构建用于存储历史对话语料和外部知识库的模块，制定对话语料和外部知识库的存储形式。
3.根据权利要求1所述的基于端到端文本生成的任务型对话方法，其特征在于，采用Seq2Seq模型或采用Pointer-Generator Networks模型构建所述文本生成模型。
4.根据权利要求3所述的基于端到端文本生成的任务型对话方法，其特征在于，构建所述文本生成模型后，还包括设定损失函数，以及设定迭代更新所述文本生成模型的参数。
5.根据权利要求1或3或4所述的基于端到端文本生成的任务型对话方法，其特征在于，构建所述文本生成模型后，对其进行训练，具体包括：获取语料数据，根据实际需求对语料中的文本进行处理，将处理后的文本转换为语义向量，将所述语义向量输入文本生成模型进行训练，得到训练好的文本生成模型。
6.根据权利要求1所述的基于端到端文本生成的任务型对话方法，其特征在于，所述文本校正模块通过语义通顺度计算方法给所述回复话术打分，若得分高于预设阈值，所述回复话术即为最终输出回答，若得分低于预设阈值，对回复话术中的非实体信息进行语义增强操作并重新打分，直到所述回复话术得分高于预设阈值时，停止语义增强操作，所述语义增强后的回复话术作为最终输出回答。
7.一种基于端到端文本生成的任务型对话系统，其特征在于，包括：
对话更新单元，用于获取用户当前对话话术，并更新历史对话语料库；
向量转换单元，用于将所述历史对话语料转换为语义向量；
在将所述历史对话语料转换为语义向量之前，还包括构建预训练语言模型，所述预训练语言模型为单向特征表示的自回归预训练语言模型、双向特征表示的自编码预训练语言模型或双向特征表示的自回归预训练语言模型；
构建预训练语言模型之后，还包括获取当前用户对话话术的情感特征向量，将所述用户对话话术输入预训练语言模型之后得到的向量表示与所述情感特征向量进行融合，得到包含上下文信息和情感信息的语义向量；
文本生成单元，用于将所述语义向量输入文本生成模型，得到不包含实体信息的回复话术，回复话术中的具体实体信息由槽位标签指代；
信息匹配单元，用于将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配，将匹配度最高的信息作为槽位标签具体指代的实体信息；所述将所述槽位标签的特征向量与外部知识库和历史对话语料库中的信息进行匹配具体包括：采用基于记忆力网络的指针筛查方式，找到与所述槽位标签特征向量最相关的知识条目，并从所述知识条目中选择出符合要求的实体信息；
文本校正单元，用于将回复话术中的槽位标签替换为所述实体信息，并将替换了实体信息的回复话术输入文本校正模块，得到最终的回复话术。
CN202110739806.2A 2021-06-30 2021-06-30 基于端到端文本生成的任务型对话方法和系统 Active CN113326367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110739806.2A CN113326367B (zh) 2021-06-30 2021-06-30 基于端到端文本生成的任务型对话方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110739806.2A CN113326367B (zh) 2021-06-30 2021-06-30 基于端到端文本生成的任务型对话方法和系统

Publications (2)

Publication Number Publication Date
CN113326367A CN113326367A (zh) 2021-08-31
CN113326367B true CN113326367B (zh) 2023-06-16

Family

ID=77423583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110739806.2A Active CN113326367B (zh) 2021-06-30 2021-06-30 基于端到端文本生成的任务型对话方法和系统

Country Status (1)

Country Link
CN (1) CN113326367B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113626564B (zh) * 2021-10-09 2021-12-17 腾讯科技（深圳）有限公司 一种概念标签生成方法、装置、电子设备和存储介质
CN115358186B (zh) * 2022-08-31 2023-11-14 南京擎盾信息科技有限公司 一种槽位标签的生成方法、装置及存储介质

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004209213A (ja) * 2002-11-15 2004-07-29 Omron Corp イベントに関する情報の提供方法およびイベント提供システム
CN107958091A (zh) * 2017-12-28 2018-04-24 北京贝塔智投科技有限公司 一种基于金融垂直知识图谱的nlp人工智能方法及交互系统
CN108960402A (zh) * 2018-06-11 2018-12-07 上海乐言信息科技有限公司 一种面向聊天机器人的混合策略式情感安抚系统
US10331402B1 (en) * 2017-05-30 2019-06-25 Amazon Technologies, Inc. Search and knowledge base question answering for a voice user interface
CN110059169A (zh) * 2019-01-25 2019-07-26 邵勃 基于语料标注的智能机器人聊天上下文实现方法及系统
CN110175227A (zh) * 2019-05-10 2019-08-27 神思电子技术股份有限公司 一种基于组队学习和层级推理的对话辅助系统
CN110188177A (zh) * 2019-05-28 2019-08-30 北京搜狗科技发展有限公司 对话生成方法及装置
CN110188167A (zh) * 2019-05-17 2019-08-30 北京邮电大学 一种融入外部知识的端到端对话方法及系统
CN110502608A (zh) * 2019-07-05 2019-11-26 平安科技（深圳）有限公司 基于知识图谱的人机对话方法及人机对话装置
WO2020005726A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Offtrack virtual agent interaction session detection
CN111294471A (zh) * 2020-02-06 2020-06-16 广州市讯飞樽鸿信息技术有限公司 一种智能电话应答方法和系统
CN111368538A (zh) * 2020-02-29 2020-07-03 平安科技（深圳）有限公司 语音交互方法、系统、终端及计算机可读存储介质
CN111460120A (zh) * 2020-03-31 2020-07-28 河北省讯飞人工智能研究院 一种对话管理方法、装置、设备及存储介质
CN111651609A (zh) * 2020-04-24 2020-09-11 中国电力科学研究院有限公司 一种融合知识图谱和情感监督的多轮对话方法及系统
CN111666381A (zh) * 2020-06-17 2020-09-15 中国电子科技集团公司第二十八研究所 一种面向智能管制的任务型问答交互系统
CN111723574A (zh) * 2020-07-09 2020-09-29 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
WO2020199701A1 (zh) * 2019-03-29 2020-10-08 华为技术有限公司 对话交互方法、图形用户界面、终端设备以及网络设备
CN111831798A (zh) * 2019-04-19 2020-10-27 北京三星通信技术研究有限公司 信息处理方法、装置、电子设备及计算机可读存储介质
WO2020216134A1 (zh) * 2019-04-23 2020-10-29 华为技术有限公司 一种人机对话系统中组合槽位的配置方法及装置
CN111858861A (zh) * 2019-04-28 2020-10-30 华为技术有限公司 一种基于绘本的问答交互方法及电子设备
CN111914074A (zh) * 2020-07-16 2020-11-10 华中师范大学 基于深度学习与知识图谱的限定领域对话生成方法及系统
WO2021051792A1 (zh) * 2019-09-16 2021-03-25 京东数字科技控股有限公司 对话机器人生成方法、对话机器人管理平台及存储介质
CN112559718A (zh) * 2020-12-24 2021-03-26 北京百度网讯科技有限公司 对话处理的方法、装置、电子设备和存储介质
CN112766990A (zh) * 2021-02-01 2021-05-07 北京邮电大学 基于多轮对话改进的智能客服辅助系统系统和方法
CN112860896A (zh) * 2021-03-05 2021-05-28 三一重工股份有限公司 语料泛化方法及用于工业领域的人机对话情感分析方法
CN112948534A (zh) * 2019-12-10 2021-06-11 中兴通讯股份有限公司 一种智能人机对话的交互方法、系统和电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004013B2 (en) * 2017-12-05 2021-05-11 discourse.ai, Inc. Training of chatbots from corpus of human-to-human chats
US11056107B2 (en) * 2018-03-30 2021-07-06 International Business Machines Corporation Conversational framework
CN111078844B (zh) * 2018-10-18 2023-03-14 上海交通大学 软件众包的任务型对话系统及方法
CN110427490B (zh) * 2019-07-03 2021-11-09 华中科技大学 一种基于自注意力机制的情感对话生成方法与装置
CN110472029B (zh) * 2019-08-01 2024-03-19 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及计算机可读存储介质
CN111462750B (zh) * 2020-03-20 2023-08-25 北京邮电大学 语义与知识增强的端到端任务型对话系统及方法
CN111462749B (zh) * 2020-03-20 2023-07-21 北京邮电大学 基于对话状态导向和知识库检索的端到端对话系统及方法
CN111737432A (zh) * 2020-06-22 2020-10-02 四川长虹电器股份有限公司 一种基于联合训练模型的自动对话方法和系统
CN111737417B (zh) * 2020-07-03 2020-11-17 支付宝(杭州)信息技术有限公司 修正自然语言生成结果的方法和装置
CN112463942A (zh) * 2020-12-11 2021-03-09 深圳市欢太科技有限公司 文本处理方法、装置、电子设备及计算机可读存储介质
CN112507728A (zh) * 2020-12-11 2021-03-16 平安科技（深圳）有限公司 智能对话方法、装置、电子设备及存储介质

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004209213A (ja) * 2002-11-15 2004-07-29 Omron Corp イベントに関する情報の提供方法およびイベント提供システム
US10331402B1 (en) * 2017-05-30 2019-06-25 Amazon Technologies, Inc. Search and knowledge base question answering for a voice user interface
CN107958091A (zh) * 2017-12-28 2018-04-24 北京贝塔智投科技有限公司 一种基于金融垂直知识图谱的nlp人工智能方法及交互系统
CN108960402A (zh) * 2018-06-11 2018-12-07 上海乐言信息科技有限公司 一种面向聊天机器人的混合策略式情感安抚系统
WO2020005726A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Offtrack virtual agent interaction session detection
CN110059169A (zh) * 2019-01-25 2019-07-26 邵勃 基于语料标注的智能机器人聊天上下文实现方法及系统
WO2020199701A1 (zh) * 2019-03-29 2020-10-08 华为技术有限公司 对话交互方法、图形用户界面、终端设备以及网络设备
CN111831798A (zh) * 2019-04-19 2020-10-27 北京三星通信技术研究有限公司 信息处理方法、装置、电子设备及计算机可读存储介质
WO2020216134A1 (zh) * 2019-04-23 2020-10-29 华为技术有限公司 一种人机对话系统中组合槽位的配置方法及装置
CN111858861A (zh) * 2019-04-28 2020-10-30 华为技术有限公司 一种基于绘本的问答交互方法及电子设备
CN110175227A (zh) * 2019-05-10 2019-08-27 神思电子技术股份有限公司 一种基于组队学习和层级推理的对话辅助系统
CN110188167A (zh) * 2019-05-17 2019-08-30 北京邮电大学 一种融入外部知识的端到端对话方法及系统
CN110188177A (zh) * 2019-05-28 2019-08-30 北京搜狗科技发展有限公司 对话生成方法及装置
CN110502608A (zh) * 2019-07-05 2019-11-26 平安科技（深圳）有限公司 基于知识图谱的人机对话方法及人机对话装置
WO2021051792A1 (zh) * 2019-09-16 2021-03-25 京东数字科技控股有限公司 对话机器人生成方法、对话机器人管理平台及存储介质
CN112948534A (zh) * 2019-12-10 2021-06-11 中兴通讯股份有限公司 一种智能人机对话的交互方法、系统和电子设备
CN111294471A (zh) * 2020-02-06 2020-06-16 广州市讯飞樽鸿信息技术有限公司 一种智能电话应答方法和系统
CN111368538A (zh) * 2020-02-29 2020-07-03 平安科技（深圳）有限公司 语音交互方法、系统、终端及计算机可读存储介质
CN111460120A (zh) * 2020-03-31 2020-07-28 河北省讯飞人工智能研究院 一种对话管理方法、装置、设备及存储介质
CN111651609A (zh) * 2020-04-24 2020-09-11 中国电力科学研究院有限公司 一种融合知识图谱和情感监督的多轮对话方法及系统
CN111666381A (zh) * 2020-06-17 2020-09-15 中国电子科技集团公司第二十八研究所 一种面向智能管制的任务型问答交互系统
CN111723574A (zh) * 2020-07-09 2020-09-29 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
CN111914074A (zh) * 2020-07-16 2020-11-10 华中师范大学 基于深度学习与知识图谱的限定领域对话生成方法及系统
CN112559718A (zh) * 2020-12-24 2021-03-26 北京百度网讯科技有限公司 对话处理的方法、装置、电子设备和存储介质
CN112766990A (zh) * 2021-02-01 2021-05-07 北京邮电大学 基于多轮对话改进的智能客服辅助系统系统和方法
CN112860896A (zh) * 2021-03-05 2021-05-28 三一重工股份有限公司 语料泛化方法及用于工业领域的人机对话情感分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shi, Weiyan.Sentiment Adaptive End-to-End Dialog Systems.《Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers)》.2018,1509–1519. *
贾志豪.基于端对端方法的任务型对话系统设计与实现.《中国优秀硕士学位论文全文数据库 信息科技辑》.2020,I138-2736. *

Also Published As

Publication number Publication date
CN113326367A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN104050160B (zh) 一种机器与人工翻译相融合的口语翻译方法和装置
CN110532355B (zh) 一种基于多任务学习的意图与槽位联合识别方法
CN111708869B (zh) 人机对话的处理方法及装置
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
CN113326367B (zh) 基于端到端文本生成的任务型对话方法和系统
CN109857846B (zh) 用户问句与知识点的匹配方法和装置
CN114676255A (zh) 文本处理方法、装置、设备、存储介质及计算机程序产品
CN116127045A (zh) 生成式大语言模型训练方法、基于模型的人机语音交互方法
Dethlefs Domain transfer for deep natural language generation from abstract meaning representations
CN112417092A (zh) 基于深度学习的智能化文本自动生成系统及其实现方法
CN111079418A (zh) 命名体识别方法、装置、电子设备和存储介质
CN114648016A (zh) 一种基于事件要素交互与标签语义增强的事件论元抽取方法
CN116244416A (zh) 生成式大语言模型训练方法、基于模型的人机语音交互方法
CN111553157A (zh) 一种基于实体替换的对话意图识别方法
CN109933773A (zh) 一种多重语义语句解析系统及方法
US20220147719A1 (en) Dialogue management
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN110717316B (zh) 字幕对话流的主题分割方法及装置
CN112257432A (zh) 一种自适应意图识别方法、装置及电子设备
CN116186219A (zh) 一种人机对话交互方法方法、系统及存储介质
CN115240712A (zh) 一种基于多模态的情感分类方法、装置、设备及存储介质
CN111090720B (zh) 一种热词的添加方法和装置
CN117453895B (zh) 一种智能客服应答方法、装置、设备及可读存储介质
CN113343668B (zh) 选择题解题方法、装置、电子设备及可读存储介质
CN114996407B (zh) 基于包重构的远程监督关系抽取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant