CN109960733A - 一种端到端任务型对话系统 - Google Patents

一种端到端任务型对话系统 Download PDF

Info

Publication number
CN109960733A
CN109960733A CN201910256179.XA CN201910256179A CN109960733A CN 109960733 A CN109960733 A CN 109960733A CN 201910256179 A CN201910256179 A CN 201910256179A CN 109960733 A CN109960733 A CN 109960733A
Authority
CN
China
Prior art keywords
module
output
collector
term vector
inputted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910256179.XA
Other languages
English (en)
Inventor
王诗俊
吴粤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fire Merchants Intelligent Technology Co Ltd
Original Assignee
Shanghai Fire Merchants Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fire Merchants Intelligent Technology Co Ltd filed Critical Shanghai Fire Merchants Intelligent Technology Co Ltd
Priority to CN201910256179.XA priority Critical patent/CN109960733A/zh
Publication of CN109960733A publication Critical patent/CN109960733A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/44—Encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种端到端任务型对话系统，包括：预处理模块，用于将用户输入数据转换为词向量，并给所述词向量嵌入位置信息；命名体抽取模块，用于标识用户输入数据中的命名体；编译模块，用于接收所述预处理模块和所述命名体抽取模块传输的数据，并输出概率分布；对话历史编码器模块，用于将对话历史输入所述编译模块；解码输出模块，用于输出自然语言句子作为系统对用户输入的回复。本发明能够实现端到端的对话系统，减少繁琐的人工规则，训练所需数据量小，训练速度快，可通过API调用模块进行人工干预。

Description

一种端到端任务型对话系统
技术领域
本发明涉及语音识别领域，具体为一种端到端任务型对话系统。
背景技术
随着现代语音识别技术和对话控制系统的发展，采用问答形式的自然语言对话系统是当前对话系统领域的研究热点，其包括了自然语言理解、对话管理、信息抽取和自然语言生成等技术。
对话控制可以应用在公众场合，如机场、车站、银行等的信息查询系统，移动信息查询终端，在线应答服务等。目前，许多网站都提供了在线应答服务，但其系统需要较多训练数据，学习复杂性高，准确性却较低。
发明内容
本发明的目的在于提供一种端到端任务型对话系统，以解决上述背景技术中存在的问题。
为实现上述目的，本发明提供如下技术方案：一种端到端任务型对话系统，包括：
预处理模块，用于将用户输入数据转换为词向量，并给所述词向量嵌入位置信息；
命名体抽取模块，用于标识用户输入数据中的命名体；
编译模块，用于接收所述预处理模块和所述命名体抽取模块传输的数据，并输出概率分布；
对话历史编码器模块，用于将对话历史输入所述编译模块；
解码输出模块，用于输出自然语言句子作为系统对用户输入的回复。
进一步地，所述给所述词向量嵌入位置信息，具体为：将位置嵌入p＝(p1,p2...pn)拼接到词嵌入e＝(e1,…en)中，位置嵌入的初始化如下:
其中pos是词的位置，i是维度，dmodel是嵌入层的维度。
进一步地，所述编译模块采用缩放点乘方法，所述编译模块获得h个不同表单表示，并拼接这些表征，计算如下：
SA(q，k，v)＝MH(q，k，v)Wo；
MH(q，k，v)＝[H1(q，k，v)，…，Hh(q，k，v)]；
其中MH(.)表示多头注意力模型函数，Hi(.)表示单头的输出，其中h是头的个数，Att(.)为注意力机制函数，注意力机制函数中，ds是q的维度，Wo，Wi q，Wi j，Wi u是参数矩阵。
进一步地，所述编译模块将输出归一化回概率分布，使非允许的动作采用概率零；从所得到的分布选择动作；当强化学习活动时，从分布中采样动作；当强化学习不活动时，选择具有最高概率的动作。
进一步地，还包括API调用模块，用于人工干预所述编译模块的输出。
进一步地，所述解码输出模块的输出为所述API调用模块的输出与所述编译模块的输出之乘积。
与现有技术相比，本发明的有益效果是：本发明能够实现端到端的对话系统，减少繁琐的人工规则，训练所需数据量小，训练速度快，可通过API调用模块进行人工干预。
附图说明
图1为本发明端到端任务型对话系统的流程图；
图2为本发明端到端任务型对话系统第一实施例的模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种端到端任务型对话系统，包括：
预处理模块100，用于将用户输入数据转换为词向量，并给所述词向量嵌入位置信息；
命名体抽取模块200，用于标识用户输入数据中的命名体；
编译模块300，用于接收所述预处理模块100和所述命名体抽取模块200传输的数据，并输出概率分布；
对话历史编码器模块400，用于将对话历史输入所述编译模块300；
解码输出模块500，用于输出自然语言句子作为系统对用户输入的回复。
进一步地，所述给所述词向量嵌入位置信息，具体为：将位置嵌入p＝(p1,p2...pn)拼接到词嵌入e＝(e1,…en)中，位置嵌入的初始化如下:
其中pos是词的位置，i是维度，dmodel是嵌入层的维度。
进一步地，所述编译模块300采用缩放点乘方法，所述编译模块300获得h个不同表单表示，并拼接这些表征，计算如下：
SA(q，k，v)＝MH(q，k，v)Wo；
MH(q，k，v)＝[H1(q，k，v)，…，Hh(q，k，v)]；
其中MH(.)表示多头注意力模型函数，Hi(.)表示单头的输出，其中h是头的个数，Att(.)为注意力机制函数，注意力机制函数中，ds是q的维度，Wo,Wi q,Wi j,Wi u是参数矩阵。
进一步地，所述编译模块300将输出归一化回概率分布，使非允许的动作采用概率零；从所得到的分布选择动作；当强化学习活动时，从分布中采样动作；当强化学习不活动时，选择具有最高概率的动作。
如图2所示，进一步地，本系统还包括API调用模块600，用于人工干预所述编译模块300的输出。
进一步地，所述解码输出模块500的输出为所述API调用模块600的输出与所述编译模块300的输出之乘积。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种端到端任务型对话系统，其特征在于，包括：
预处理模块，用于将用户输入数据转换为词向量，并给所述词向量嵌入位置信息；
命名体抽取模块，用于标识用户输入数据中的命名体；
编译模块，用于接收所述预处理模块和所述命名体抽取模块传输的数据，并输出概率分布；
对话历史编码器模块，用于将对话历史输入所述编译模块；
解码输出模块，用于输出自然语言句子作为系统对用户输入的回复。
2.根据权利要求1所述的系统，其特征在于，所述给所述词向量嵌入位置信息，具体为：将位置嵌入p＝(p1,p2...pn)拼接到词嵌入e＝(e1,…en)中，位置嵌入的初始化如下:
其中pos是词的位置，i是维度，dmodel是嵌入层的维度。
3.根据权利要求1所述的系统，其特征在于，所述编译模块采用缩放点乘方法，所述编译模块获得h个不同表单表示，并拼接这些表征，计算如下：
SA(q，k，v)＝MH(q，k，v)Wo；
MH(q，k，v)＝[H1(q，k，v)，…，Hh(q，k，v)]；
其中MH(.)表示多头注意力模型函数，Hi(.)表示单头的输出，其中h是头的个数，Att(.)为注意力机制函数，注意力机制函数中，ds是q的维度，Wo,Wi q,Wi j,Wi u是参数矩阵。
4.根据权利要求1所述的系统，其特征在于，所述编译模块将输出归一化回概率分布，使非允许的动作采用概率零；从所得到的分布选择动作；当强化学习活动时，从分布中采样动作；当强化学习不活动时，选择具有最高概率的动作。
5.根据权利要求1所述的系统，其特征在于，还包括API调用模块，用于人工干预所述编译模块的输出。
6.根据权利要求5所述的系统，其特征在于，所述解码输出模块的输出为所述API调用模块的输出与所述编译模块的输出之乘积。
CN201910256179.XA 2019-04-01 2019-04-01 一种端到端任务型对话系统 Pending CN109960733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910256179.XA CN109960733A (zh) 2019-04-01 2019-04-01 一种端到端任务型对话系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910256179.XA CN109960733A (zh) 2019-04-01 2019-04-01 一种端到端任务型对话系统

Publications (1)

Publication Number Publication Date
CN109960733A true CN109960733A (zh) 2019-07-02

Family

ID=67025427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910256179.XA Pending CN109960733A (zh) 2019-04-01 2019-04-01 一种端到端任务型对话系统

Country Status (1)

Country Link
CN (1) CN109960733A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274362A (zh) * 2020-02-01 2020-06-12 武汉大学 一种基于transformer架构的对话生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060301A1 (en) * 2016-08-31 2018-03-01 Microsoft Technology Licensing, Llc End-to-end learning of dialogue agents for information access
CN108256066A (zh) * 2018-01-16 2018-07-06 智言科技（深圳）有限公司 端到端层次解码任务型对话系统
CN109670035A (zh) * 2018-12-03 2019-04-23 科大讯飞股份有限公司 一种文本摘要生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060301A1 (en) * 2016-08-31 2018-03-01 Microsoft Technology Licensing, Llc End-to-end learning of dialogue agents for information access
CN108256066A (zh) * 2018-01-16 2018-07-06 智言科技（深圳）有限公司 端到端层次解码任务型对话系统
CN109670035A (zh) * 2018-12-03 2019-04-23 科大讯飞股份有限公司 一种文本摘要生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘宇: "基于深度学习的图像描述模型的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274362A (zh) * 2020-02-01 2020-06-12 武汉大学 一种基于transformer架构的对话生成方法
CN111274362B (zh) * 2020-02-01 2021-09-03 武汉大学 一种基于transformer架构的对话生成方法

Similar Documents

Publication Publication Date Title
CN108877782B (zh) 语音识别方法和装置
US9753914B2 (en) Natural expression processing method, processing and response method, device, and system
CN111477216B (zh) 一种用于对话机器人的音意理解模型的训练方法及系统
US11217236B2 (en) Method and apparatus for extracting information
CN107609092B (zh) 智能应答方法和装置
CN110162767A (zh) 文本纠错的方法和装置
CN112100349A (zh) 一种多轮对话方法、装置、电子设备及存储介质
CN110705267A (zh) 语义解析方法、装置及存储介质
CN105354199B (zh) 一种基于场景信息的实体含义识别方法和系统
CN109635095A (zh) 用于优化对话模型的方法和装置
CN115309877B (zh) 对话生成方法、对话模型训练方法及装置
CN113450759A (zh) 语音生成方法、装置、电子设备以及存储介质
WO2021179703A1 (zh) 一种手语翻译方法、装置、计算机设备及存储介质
CN111128175B (zh) 口语对话管理方法及系统
CN103096245A (zh) 基于地图或导航的交流系统、方法
CN109960733A (zh) 一种端到端任务型对话系统
CN116189663A (zh) 韵律预测模型的训练方法和装置、人机交互方法和装置
CN109243424A (zh) 一种一键语音翻译终端及翻译方法
CN113782010A (zh) 机器人响应方法、装置、电子设备及存储介质
CN102404292A (zh) 账号自动匹配方法和系统
US11750689B2 (en) Speech processing method and apparatus, device, storage medium and program
CN109635093A (zh) 用于生成回复语句的方法和装置
CN114282552B (zh) 非自回归翻译模型的训练方法及其装置
CN112466278B (zh) 语音识别方法、装置和电子设备
CN115965018B (zh) 信息生成模型的训练方法、信息生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190702