CN110110338A - 一种基于lstm与槽填充的对话管理模型使用方法 - Google Patents

一种基于lstm与槽填充的对话管理模型使用方法 Download PDF

Info

Publication number
CN110110338A
CN110110338A CN201910391424.8A CN201910391424A CN110110338A CN 110110338 A CN110110338 A CN 110110338A CN 201910391424 A CN201910391424 A CN 201910391424A CN 110110338 A CN110110338 A CN 110110338A
Authority
CN
China
Prior art keywords
lstm
dialogue management
valve
application method
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910391424.8A
Other languages
English (en)
Inventor
黄金杰
雷鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201910391424.8A priority Critical patent/CN110110338A/zh
Publication of CN110110338A publication Critical patent/CN110110338A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于LSTM与槽填充的对话管理模型使用方法，包含以下步骤：A、搭建LSTM模型；B、准备足够多的对话数据，并将其放入搭建好的LSTM模型中进行训练；C、在原有模型的基础上引入槽填充，实现对获取到的用户信息保存以及修改；D、结合槽填充将当前状态作为输入，使多轮对话逻辑性更强稳定性更高；E、将完成的对话管理模型应用到特定的任务场景中，本发明基于LSTM与槽填充的对话管理模型使用方法能够准确把握对话的进程，在提供服务的时候优化和用户交互的轮次数，从而提高用户的满意度，带来更大的收益。

Description

一种基于LSTM与槽填充的对话管理模型使用方法
技术领域
本发明涉及一种管理系统，具体是一种基于LSTM与槽填充的对话管理模型使用方法。
背景技术
语言交流是人类最重要的能力之一，通过人与人之间的语言交流可以进行彼此间的信息交互，随着计算机技术的飞速发展，这种语言交流的技能也拓展到了人与计算机之间，人类可以通过自然语言与机器进行交流，来满足人类的信息或服务方面的需求，人机语言交互已成为当前研究的热点，人机交互往往是多轮次的，因此如何通过多轮对话获取人类想要的信息和服务成为重中之重，多轮对话管理是人机语言交互最为重要的组成部分之一。
自计算机出现以来，人与计算机之间交互的方式越来越简单，对使用者的专业要求也越来越低，当前人机交互的主要途径还是鼠标，键盘，电子触屏等，然而自然语言是人类最基础的交互能力，利用自然语言与计算机进行信息交互能极大的降低计算机使用者的要求，同时便捷人类的生活。在餐厅订餐时，顾客可以通过电话来进行座位预定以及点菜等需求，如果能够通过一个餐厅预订系统来满足用户的要求，能极大的降低人力资源的消耗，同时更好地完成餐厅预订的任务。餐厅预订系统的研究的过程也就是建立并优化对话管理模型的过程。
任务型人机对话系统主要包括自然语言理解(NLU,Natural LanguageUnderstanding )、对话管理(DM, Dialogue Management)、自然语言生成(NLG ,NaturalLanguage Generation)三个部分。其中，对话管理起到了核心的作用。作为人机对话系统中特有的部分，对话管理的任务是监测对话进行的状况，并基于此为系统制定合适的对话策略，保证对话朝着预设的服务目标高效进行。优秀的对话管理功能可以准确把握对话的进程，在提供服务的时候优化和用户交互的轮次数，从而提高用户的满意度，带来更大的收益。因此，为实现高质量人机对话系统，对话管理的研究是非常必要和有价值的。
发明内容
本发明的目的在于提供一种基于LSTM与槽填充的对话管理模型使用方法，以解决所述背景技术中提出的问题。
为实现所述目的，本发明提供如下技术方案：
一种基于LSTM与槽填充的对话管理模型使用方法，包含以下步骤：
A、搭建LSTM模型；
B、准备足够多的对话数据，并将其放入搭建好的LSTM模型中进行训练；
C、在原有模型的基础上引入槽填充，实现对获取到的用户信息保存以及修改；
D、结合槽填充将当前状态作为输入，使多轮对话逻辑性更强稳定性更高；
E、将完成的对话管理模型应用到特定的任务场景中。
作为本发明再进一步的方案：所述步骤A具体是在RNN结构以外添加了各层的阀门节点。
作为本发明再进一步的方案：所述阀门有3类，分别是遗忘阀门、输入阀门和输出阀门。
作为本发明再进一步的方案：所述阀门的状态为打开或关闭，用于将判断模型网络的记忆态在该层输出的结果是否达到阈值从而加入到当前该层的计算中。
作为本发明再进一步的方案：所述阀门节点利用sigmoid函数将网络的记忆态作为输入计算；如果输出结果达到阈值则将该阀门输出与当前层的的计算结果相乘作为下一层的输入；如果没有达到阈值则将该输出结果遗忘掉。
作为本发明再进一步的方案：每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。
与现有技术相比，本发明的有益效果是：本发明基于LSTM与槽填充的对话管理模型使用方法能够准确把握对话的进程，在提供服务的时候优化和用户交互的轮次数，从而提高用户的满意度，带来更大的收益。
附图说明
图1为任务型人机交互系统流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：请参阅图1，一种基于LSTM与槽填充的对话管理模型使用方法，整体过程如下：搭建长短时记忆网络（LSTM）模型，准备足够多的完整对话数据，并将
其放入到LSTM中进行训练，得到合适的训练模型。自定义对话机器人动作，把获取到的用户信息进行分类，并将每一轮的用户信息以及上一轮的机器动作作为输入放入到已经训练好的LSTM模型中，产生相应的输出，即此轮对话系统将要执行的动作。
将槽填充技术引入到对话系统中，每个槽位对应的是需要提取的用户信息，
例如在餐厅预订系统中，人数，电话以及姓名等就是要提取到的实体信息，以便于后期的信息整合及修改。研究不同步长（LSTM模型的输入方式）的选择对系统性能的影响，确定合适的步长。
为避免在多轮对话中同一机器动作重复出现，将已定义的机器动作制成二
值向量作为输入，若已执行某个动作例如询问用户电话，则将其在二值向量中对应的位置置为1，在机器执行动作前先对二值向量中的内容进行检索和判断，从而保证系统的逻辑性能，以及提高用户体验度。
在上述基础上，将该对话管理模型应用到餐厅预订任务中，实现一个面向餐厅预订任务的人机交互系统。
LSTM的特点就是在RNN结构以外添加了各层的阀门节点。阀门有3类：遗忘阀门（forget gate），输入阀门（input gate）和输出阀门（output gate）。这些阀门可以打开或关闭，用于将判断模型网络的记忆态（之前网络的状态）在该层输出的结果是否达到阈值从而加入到当前该层的计算中。阀门节点利用sigmoid函数将网络的记忆态作为输入计算；如果输出结果达到阈值则将该阀门输出与当前层的的计算结果相乘作为下一层的输入（这里的相乘是在指矩阵中的逐元素相乘）；如果没有达到阈值则将该输出结果遗忘掉。每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。
对话数据准备:利用网络爬虫从大众点评中收集部分订餐相关的语句，进行人工标注，多轮对话逻辑训练的数据是结合系统，人工编撰的完整的对话。
将准备完成的对话数据放入LSTM模型中进行训练得到合适的训练模型，此时系统已经能完成简单的动作决策，即根据用户输入以及训练好的模型执行机器动作。
实施例2：与实施例1的区别之处在于，槽填充的对话管理利用类似占位符的一个多维向量来表示当前槽值的填充情况，根据交互中用户给予的相关信息来修改对应位置的值，从而达到记录对话状态的目的。例如使用“0”和“1”来表示每一个槽值的两种状态，分别是“未知”和“己知”，当前轮次用户给予了对话系统“电话”的具体数值，那么在对话管理模块接受到这个信息后，便将“电话”对应的记录由“0”改为“1”，并且在相应的槽位添加上“电话”的具体信息，这便完成了一次更新操作。对后面的信息确认和修改提供了极大的便利。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于LSTM与槽填充的对话管理模型使用方法，其特征在于，包含以下步骤：
搭建LSTM模型；
准备足够多的对话数据，并将其放入搭建好的LSTM模型中进行训练；
在原有模型的基础上引入槽填充，实现对获取到的用户信息保存以及修改；
结合槽填充将当前状态作为输入，使多轮对话逻辑性更强稳定性更高；
将完成的对话管理模型应用到特定的任务场景中。
2.根据权利要求1所述的一种基于LSTM与槽填充的对话管理模型使用方法，其特征在于，所述步骤A具体是在RNN结构以外添加了各层的阀门节点。
3.根据权利要求2所述的一种基于LSTM与槽填充的对话管理模型使用方法，其特征在于，所述阀门有3类，分别是遗忘阀门、输入阀门和输出阀门。
4.根据权利要求3所述的一种基于LSTM与槽填充的对话管理模型使用方法，其特征在于，所述阀门的状态为打开或关闭，用于将判断模型网络的记忆态在该层输出的结果是否达到阈值从而加入到当前该层的计算中。
5.根据权利要求2所述的一种基于LSTM与槽填充的对话管理模型使用方法，其特征在于，所述阀门节点利用sigmoid函数将网络的记忆态作为输入计算；如果输出结果达到阈值则将该阀门输出与当前层的的计算结果相乘作为下一层的输入；如果没有达到阈值则将该输出结果遗忘掉。
6.根据权利要求2所述的一种基于LSTM与槽填充的对话管理模型使用方法，其特征在于，每一层包括阀门节点的权重都会在每一次模型反向传播训练过程中更新。
CN201910391424.8A 2019-05-13 2019-05-13 一种基于lstm与槽填充的对话管理模型使用方法 Pending CN110110338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910391424.8A CN110110338A (zh) 2019-05-13 2019-05-13 一种基于lstm与槽填充的对话管理模型使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910391424.8A CN110110338A (zh) 2019-05-13 2019-05-13 一种基于lstm与槽填充的对话管理模型使用方法

Publications (1)

Publication Number Publication Date
CN110110338A true CN110110338A (zh) 2019-08-09

Family

ID=67489519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910391424.8A Pending CN110110338A (zh) 2019-05-13 2019-05-13 一种基于lstm与槽填充的对话管理模型使用方法

Country Status (1)

Country Link
CN (1) CN110110338A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069809A (zh) * 2020-08-11 2020-12-11 桂林电子科技大学 一种缺失文本生成方法及系统
CN112925897A (zh) * 2021-04-12 2021-06-08 辽宁工程技术大学 基于任务型的人机对话系统及其实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766559A (zh) * 2017-11-06 2018-03-06 第四范式（北京）技术有限公司 对话模型的训练方法、训练装置、对话方法及对话系统
CN109145100A (zh) * 2018-08-24 2019-01-04 深圳追科技有限公司 一种可定制化流程的任务型客服机器人系统及其工作方法
CN109446306A (zh) * 2018-10-16 2019-03-08 浪潮软件股份有限公司 一种基于任务驱动的多轮对话的智能问答方法
CN109493166A (zh) * 2018-10-23 2019-03-19 深圳智能思创科技有限公司 一种针对电子商务导购场景任务型对话系统的构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766559A (zh) * 2017-11-06 2018-03-06 第四范式（北京）技术有限公司 对话模型的训练方法、训练装置、对话方法及对话系统
CN109145100A (zh) * 2018-08-24 2019-01-04 深圳追科技有限公司 一种可定制化流程的任务型客服机器人系统及其工作方法
CN109446306A (zh) * 2018-10-16 2019-03-08 浪潮软件股份有限公司 一种基于任务驱动的多轮对话的智能问答方法
CN109493166A (zh) * 2018-10-23 2019-03-19 深圳智能思创科技有限公司 一种针对电子商务导购场景任务型对话系统的构建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
侯丽仙等: "面向任务口语理解研究现状综述", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2127.TP.20190322.1745.004.HTML》 *
杜晓宇: "基于LSTM的对话状态追踪模型研究与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
雷鸣: "基于LSTM与槽填充的对话管理模型研究与应用", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
马龙: "人机对话理解中联合学习技术的研究与应用", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069809A (zh) * 2020-08-11 2020-12-11 桂林电子科技大学 一种缺失文本生成方法及系统
CN112069809B (zh) * 2020-08-11 2022-05-24 桂林电子科技大学 一种缺失文本生成方法及系统
CN112925897A (zh) * 2021-04-12 2021-06-08 辽宁工程技术大学 基于任务型的人机对话系统及其实现方法

Similar Documents

Publication Publication Date Title
WO2018036555A1 (zh) 会话处理方法及装置
CN106611597B (zh) 基于人工智能的语音唤醒方法和装置
CN108446290B (zh) 流式实时对话管理
CN110188331A (zh) 模型训练方法、对话系统评价方法、装置、设备及存储介质
CN103593340B (zh) 自然表达信息处理方法、处理及回应方法、设备及系统
CN106951468A (zh) 对话生成方法及装置
CN107357838A (zh) 基于多任务学习的对话策略在线实现方法
CN109616108A (zh) 多轮对话交互处理方法、装置、电子设备及存储介质
CN108804698A (zh) 基于人物ip的人机交互方法、系统、介质及设备
CN109857848A (zh) 交互内容生成方法、装置、计算机设备及存储介质
CN107423442A (zh) 基于用户画像行为分析的应用推荐方法及系统，储存介质及计算机设备
CN109074514A (zh) 通过示例和经验的机器人的深度学习
CN109792402A (zh) 自动响应用户的请求
CN109829039A (zh) 智能聊天方法、装置、计算机设备及存储介质
CN107704482A (zh) 方法、装置以及程序
CN106448670A (zh) 基于深度学习和强化学习的自动回复对话系统
CN110222164A (zh) 一种问答模型训练方法、问题语句处理方法、装置及存储介质
CN110020426A (zh) 将用户咨询分配到客服业务组的方法及装置
CN110377720A (zh) 智能多轮交互方法和系统
CN110019688A (zh) 对机器人进行训练的方法
CN110351318A (zh) 应用推荐的方法、终端和计算机存储介质
CN110297887A (zh) 基于云平台的服务机器人个性化对话系统及方法
CN110110338A (zh) 一种基于lstm与槽填充的对话管理模型使用方法
CN110059166A (zh) 自然智能的自然表达处理方法、回应方法、设备及系统
CN110046232A (zh) 自然智能的自然表达处理方法、回应方法、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190809

WD01 Invention patent application deemed withdrawn after publication