CN111221961A - 一种基于s-lstm模型与槽值门的说话人意图识别系统及方法 - Google Patents

一种基于s-lstm模型与槽值门的说话人意图识别系统及方法 Download PDF

Info

Publication number
CN111221961A
CN111221961A CN201911055765.4A CN201911055765A CN111221961A CN 111221961 A CN111221961 A CN 111221961A CN 201911055765 A CN201911055765 A CN 201911055765A CN 111221961 A CN111221961 A CN 111221961A
Authority
CN
China
Prior art keywords
word
information
embedding
intention
slot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911055765.4A
Other languages
English (en)
Inventor
邵曦
王子岳
袁梦奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nanyou Institute Of Information Teachnovation Co ltd
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Nanyou Institute Of Information Teachnovation Co ltd
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nanyou Institute Of Information Teachnovation Co ltd, Nanjing University of Posts and Telecommunications filed Critical Nanjing Nanyou Institute Of Information Teachnovation Co ltd
Priority to CN201911055765.4A priority Critical patent/CN111221961A/zh
Publication of CN111221961A publication Critical patent/CN111221961A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提出了一种基于S‑LSTM模型与槽值门的说话人意图识别系统及方法，系统包括词语嵌入模块：用于对用户提供的文本信息进行嵌入，将其转化为对应的词汇向量；特征提取模块：将得到的词汇嵌入进行处理，提取出其中蕴含的语义信息，以及一个句子整体的语义信息；意图判别模块：根据提取出的语义信息，对用户意图做出识别，并完成槽填充，为之后的行为提供保障。基于上述系统的说话人意图识别方法通过步骤S1‑S4更好的挖掘了意图与其所对应槽值之间的关系，从而得到更好的准确率效果。

Description

一种基于S-LSTM模型与槽值门的说话人意图识别系统及方法
技术领域
本发明属于自动问答领域，具体涉及一种基于S-LSTM模型与槽值门的意图识别方法。
背景技术
在自然语言的问答系统中，SLU(Spoken Language Understanding)是必不可少的一环，它指引着后续对话的内容。SLU的目的是形成一个语义框架，以获取用户话语或查询的语义，它通常包括两个任务：意图检测(Intention detection)以及槽填充(Slotfilling)。
在问答系统，尤其是任务型问答系统中，当用户提出要求时，系统首先需要分辨出用户想要做什么，这便是意图检测的目的。意图检测任务可以被看作是一种分类任务，将一句话按照它包含的语义将其分类到不同的意图类别中。之后，系统需要分辨出完成用户要求所必须的要素，例如当用户需要预定机票时，系统需要分辨出所要预定的航班的行程以及具体的时间，这就是槽填充任务所要解决的问题。槽填充任务可以被看作是一种序列标记任务，它将单词的嵌入表示映射为与之对应的输出向量，据此为每一个单词打上不同的标签，这个标签取决于当前单词是否包含上述完成用户要求的要素以及是哪一种要素。
学者们常常将意图检测和槽填充单独考虑，而没有将两者间的联系进行探究。但随着研究的推进，人们发现同时实现意图检测以及槽填充的联合模型往往能够取得更好的效果，这一现象预示着说话人的意图与槽值之间的相关性对意图识别结果的提升有着至关重要的效用。但这些工作都没有清晰地建模意图与槽值之间的关系，而S-LSTM模型为这种建模提供了可能，它很好地将句子中每个单词的信息与句子整体的信息进行融合。但将S-LSTM模型同时运用在槽填充和意图检测任务时，能够最详尽且最清晰地呈现句子所蕴含时序语义信息的最新时刻句子状态信息并没有得到充分利用，这造成了严重的资源浪费也对结果的准确性造成了影响。
对说话人意图的识别极大地推进了自然语言理解任务的发展。之前的工作大多采用Bi-LSTM即双向LSTM模型进行词汇特征与词汇之间语义关系的提取，但这并不能很好地使句子整体和构成句子的词汇个体之间的信息进行交流。而S-LSTM(Sentence-stateLSTM)模型即句子状态LSTM模型可以很好地将自然语言中句子整体与词汇个体的信息相结合，以便于我们挖掘与利用意图检测与槽值填充之间的关系成立联合模型来更好地理解应答系统中蕴含的语义。
发明内容
为了解决现有技术的不足，本发明提供了一种基于S-LSTM模型与槽值门的意图识别方法，为了解决这一问题本发明开创式地引入了‘槽值门’机制，在进行槽填充任务时，将最新迭代时刻的句子状态信息作为监督信息加以运用。
本发明的目的通过以下技术方案来实现：
一种基于S-LSTM模型与槽值门的意图识别系统，包括
词语嵌入模块：用于对用户提供的文本信息进行嵌入，将其转化为对应的词汇向量；
特征提取模块：将得到的词汇嵌入进行处理，提取出其中蕴含的语义信息，以及一个句子整体的语义信息；
意图判别模块：根据提取出的语义信息，对用户意图做出识别，并完成槽填充，为之后的行为提供保障。
一种基于S-LSTM模型与槽值门的意图识别方法，包括如下步骤：
S1、在接受到用户发出的文本请求或查询后，对其中的每一个单词通过查询预训练单词库得到其对应的词语嵌入，根据不同的文本需求，可以加入模型中的词语训练系统，使得所得的嵌入更加符合具体文本的特征；
S2、将词语嵌入输入S-LSTM加槽值门的模型中获取富有价值的语义信息，将所得的词语嵌入输入到S-LSTM模型中得到初步的特征提取结果，再输入到槽值门当中，槽值门将句子整体信息作为一种监督信息，为一个单词信息赋予不同的权值，从而得到更加全面的单词信息；
S3、将所得的单词信息输入到条件随机场中之后再输入到softmax中进行分类，从而将每个单词分到其所属于的槽值种类中，而对于意图识别的结果则是将每个单词的单词信息进行加权平均之后作为句子的整体信息直接输入到softmax分类器中从而得到对应的分类结果；
S4、若意图分类的结果所对应的槽值在槽填充中并没有全部得到填充，则意图识别所服务的对话系统应当做出信息缺失的指示，提示对话系统通过询问用户等方式，补齐所需的槽值。
优选地，所述S1中对于英文的对话系统，我们采用Glove预训练单词集中300维的单词向量作为我们的初始词语嵌入。对于中文则采用百度百科的300维中文预训练词向量。
优选地，所述S1中可能加入的词语嵌入训练方法是word2vec方法。
优选地，所述S2中S-LSTM模型的参数包括但不限于循环次数，单词窗口长度，句子状态个数。
优选地，所述循环次数为6次，句子状态个数为1个，单词窗口长度为2。
本发明的有益效果体现在：1、本发明将S-LSTM作为信息提取的方式引入到意图检测与槽填充的任务之上，更好的挖掘了意图与其所对应槽值之间的关系，从而得到更好的准确率效果。
2、本发明在使用S-LSTM模型的过程中引入了槽值门机制作为解决S-LSTM模型中最后一个时刻句子整体状态信息浪费的问题，既解决了资源浪费的问题，也进一步地提高了准确率。
本发明引入了‘槽值门’机制解决S-LSTM应用于说话人意图检测与槽填充的联合任务时最新迭代时刻的句子状态信息没有得到充分利用问题。在说话人意图检测中取得了很好的效果。
附图说明
图1为基于S-LSTM模型与槽值门的意图识别系统的意图识别方法流程简图；
图2为S-LSTM模型结构图；
图3为槽值门机制结构图。
具体实施方式
本发明揭示了一种基于S-LSTM模型与槽值门的意图识别系统，结合图1-图3所示，所述意图识别方法包括用于将用户的文本输入转化为嵌入表达的词语嵌入模块，与所述词语嵌入模块直接连接的特征提取模块，以及在所述特征提取模块基础上进行意图检测和槽填充的意图判别模块。所述特征提取模块将蕴含在文本表示之间的信息提取出来，同时兼顾单词个体与句子整体之间的信息交流。
如图1所示的说话人意图识别方法流程，基于以上所述的一种基于S-LSTM模型与槽值门的意图识别系统的说话人意图识别方法，包括如下步骤：
S1、词语嵌入，在接受到用户发出的文本请求或查询后，对其中的每一个单词通过查询预训练单词库得到其对应的词语嵌入，根据不同的文本需求，可以加入模型中的词语训练系统，使得所得的嵌入更加符合具体文本的特征。在进行英文文本处理时，我们选择Glove预训练数据集预训练单词库，对于正文文本我们选择百度百科中文预训练词库作为预训练词库。
S2、将词语嵌入输入S-LSTM加槽值门的模型中获取富有价值的语义信息，将所得的词语嵌入输入到S-LSTM模型中得到初步的特征提取结果，再输入到槽值门当中，槽值门将句子整体信息作为一种监督信息，为一个单词信息赋予不同的权值，从而得到更加全面的单词信息。将所得的词语嵌入输入到S-LSTM模型中得到初步的特征提取结果，再输入到槽值门当中，将句子整体信息作为一种监督信息，监督每一个单词的单词信息，从而得到更加全面的单词信息。具体的，在进行S-LSTM模型的部署时，我们选择6次迭代，句子整体状态监督数为1，单词窗的长度为2。因为S-LSTM将句子整体作为输入输入到网络中，每一次迭代都会使单词的表示中包含距离次单词更远的单词的信息，因此经过不断的迭代每一个单词中就会包含整个句子中每一个单词的语义信息。但迭代次数也不宜过多，因为在此类迭代中，位置信息是通过由远及近的一层层传导得来的，一味地增大迭代次数会造成资源的浪费且迭代次数过多会淡化单词间位置关系的反而有可能会降低模型的表现。
如图3所示，最后加入的槽值门机制，将最后一个句子整体状态作为权重对每一个单词的状态进行加权之后进行槽填充的任务，W为一个矩阵将句子状态信息与单词信息变换到同一向量空间，相加后通过tanh函数进行激活，之后再通过V矩阵进行最后的向量空间变换，经过求和得出最后的权重g。但经过不断的循环，单词状态本身就已经蕴含了很多的句子信息，不宜对其做出过多的改变，因此最终的输出为
Figure BDA0002256506350000061
式中
Figure BDA0002256506350000062
为最终输出的单词状态，
Figure BDA0002256506350000063
为t时刻第i个单词的S-LSTM输出单词状态，g为根据句子状态计算出的权值由
Figure BDA0002256506350000064
计算得出，n为我们自行设定的权重，此处我们定为2。
S3、将提取出的语义信息经过处理得出最终的分类结果。将所得的单词信息输入到条件随机场中之后再输入到softmax中进行分类，从而将每个单词分到其所属于的槽值种类中，而对于意图识别的结果则是将每个单词的单词信息进行加权平均之后作为句子的整体信息直接输入到softmax分类器中从而得到对应的分类结果。具体来说
Figure BDA0002256506350000065
其中
Figure BDA0002256506350000066
为权重系数，此处是引用了加性注意力机制计算得出。
S4、按照意图识别的结果确定用户意图之后，若意图分类的结果所对应的必须槽值在槽填充中并没有全部得到填充，则意图识别所服务的对话系统应当做出信息缺失的指示，提示对话系统通过询问用户等方式，补齐所需的信息，从而进行槽填充。若无法补齐则提示无法识别用户意图，防止做出不符合用户意图的行为造成不必要的损失。最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于S-LSTM模型与槽值门的说话人意图识别系统，其特征在于，包括：
词语嵌入模块：用于对用户提供的文本信息进行嵌入，将其转化为对应的词汇向量；
特征提取模块：将得到的词汇嵌入进行处理，提取出其中蕴含的语义信息，以及一个句子整体的语义信息；
意图判别模块：根据提取出的语义信息，对用户意图做出识别，并完成槽填充，为之后的行为提供保障。
2.基于权利要求1的说话人意图识别系统的意图识别方法，其特征在于：包括如下步骤：
S1、词语嵌入，在接受到用户发出的文本请求或查询后，对其中的每一个单词通过查询预训练单词库得到其对应的词语嵌入，根据不同的文本需求，可以加入模型中的词语训练系统，使得所得的嵌入更加符合具体文本的特征；
S2、将词语嵌入输入S-LSTM加槽值门的模型中获取富有价值的语义信息，将所得的词语嵌入输入到S-LSTM模型中得到初步的特征提取结果，再输入到槽值门当中，槽值门将句子整体信息作为一种监督信息，为一个单词信息赋予不同的权值，从而得到更加全面的单词信息；
S3、将提取出的语义信息经过处理得出最终的分类结果，将所得的单词信息经过槽值门处理得到对应的分类结果，将所得的单词信息输入到条件随机场中之后再输入到softmax中进行分类，从而将每个单词分到其所属于的槽值种类中；然而对于意图识别的结果则是将每个单词的单词信息进行加权平均之后，作为句子的整体信息直接输入到softmax分类器中从而得到对应的分类结果；
S4、按照意图识别的结果确定用户意图之后，若意图识别分类的结果所对应的槽值在槽填充中并没有全部得到填充，则意图识别所服务的对话系统做出信息缺失的指示，提示对话系统通过询问用户，进一步完善信息，从而进行槽填充。
3.如权利要求2所述的意图识别方法，其特征在于：S1中对于英文的对话系统，采用Glove预训练单词集中300维的单词向量作为初始词语嵌入；对于中文对话系统，则采用百度百科的300维中文预训练词向量。
4.如权利要求2所述的意图识别方法，其特征在于：所述S1中加入词语嵌入的训练方法是word2vec方法。
5.如权利要求2所述的意图识别方法，其特征在于：所述S2中S-LSTM模型的参数包括但不限于循环次数、单词窗口长度以及句子状态个数。
6.如权利要求5所述的一种基于S-LSTM模型与槽值门的意图识别方法，其特征在于：所述循环次数为6次，句子状态个数为1个，单词窗口长度为2。
7.如权利要求2-6任意一项所述的一种基于S-LSTM模型与槽值门的意图识别方法，其特征在于：所述S3中所述条件随机场将提取出的信息进行关联的推测，从而提升最终的结果表现。
CN201911055765.4A 2019-10-31 2019-10-31 一种基于s-lstm模型与槽值门的说话人意图识别系统及方法 Pending CN111221961A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911055765.4A CN111221961A (zh) 2019-10-31 2019-10-31 一种基于s-lstm模型与槽值门的说话人意图识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911055765.4A CN111221961A (zh) 2019-10-31 2019-10-31 一种基于s-lstm模型与槽值门的说话人意图识别系统及方法

Publications (1)

Publication Number Publication Date
CN111221961A true CN111221961A (zh) 2020-06-02

Family

ID=70830538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911055765.4A Pending CN111221961A (zh) 2019-10-31 2019-10-31 一种基于s-lstm模型与槽值门的说话人意图识别系统及方法

Country Status (1)

Country Link
CN (1) CN111221961A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270182A (zh) * 2020-11-12 2021-01-26 佰聆数据股份有限公司 一种基于多轮对话问答式的分析思路衍生方法、系统及存储介质
CN112800190A (zh) * 2020-11-11 2021-05-14 重庆邮电大学 基于Bert模型的意图识别与槽值填充联合预测方法
CN113377961A (zh) * 2020-12-07 2021-09-10 北京理工大学 基于知识图谱和用户主题的意图-语义槽联合识别模型
CN113742480A (zh) * 2020-06-18 2021-12-03 北京汇钧科技有限公司 客服应答方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858030A (zh) * 2019-02-11 2019-06-07 北京邮电大学 双向的意图槽值交叉相关的任务型对话理解系统及方法
CN110321418A (zh) * 2019-06-06 2019-10-11 华中师范大学 一种基于深度学习的领域、意图识别和槽填充方法
CN110334724A (zh) * 2019-04-16 2019-10-15 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858030A (zh) * 2019-02-11 2019-06-07 北京邮电大学 双向的意图槽值交叉相关的任务型对话理解系统及方法
CN110334724A (zh) * 2019-04-16 2019-10-15 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法
CN110321418A (zh) * 2019-06-06 2019-10-11 华中师范大学 一种基于深度学习的领域、意图识别和槽填充方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUE ZHANG等: "Sentence-State LSTM for Text Representation" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742480A (zh) * 2020-06-18 2021-12-03 北京汇钧科技有限公司 客服应答方法和装置
CN112800190A (zh) * 2020-11-11 2021-05-14 重庆邮电大学 基于Bert模型的意图识别与槽值填充联合预测方法
CN112270182A (zh) * 2020-11-12 2021-01-26 佰聆数据股份有限公司 一种基于多轮对话问答式的分析思路衍生方法、系统及存储介质
CN113377961A (zh) * 2020-12-07 2021-09-10 北京理工大学 基于知识图谱和用户主题的意图-语义槽联合识别模型
CN113377961B (zh) * 2020-12-07 2022-12-06 北京理工大学 基于知识图谱和用户主题的意图-语义槽联合识别系统

Similar Documents

Publication Publication Date Title
CN110444193B (zh) 语音关键词的识别方法和装置
CN108920622B (zh) 一种意图识别的训练方法、训练装置和识别装置
CN111221961A (zh) 一种基于s-lstm模型与槽值门的说话人意图识别系统及方法
CN111104498B (zh) 一种任务型对话系统中的语义理解方法
CN112100349A (zh) 一种多轮对话方法、装置、电子设备及存储介质
CN106227721B (zh) 汉语韵律层级结构预测系统
CN110534087A (zh) 一种文本韵律层级结构预测方法、装置、设备及存储介质
CN114694076A (zh) 基于多任务学习与层叠跨模态融合的多模态情感分析方法
CN111062217B (zh) 语言信息的处理方法、装置、存储介质及电子设备
CN110647612A (zh) 一种基于双视觉注意力网络的视觉对话生成方法
CN108711421A (zh) 一种语音识别声学模型建立方法及装置和电子设备
CN111506732B (zh) 一种文本多层次标签分类方法
CN111738251A (zh) 一种融合语言模型的光学字符识别方法、装置和电子设备
CN115292463B (zh) 一种基于信息抽取的联合多意图检测和重叠槽填充的方法
CN111967272B (zh) 基于语义对齐的视觉对话生成系统
CN110210036A (zh) 一种意图识别方法及装置
CN113657115B (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN108345612A (zh) 一种问题处理方法和装置、一种用于问题处理的装置
CN111475650A (zh) 一种俄语语义角色标注方法、系统、装置以及存储介质
CN110852040B (zh) 一种标点预测模型训练方法及文本标点确定方法
CN110472655A (zh) 一种用于跨境旅游的标志物机器学习识别系统及方法
CN113239694A (zh) 一种基于论元短语的论元角色识别的方法
CN110889284B (zh) 一种基于双向长短时记忆网络的多任务学习中文语病诊断方法
CN111368524A (zh) 一种基于自注意力双向gru和svm的微博观点句识别方法
CN115687934A (zh) 意图识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination