CN112183061A - 一种多意图口语理解方法、电子设备和存储介质 - Google Patents

一种多意图口语理解方法、电子设备和存储介质 Download PDF

Info

Publication number
CN112183061A
CN112183061A CN202011045777.1A CN202011045777A CN112183061A CN 112183061 A CN112183061 A CN 112183061A CN 202011045777 A CN202011045777 A CN 202011045777A CN 112183061 A CN112183061 A CN 112183061A
Authority
CN
China
Prior art keywords
decoding
layer
intent
label
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011045777.1A
Other languages
English (en)
Other versions
CN112183061B (zh
Inventor
刘广灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd, Xiamen Yunzhixin Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN202011045777.1A priority Critical patent/CN112183061B/zh
Publication of CN112183061A publication Critical patent/CN112183061A/zh
Application granted granted Critical
Publication of CN112183061B publication Critical patent/CN112183061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种多意图口语理解方法、电子设备和存储介质，本发明对多意图信息进行细化拆分，进行层级化解码，来预测每个意图对应的槽位标签；并且使用注意力机制建模各层解码输出之间的关系，即根据前一层解码序列的全局信息指导当前层解码，一定程度上也缓解了解码t时刻不具备t+1等未来信息的情况。

Description

一种多意图口语理解方法、电子设备和存储介质
技术领域
本发明涉及人机对话系统技术领域，具体涉及一种多意图口语理解方法、电子设备和存储介质。
背景技术
口语理解主要包括两个子任务：意图识别(Intent Detection)和槽位填充(SlotFilling)。意图识别和槽位填充两个任务不是相互独立的，槽位填充高度依赖于意图识别的结果，同时槽位填充也可以促进意图的识别。现有技术将两个任务联合建模来充分利用两个任务共有的知识信息，通常采用多任务(Multi-task)框架，两个子任务共享编码层，然后将两部分的损失函数相加来建模。
现有的使用多任务框架，采用共享编码层、损失函数相加是一种隐式联合建模的方法，该方法没有显式地建模意图识别和槽位填充两个子任务之间的相互作用关系；虽然目前也有研究关注如何有效利用多意图信息来引导槽位预测，但是很多方法只是把意图的上下文向量当做多意图信息，简单粗略的模拟意图和槽之间的关系，而这是远远不足够的，所以本发明提出层级解码的方式来解决该问题。
发明内容
为了解决上述问题，本发明对多意图信息进行细化拆分，进行层级化解码，来预测每个意图对应的槽位标签；并且使用注意力机制建模各层解码输出之间的关系，即根据前一层解码序列的全局信息指导当前层解码，一定程度上也缓解了解码t时刻不具备t+1等未来信息的情况。
根据本发明实施例的一个方面，提供一种多意图口语理解方法，包括，
S100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；
S200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和sigmoid函数进行多意图预测，得到多意图信息；
S300根据所述多意图信息进行层级解码预测槽位标签；
S400将各层级解码对应的负对数似然损失加和作为整体损失函数，进而训练模型，优化模型参数；
S500在预测阶段使用阈值确定多意图识别结果，根据各层级解码序列的最后一层的解码输出槽填充结果，使用贪婪搜索进行采样得到槽位预测结果。
优选地，所述层级解码使用
Figure BDA0002707924550000021
表示第i层解码得到的槽位标签序列，其中，T表示解码序列的长度；第i层解码器对应的隐藏状态为
Figure BDA0002707924550000022
优选地，所述解码器为单向LSTM，表示为fi，且每一层的所述解码器参数不共享。
优选地，所述第i层解码实施为基于所述第i层的某一步意图标签嵌入向量和所述某一步的上一步解码得到的槽位标签嵌入向量得到所述某一步的解码器对应的隐藏状态，并基于所述某一步的解码器对应的隐藏状态解码得到的所述某一步的槽位标签，以将标签映射到高维嵌入空间显式地对分类类别进行了区分和语义表示。
优选地，S310第一层解码的方法为：
Figure BDA0002707924550000031
Figure BDA0002707924550000032
其中
Figure BDA0002707924550000033
表示第一层第t步解码得到的槽位标签，
Figure BDA0002707924550000034
表示意图标签I1的嵌入向量，
Figure BDA0002707924550000035
是槽标签
Figure BDA0002707924550000036
的嵌入向量表示，Wy是可训练的参数，使用所述意图标签I1的嵌入信息来指导每个时刻的解码预测。
优选地，S321第i层解码的方法包括：
Figure BDA0002707924550000037
其中
Figure BDA0002707924550000038
表示针对第i-1层的解码结果使用注意力机制得到的上下文向量，所述上下文向量是前一层解码向量序列的权重加和，2≤i≤n。
优选地，所述上下文向量构成为：
Figure BDA0002707924550000039
Figure BDA00027079245500000310
Figure BDA00027079245500000311
其中，Wa，Ua，
Figure BDA00027079245500000312
都是可训练参数。
优选地，S322所述第i层解码的方法还包括：
基于所述隐藏状态
Figure BDA00027079245500000313
预测所述第i层第t时刻的槽位标签为
Figure BDA00027079245500000314
Figure BDA00027079245500000315
优选地，在所述预测阶段，使用阈值vt来预测多意图标签I＝(I1,I2,...,In)，其中，Ii表示
Figure BDA00027079245500000316
其中0＜vth＜1，所述阈值vt为一个需要使用验证集调试的参数。
根据本发明实施例的另一个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述方法。
根据本发明实施例的又一个方面，提供一种非临时性计算机可读存储介质，其上存储有可执行指令，所述可执行指令在处理器上运行时，实现前述方法。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明提出的层级解码多意图口语理解框架示意图(以两个意图为例)。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的层级解码的多意图口语理解的模型如图1所示，模型使用预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)作为编码器，根据BERT输出的语义信息进行多意图识别和槽位预测。本发明对多意图信息进行细化拆分，进行层级化解码，来预测每个意图对应的槽位标签；并且使用注意力机制建模各层解码输出之间的关系，即根据前一层解码序列的全局信息指导当前层解码，一定程度上也缓解了解码t时刻不具备t+1等未来信息的情况。
具体方法流程如下：
第1步，得到预训练语言模型BERT的语义向量序列编码表示：
BERT模型结构是一个基于多层双向的Transformer编码器，它的输入包括词嵌入、句子嵌入和位置嵌入三部分。输入序列的第一个标记始终是特殊分类标记[CLS]，该特殊标记对应的最终隐藏状态被用于分类任务；并且使用特殊标记[SEP]作为序列的最后一个标记。本发明输入表示为x＝([cls],x1,x2,x3,x4,...,xn)，BERT得到的语义向量序列编码表示为e＝(e[cls],e1,e2,e3,e4,...,en)。
第2步，进行多意图识别：
根据BERT特殊符号[CLS]对应的最终隐藏状态，使用全连接神经网络(FCN,FullConnected Network)和sigmoid函数进行多意图预测，最终得到多意图信息y[cls]＝sigmoid(FCN(e[cls]))，
Figure BDA0002707924550000051
ni表示全部意图的个数。
其中，全连接神经网络FCN解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权，从而获得全连接层的权重矩阵。
第3步，根据多意图信息进行层级解码预测槽位标签：
本发明使用
Figure BDA0002707924550000061
表示第i层解码得到的槽位标签序列，T表示解码序列的长度；第i层解码器对应的隐藏状态为
Figure BDA0002707924550000062
每一层都使用单向LSTM作为解码器，表示为fi，每一层的解码器不使用参数共享。
第3.1步，第一层解码的计算过程：
以第t步的解码为例，
Figure BDA0002707924550000063
Figure BDA0002707924550000064
其中
Figure BDA0002707924550000065
表示第一层第t步解码得到的槽位标签，
Figure BDA0002707924550000066
表示意图标签I1的嵌入向量，
Figure BDA0002707924550000067
是槽标签
Figure BDA0002707924550000068
的嵌入向量表示。
使用这两种嵌入向量的好处：分类模型的标签设定如{0:播放音乐，1：添加到播放列表}，将标签映射到高维嵌入空间一定程度上显式地对分类类别进行了区分和语义表示。此外Wy是可训练的参数，这里使用意图I1的嵌入信息来指导每个时刻的解码预测。
第3.2步，第i层解码的计算过程：
同样以第t步的解码为例，2≤i≤n，
Figure BDA0002707924550000069
其中
Figure BDA0002707924550000071
表示针对第i-1层的解码结果使用注意力机制得到的上下文向量，
Figure BDA0002707924550000072
Figure BDA0002707924550000073
Figure BDA0002707924550000074
这里得到的上下文向量是前一层解码向量序列的权重加和，这里Wa，Ua，
Figure BDA0002707924550000075
都是可训练参数；最后预测第i层第t时刻的槽位标签
Figure BDA0002707924550000076
Figure BDA0002707924550000077
第4步，层级解码的损失函数计算：
将各层级解码对应的负对数似然损失加和作为整体损失函数，进而训练模型，优化模型参数，即L(y)＝-log(y)。在解码器训练过程中使用计划采样(SS，ScheduleSampling)机制来解决训练和预测的信息存在偏差的问题。在计划采样中，即采样率P在训练的过程中是变化的。一开始训练不充分，采样率P减小，尽量使用真实的标签作为输入，随着训练的进行，将采样率P增大，多采用自身的输出作为下一个预测的输入。随着训练的进行，采样率P越来越大，训练模型最终和预测模型一样，消除了训练和预测的信息之间的偏差。
第5步，预测阶段意图识别和槽位填充的结果获取：
多意图识别结果使用阈值来确定，在预测阶段，需要使用阈值vt来预测多意图标签I＝(I1,I2,...,In)，Ii表示
Figure BDA0002707924550000078
其中0＜vth＜1，并且阈值vt是一个需要使用验证集调试的参数。槽填充根据最后一层的解码输出，使用贪婪搜索进行采样得到槽位预测结果，如Dijkstra算法、Prim算法、Kruskal算法等，进行求解时，每次都要保证是最优解，使每次取的覆盖范围最大，以在每一步选择中都采取最好或者最优(即最有利)的选择，从而希望能够导致结果是最好或者最优。
本发明针对现实生活中多意图口语理解提出层级解码的框架，通过多层级解码层层递进的学习方式，降低了一次性解码预测的学习难度；并且对多意图信息进行精细化拆分，每一层级解码使用合适的意图信息进行指导，避免了之前使用多意图上下文向量带来的信息不准确的问题。因此本发明提出的方法可以解决当前问题，进一步提升多意图口语理解系统的性能。
本发明实施例提供的基于交替解码的口语理解方法可以软件功能模块的形式实现并作为独立的产品销售或使用，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (11)

1.一种多意图口语理解方法，其特征在于，包括，
S100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；
S200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和sigmoid函数进行多意图预测，得到多意图信息；
S300根据所述多意图信息进行层级解码预测槽位标签；
S400将各层级解码对应的负对数似然损失加和作为整体损失函数，进而训练模型，优化模型参数；
S500在预测阶段使用阈值确定多意图识别结果，根据各层级解码序列的最后一层的解码输出槽填充结果，使用贪婪搜索进行采样得到槽位预测结果。
2.如权利要求1所述的多意图口语理解方法，其特征在于，
所述层级解码使用
Figure FDA0002707924540000011
表示第i层解码得到的槽位标签序列，其中，T表示解码序列的长度；
第i层解码器对应的隐藏状态为
Figure FDA0002707924540000012
3.如权利要求2所述的多意图口语理解方法，其特征在于，
所述解码器为单向LSTM，表示为fi，且每一层的所述解码器参数不共享。
4.如权利要求2所述的多意图口语理解方法，其特征在于，
所述第i层解码实施为基于所述第i层的某一步意图标签嵌入向量和所述某一步的上一步解码得到的槽位标签嵌入向量得到所述某一步的解码器对应的隐藏状态，并基于所述某一步的解码器对应的隐藏状态解码得到的所述某一步的槽位标签，以将标签映射到高维嵌入空间显式地对分类类别进行了区分和语义表示。
5.如权利要求2所述的多意图口语理解方法，其特征在于，
S310第一层解码的方法为：
Figure FDA0002707924540000021
Figure FDA0002707924540000022
其中
Figure FDA0002707924540000023
表示第一层第t步解码得到的槽位标签，
Figure FDA0002707924540000024
表示意图标签I1的嵌入向量，
Figure FDA0002707924540000025
是槽标签
Figure FDA0002707924540000026
的嵌入向量表示，Wy是可训练的参数，使用所述意图标签I1的嵌入信息来指导每个时刻的解码预测。
6.如权利要求5所述的多意图口语理解方法，其特征在于，
S321第i层解码的方法包括：
Figure FDA0002707924540000027
其中
Figure FDA0002707924540000028
表示针对第i-1层的解码结果使用注意力机制得到的上下文向量，所述上下文向量是前一层解码向量序列的权重加和，2≤i≤n。
7.如权利要求6所述的多意图口语理解方法，其特征在于，
所述上下文向量构成为：
Figure FDA0002707924540000029
Figure FDA00027079245400000210
Figure FDA00027079245400000211
其中，Wa，Ua，
Figure FDA00027079245400000212
都是可训练参数。
8.如权利要求6所述的多意图口语理解方法，其特征在于，
S322所述第i层解码的方法还包括：
基于所述隐藏状态
Figure FDA0002707924540000031
预测所述第i层第t时刻的槽位标签为
Figure FDA0002707924540000032
Figure FDA0002707924540000033
9.如权利要求1-8任一项所述的多意图口语理解方法，其特征在于，
在所述预测阶段，使用阈值vt来预测多意图标签I＝(I1，I2，...，In)，其中，Ii表示
Figure FDA0002707924540000034
其中0＜vth＜1，所述阈值vt为一个需要使用验证集调试的参数。
10.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-9中任一所述的方法。
11.一种非临时性计算机可读存储介质，其上存储有可执行指令，所述可执行指令在处理器上运行时，实现根据权利要求1-9中任一所述的方法。
CN202011045777.1A 2020-09-28 2020-09-28 一种多意图口语理解方法、电子设备和存储介质 Active CN112183061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011045777.1A CN112183061B (zh) 2020-09-28 2020-09-28 一种多意图口语理解方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011045777.1A CN112183061B (zh) 2020-09-28 2020-09-28 一种多意图口语理解方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112183061A true CN112183061A (zh) 2021-01-05
CN112183061B CN112183061B (zh) 2024-03-01

Family

ID=73945660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011045777.1A Active CN112183061B (zh) 2020-09-28 2020-09-28 一种多意图口语理解方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112183061B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989800A (zh) * 2021-04-30 2021-06-18 平安科技（深圳）有限公司 基于Bert的篇章的多意图识别方法、设备及可读存储介质
CN113515611A (zh) * 2021-06-22 2021-10-19 镁佳(北京)科技有限公司 一种任务型多意图对话的意图识别方法和识别系统
CN113723114A (zh) * 2021-08-31 2021-11-30 平安普惠企业管理有限公司 基于多意图识别的语义分析方法、装置、设备及存储介质
CN115292463A (zh) * 2022-08-08 2022-11-04 云南大学 一种基于信息抽取的联合多意图检测和重叠槽填充的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532355A (zh) * 2019-08-27 2019-12-03 华侨大学 一种基于多任务学习的意图与槽位联合识别方法
EP3582119A1 (en) * 2018-06-14 2019-12-18 Accenture Global Solutions Limited Spoken language understanding system and method using recurrent neural networks
CN111159375A (zh) * 2019-12-27 2020-05-15 深圳前海微众银行股份有限公司 一种文本处理方法及装置
CN111198937A (zh) * 2019-12-02 2020-05-26 泰康保险集团股份有限公司 对话生成及装置、计算机可读存储介质、电子设备
CN111597342A (zh) * 2020-05-22 2020-08-28 北京慧闻科技(集团)有限公司 一种多任务意图分类方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3582119A1 (en) * 2018-06-14 2019-12-18 Accenture Global Solutions Limited Spoken language understanding system and method using recurrent neural networks
CN110532355A (zh) * 2019-08-27 2019-12-03 华侨大学 一种基于多任务学习的意图与槽位联合识别方法
CN111198937A (zh) * 2019-12-02 2020-05-26 泰康保险集团股份有限公司 对话生成及装置、计算机可读存储介质、电子设备
CN111159375A (zh) * 2019-12-27 2020-05-15 深圳前海微众银行股份有限公司 一种文本处理方法及装置
CN111597342A (zh) * 2020-05-22 2020-08-28 北京慧闻科技(集团)有限公司 一种多任务意图分类方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIBO QIN 等: "TD-GIN: Token-level Dynamic Graph-Interactive Network for Joint Multiple Intent Detection and Slot Filling", 《HTTPS//:ARXIV.ORG/ABS/2004.10087V1》, pages 1 - 10 *
周奇安 等: "基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法", 中文信息学报, vol. 34, no. 5, pages 82 - 90 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989800A (zh) * 2021-04-30 2021-06-18 平安科技（深圳）有限公司 基于Bert的篇章的多意图识别方法、设备及可读存储介质
WO2022227211A1 (zh) * 2021-04-30 2022-11-03 平安科技（深圳）有限公司 基于Bert的篇章的多意图识别方法、设备及可读存储介质
CN113515611A (zh) * 2021-06-22 2021-10-19 镁佳(北京)科技有限公司 一种任务型多意图对话的意图识别方法和识别系统
CN113723114A (zh) * 2021-08-31 2021-11-30 平安普惠企业管理有限公司 基于多意图识别的语义分析方法、装置、设备及存储介质
CN115292463A (zh) * 2022-08-08 2022-11-04 云南大学 一种基于信息抽取的联合多意图检测和重叠槽填充的方法
CN115292463B (zh) * 2022-08-08 2023-05-12 云南大学 一种基于信息抽取的联合多意图检测和重叠槽填充的方法

Also Published As

Publication number Publication date
CN112183061B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
Kalchbrenner et al. Recurrent convolutional neural networks for discourse compositionality
CN112183061B (zh) 一种多意图口语理解方法、电子设备和存储介质
CN110516253B (zh) 中文口语语义理解方法及系统
CN111738016B (zh) 多意图识别方法及相关设备
CN111062217B (zh) 语言信息的处理方法、装置、存储介质及电子设备
US20230080671A1 (en) User intention recognition method and apparatus based on statement context relationship prediction
CN111198937A (zh) 对话生成及装置、计算机可读存储介质、电子设备
CN113505591A (zh) 一种槽位识别方法及电子设备
Hori et al. Dialog state tracking with attention-based sequence-to-sequence learning
CN112037773B (zh) 一种n最优口语语义识别方法、装置及电子设备
Chi et al. Speaker role contextual modeling for language understanding and dialogue policy learning
US11132994B1 (en) Multi-domain dialog state tracking
KR20220130565A (ko) 키워드 검출 방법 및 장치
WO2023231513A1 (zh) 对话内容的生成方法及装置、存储介质、终端
CN113743099A (zh) 基于自注意力机制方面术语提取系统、方法、介质、终端
CN112183062B (zh) 一种基于交替解码的口语理解方法、电子设备和存储介质
CN116341651A (zh) 实体识别模型训练方法、装置、电子设备及存储介质
CN110992943A (zh) 基于词混淆网络的语义理解方法及系统
Morioka et al. Multiscale recurrent neural network based language model.
Park et al. Natural language generation using dependency tree decoding for spoken dialog systems
CN114239607A (zh) 一种对话答复方法及装置
CN112364659B (zh) 一种无监督的语义表示自动识别方法及装置
CN112257432A (zh) 一种自适应意图识别方法、装置及电子设备
CN111259673A (zh) 一种基于反馈序列多任务学习的法律判决预测方法及系统
CN114420098A (zh) 唤醒词检测模型训练方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant