CN110853626A - 基于双向注意力神经网络的对话理解方法、装置及设备 - Google Patents

基于双向注意力神经网络的对话理解方法、装置及设备 Download PDF

Info

Publication number
CN110853626A
CN110853626A CN201911001131.0A CN201911001131A CN110853626A CN 110853626 A CN110853626 A CN 110853626A CN 201911001131 A CN201911001131 A CN 201911001131A CN 110853626 A CN110853626 A CN 110853626A
Authority
CN
China
Prior art keywords
attention
vector
intention
semantic
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911001131.0A
Other languages
English (en)
Other versions
CN110853626B (zh
Inventor
熊熙
徐孟奇
�田�浩
李元媛
李中志
琚生根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN201911001131.0A priority Critical patent/CN110853626B/zh
Publication of CN110853626A publication Critical patent/CN110853626A/zh
Application granted granted Critical
Publication of CN110853626B publication Critical patent/CN110853626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Abstract

本发明涉及对话理解领域，具体涉及一种基于双向注意力神经网络的对话理解方法、装置及设备；其中，该方法包括S1、对用户的语音信号进行识别得到输入序列，S2、通过嵌入层将所述输入序列映射到向量，分别生成所述输入序列的意图注意力第一向量和语义槽注意力第一向量，S3、通过所述意图注意力第一向量和所述语义槽注意力第一向量，分别生成意图注意力向量和语义槽注意力向量，S4、将所述意图注意力向量和所述语义槽注意力向量进行多次交互，S5、输出与所述输入序列对应的输出结果；本发明所提出的方法描述了槽填充和意图预测之间的多重相互作用，有效性优于任何当前没有指定规则或特征的模型，双向注意力机制有助分析意图预测和槽填充之间的关系。

Description

基于双向注意力神经网络的对话理解方法、装置及设备
技术领域
本发明涉及对话理解领域，具体涉及一种基于双向注意力神经网络的对话理解方法、装置及设备。
背景技术
在过去的十年中，已经为许多应用领域建立了各种实用的对话系统，例如语音助理、自动驾驶汽车和智能家居。对话理解(SLU)是对话系统的一个重要组成部分，通常涉及两个任务：发言者意图的识别和从自然语言话语中提取出主要内容，分别称为意图预测和槽填充。意图预测的目的是识别用户在话语中隐含的意图，而槽填充则从话语中提取相关的语义成分，以达到目的。意图预测和槽填充是两个经常分别执行的任务。意图预测可以被视为文本分类的问题，使用诸如决策树和支持向量机(SVM)等分类器。槽填充被视为序列标记任务。序列标记问题的常用方法包括条件随机场(CRF)和循环神经网络(RNN)。然而，现有的研究并没有明确地模拟意图预测和槽填充之间的双向交互作用，通常以流水线方式传播和隐式(联合损失函数)单向(通过门控机制)联合学习，从而导致对话理解精确度不够。
发明内容
为了解决上述技术问题，本发明提供了一种基于双向注意力神经网络的对话理解方法、装置及设备。
本发明第一方面提供了一种对话理解方法，所述方法包括以下步骤：S1、对用户的语音信号进行识别得到输入序列；S2、通过嵌入层将所述输入序列映射到向量，生成所述输入序列的第一向量表示；S3、通过所述第一向量表示，生成意图注意力向量和语义槽注意力向量；S4、将所述意图注意力向量和所述语义槽注意力向量进行多次交互；S5、输出与所述输入序列对应的输出结果。
根据本发明公开的第一方面，所述方法还包括：在步骤S1中，将所述语音信号从时域转化到频域，提取语音信号中的词序列；利用声学模型将词序列转化为声学模型得分；利用自然语言处理模型将词序列转化为语言模型得分；综合声学模型得分和语言模型得分结果，将得分最高的词序列识别为输入序列。
其中，所述声学模型为DNN-HMM模型；所述自然语言处理模型为RNN模型。
根据本发明公开的第一方面，所述方法海波阔：在步骤S3中还具体包括如下步骤：
S31、将意图注意力向量与权重矩阵相乘，构建第一查询矩阵、第一关键词矩阵和第一值矩阵；将步骤S3所生成的语义槽注意力向量与权重矩阵相乘，构建第二查询矩阵、第二关键词矩阵和第二值矩阵。
S32、将第一查询矩阵、第一关键词矩阵以及第一值矩阵作为输入进行计算，得到自注意力向量A1；将第二查询矩阵、第二关键词矩阵以及第二值矩阵作为输入进行计算，得到自注意力向量A2；将第一查询矩阵和第二关键词矩阵以及第二值矩阵作为输入进行计算，得到点乘注意力向量A3；将第二查询矩阵和第一关键词矩阵以及第一值矩阵作为输入进行计算，得到点乘注意力向量A4；将自注意力向量A1与点乘注意力向量A3相加得到权重意图注意力向量，将自注意力A2与点乘注意力A4相加得到权重语义槽注意力向量。
根据本发明公开的第一方面，所述方法还包括：在步骤S4中还具体包括如下步骤：
S41、改变步骤S31中权重矩阵的权值，重复步骤S31-S32，得到不同头的权重意图注意力和权重语义槽注意力；连接不同头的权重意图注意力向量，得到意图预测的隐藏状态向量；连接不同头的语义槽注意力向量，得到语义槽的隐藏状态向量；
S42、基于线性表示和Softmax函数，根据所述意图预测的隐藏状态向量计算并得出意图预测值，根据所述语义槽的隐藏状态向量计算并得出语义槽预测值；
S43、重复输入不同的语音信号，得到对应的意图预测值和语义槽预测值，通过最小化预测值与真实值之间的交叉熵损失函数，获取模型中所有的参数值。
根据本发明公开的第一方面，所述方法还包括：在步骤S5中具体包括：将输出的系统动作文本化，用文本的形式将系统的动作表达出来。
本发明第二方面提供了一种用于对话理解的装置，所述装置包括：
语音识别模块，用于将用户的语音信息识别为文字信息。
向量生成模块，用于将所述句子转换为句向量，将意图编号转换为意图向量。
注意力生成模块，用于生成意图注意力和语义槽注意力。
预测值生成模块，用于生成意图预测任务和语义槽填充任务的预测值。
参数训练模块，用于训练模型参数。
语义输出模块，用于输出结果。
根据本发明公开的第二方面，所述注意力生成模块还包括第一注意力生成子模块和第二注意力生成子模块。
其中，所述第一注意力生成子模块用于解析所述注意力生成模块的意图预测输入，并显式建模意图注意力与语义槽注意力之间的交互，生成意图注意力生成任务的中间结果；所述第二注意力生成子模块用于解析所述注意力生成模块的语义槽填充的输入，并显式建模语义槽注意力与意图注意力之间的交互，生成语义槽注意力生成任务的中间结果。
根据本发明公开的第二方面，所述预测值生成模块还包括第一预测值生成子模块和第二预测值生成子模块。
其中，所述第一预测值生成子模块用于计算意图预测预测任务的最小化预测值与真实值之间的交叉熵损失函数；所述第二语义槽子模块用于计算语义槽填充任务的最小化预测值与真实值之间的交叉熵损失函数。
根据本发明公开的第二方面，所述参数训练模块用于训练模型中的所有参数。
根据本发明公开的第二方面，所述语义输出模块用于计算所有意图的出现概率，以及所有语义槽的出现概率，分别输出概率最大值。
本发明第三方面提供了一种电子设备，包括：
存储器，用于存储执行指令。
处理器，用于执行所述存储器存储的执行指令以执行如权利要求1至6中任一项所述的方法。
根据上述技术方案，本发明的有益效果在于，(1)所提出的双向注意力神经网络明确地描述了槽填充和意图预测之间的多重相互作用；(2)所提出的BiAtt模型的有效性优于任何当前没有指定规则或特征的模型；(3)双向注意力机制有助于分析意图预测和槽填充之间的关系。
附图说明
图1是根据本发明一个实施方式的对话理解方法流程示意图。
图2是根据本发明一个实施方式的对话理解装置示意性框图。
图3是根据本发明一个实施方式的意图注意力向量和语义槽注意力向量进行多次交互示意图。
具体实施方式
下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
图1是根据本发明一个实施方式的对话理解方法流程示意图。
在本发明的一个实施例中，所述对话理解方法包括以下步骤：S1、对用户的语音信号进行识别得到输入序列；S2、通过嵌入层将所述输入序列映射到向量，生成所述输入序列的词向量和意图向量；S3、将所述词向量和意图向量作为输入，生成意图注意力向量和语义槽注意力向量；S4、重复S3的注意力生成过程，实现注意力向量的多次交互，同时输出与所述输入序列对应的输出结果；S5、利用S1～S4的过程对若干语音信号进行训练，得到模型参数值；S6、输出与特定输入序列对应的输出结果。
在步骤S1中，具体为将所述语音信号从时域转化到频域，提取语音信号中的词序列；利用声学模型将词序列转化为声学模型得分；利用自然语言处理模型将词序列转化为语言模型得分；综合声学模型得分和语言模型得分结果，将得分最高的词序列识别为输入序列。
在步骤S2中，利用RNN自然语言处理模型中的双向长短期记忆网络(Bi-LSTM)对大量词序列进行训练，得到Bi-LSTM的参数；然后通过Bi-LSTM计算输入词序列对应的词向量；通过one-hot向量构建意图向量。
在步骤S3中还具体包括如下步骤：
S31、将步骤S3所生成的意图注意力向量与权重矩阵相乘，构建第一查询矩阵、第一关键词矩阵和第一值矩阵；将步骤S3所生成的语义槽注意力向量与权重矩阵相乘，构建第二查询矩阵、第二关键词矩阵和第二值矩阵。
S32、将第一查询矩阵、第一关键词矩阵以及第一值矩阵作为输入进行计算，得到自注意力向量A1；将第二查询矩阵、第二关键词矩阵以及第二值矩阵作为输入进行计算，得到自注意力向量A2；将第一查询矩阵和第二关键词矩阵以及第二值矩阵作为输入进行计算，得到点乘注意力向量A3；将第二查询矩阵和第一关键词矩阵以及第一值矩阵作为输入进行计算，得到点乘注意力向量A4；将自注意力向量A1与点乘注意力向量A3相加得到权重意图注意力向量，将自注意力A2与点乘注意力A4相加得到权重语义槽注意力向量。
在步骤S4中还具体包括如下步骤：
S41、改变步骤S31中权重矩阵的权值，重复步骤S31-S32，得到不同头的权重意图注意力和权重语义槽注意力；连接不同头的权重意图注意力向量，得到意图预测的隐藏状态向量；连接不同头的语义槽注意力向量，得到语义槽的隐藏状态向量。
S42、基于线性表示和Softmax函数，根据所述意图预测的隐藏状态向量计算并得出意图预测值，根据所述语义槽的隐藏状态向量计算并得出语义槽预测值；通过最小化预测值与真实值之间的交叉熵损失函数，获取模型中所有的参数值。
在步骤S5中，利用S1～S4的过程对若干语音信号进行训练，得到模型参数值；
在步骤S6中，基于带参数值的模型，输出与特定输入序列对应的输出结果。将输出的系统动作文本化，用文本的形式将系统的动作表达出来。
图2是根据本发明一个实施方式的对话理解装置示意性框图。
在本发明的再一个实施例中，提供了一种对话理解装置，包括：
语音识别模块，用于将用户的语音信息识别为文字信息。
向量生成模块，用于将所述句子转换为句向量，将意图编号转换为意图向量。
注意力生成模块，用于生成意图注意力和语义槽注意力。
预测值生成模块，用于生成意图预测任务和语义槽填充任务的预测值。
参数训练模块，用于训练模型参数。
语义输出模块，用于输出结果。
其中，所述注意力生成模块还包括第一注意力生成子模块和第二注意力生成子模块；所述第一注意力生成子模块用于解析所述注意力生成模块的意图预测输入，并显式建模意图注意力与语义槽注意力之间的交互，生成意图注意力生成任务的中间结果；所述第二注意力生成子模块用于解析所述注意力生成模块的语义槽填充的输入，并显式建模语义槽注意力与意图注意力之间的交互，生成语义槽注意力生成任务的中间结果。
其中，所述预测值生成模块还包括第一预测值生成子模块和第二预测值生成子模块；所述第一预测值生成子模块用于计算意图预测预测任务的最小化预测值与真实值之间的交叉熵损失函数；所述第二语义槽子模块用于计算语义槽填充任务的最小化预测值与真实值之间的交叉熵损失函数。
其中，所述参数训练模块用于训练模型中的所有参数。
其中，所述语义输出模块用于计算所有意图的出现概率，以及所有语义槽的出现概率，分别输出概率最大值。
并且上述各模块中执行的处理过程分别与上述方法中具体描述的相应过程相对应。
本发明还提供一种电子设备，该设备包括：通信接口、存储器和处理器。通信接口用于与外界设备进行通信，进行数据交互传输。存储器内存储有可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述实施方式中方法。所述存储器和处理器的数量可以为一个或多个。
存储器可以包括高速RAM存储器，也可以还包括非易失性存储器，例如至少一个磁盘存储器。
如果通信接口、存储器及处理器独立实现，则通信接口、存储器及处理器可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，IndustryStandardArchitecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口、存储器、及处理器集成在一块芯片上，则通信接口、存储器、及处理器可以通过内部接口完成相互间的通信。
本发明主要结合实际业务需求，针对现有对话理解的不足之处进行了改进，将机器学习算法和领域定制的词典相结合，一方面能够提高理解准确率，另一方面能够针对实际的应用场景，改善其领域适应性。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

Claims (11)

1.一种基于双向注意力神经网络的对话理解方法，其特征在于，包括：
S1、对用户的语音信号进行识别得到输入序列；
S2、通过嵌入层将所述输入序列映射到向量，分别生成所述输入序列的意图注意力第一向量和语义槽注意力第一向量；
S3、通过所述意图注意力第一向量和所述语义槽注意力第一向量，分别生成意图注意力向量和语义槽注意力向量；
S4、将所述意图注意力向量和所述语义槽注意力向量进行多次交互；
S5、输出与所述输入序列对应的输出结果。
2.根据权利要求1所述的对话理解方法，其特征在于，所述步骤S1具体包括：
将所述语音信号从时域转化到频域，提取语音信号中的词序列；将词序列转化为声学模型得分；将词序列转化为语言模型得分；综合声学模型得分和语言模型得分结果，将得分最高的词序列识别为输入序列；
所述声学模型为DNN-HMM模型；
所述自然语言处理模型为RNN模型。
3.根据权利要求1所述的对话理解方法，其特征在于，所述步骤S3具体包括：
S31、将意图注意力向量与权重矩阵相乘，构建第一查询矩阵、第一关键词矩阵和第一值矩阵；将步骤S3所生成的语义槽注意力向量与权重矩阵相乘，构建第二查询矩阵、第二关键词矩阵和第二值矩阵；
S32、将第一查询矩阵、第一关键词矩阵以及第一值矩阵作为输入进行计算，得到自注意力向量A1；将第二查询矩阵、第二关键词矩阵以及第二值矩阵作为输入进行计算，得到自注意力向量A2；将第一查询矩阵和第二关键词矩阵以及第二值矩阵作为输入进行计算，得到点乘注意力向量A3；将第二查询矩阵和第一关键词矩阵以及第一值矩阵作为输入进行计算，得到点乘注意力向量A4；将自注意力向量A1与点乘注意力向量A3相加得到权重意图注意力向量，将自注意力A2与点乘注意力A4相加得到权重语义槽注意力向量。
4.根据权利要求1所述的对话理解方法，其特征在于，所述步骤S4中意图注意力向量和语义槽注意力向量进行多次交互具体包括如下步骤：
S41、改变步骤S31中权重矩阵的权值，重复步骤S31-S32，得到不同头的权重意图注意力和权重语义槽注意力；连接不同头的权重意图注意力向量，得到意图预测的隐藏状态向量；连接不同头的语义槽注意力向量，得到语义槽的隐藏状态向量；
S42、基于线性表示和Softmax函数，根据所述意图预测的隐藏状态向量计算并得出意图预测值，根据所述语义槽的隐藏状态向量计算并得出语义槽预测值；
S43、重复输入不同的语音信号，得到对应的意图预测值和语义槽预测值，通过最小化预测值与真实值之间的交叉熵损失函数，获取模型中所有的参数值。
5.根据权利要求1所述的对话理解方法，其特征在于，所述步骤S5具体包括：将输出的系统动作文本化，用文本的形式将系统的动作表达出来。
6.一种用于对话理解的装置，其特征在于，所述装置包括：
语音识别模块，用于将用户的语音信息识别为文字信息；
向量生成模块，用于将所述句子转换为句向量，将意图编号转换为意图向量；
注意力生成模块，用于生成意图注意力和语义槽注意力；
预测值生成模块，用于生成意图预测任务和语义槽填充任务的预测值；
参数训练模块，用于训练模型参数；
语义输出模块，用于输出结果。
7.根据权利要求6所述的用于对话理解的装置，其特征在于，所述注意力生成模块还包括第一注意力生成子模块和第二注意力生成子模块；
其中，所述第一注意力生成子模块用于解析所述注意力生成模块的意图预测输入，并显式建模意图注意力与语义槽注意力之间的交互，生成意图注意力生成任务的中间结果；所述第二注意力生成子模块用于解析所述注意力生成模块的语义槽填充的输入，并显式建模语义槽注意力与意图注意力之间的交互，生成语义槽注意力生成任务的中间结果。
8.根据权利要求6所述的用于对话理解的装置，其特征在于，所述预测值生成模块还包括第一预测值生成子模块和第二预测值生成子模块；
其中，所述第一预测值生成子模块用于计算意图预测预测任务的最小化预测值与真实值之间的交叉熵损失函数；所述第二语义槽子模块用于计算语义槽填充任务的最小化预测值与真实值之间的交叉熵损失函数。
9.根据权利要求7或8所述的用于对话理解的装置，其特征在于，所述参数训练模块用于训练模型中的所有参数。
10.根据权利要6所述的用于对话理解的装置，其特征在于，所述语义输出模块用于计算所有意图的出现概率，以及所有语义槽的出现概率，分别输出概率最大值。
11.一种电子设备，其特征在于，包括：
存储器，用于存储执行指令；
处理器，用于执行所述存储器存储的执行指令以执行如权利要求1至5中任一项所述的方法。
CN201911001131.0A 2019-10-21 2019-10-21 基于双向注意力神经网络的对话理解方法、装置及设备 Active CN110853626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911001131.0A CN110853626B (zh) 2019-10-21 2019-10-21 基于双向注意力神经网络的对话理解方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911001131.0A CN110853626B (zh) 2019-10-21 2019-10-21 基于双向注意力神经网络的对话理解方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110853626A true CN110853626A (zh) 2020-02-28
CN110853626B CN110853626B (zh) 2021-04-20

Family

ID=69596702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911001131.0A Active CN110853626B (zh) 2019-10-21 2019-10-21 基于双向注意力神经网络的对话理解方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110853626B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507696A (zh) * 2021-02-04 2021-03-16 湖南大学 基于全局注意力意图识别的人机交互导诊方法与系统
CN112951239A (zh) * 2021-03-24 2021-06-11 平安科技（深圳）有限公司 基于注意力模型的佛乐生成方法、装置、设备及存储介质
WO2021190259A1 (zh) * 2020-03-23 2021-09-30 华为技术有限公司 一种槽位识别方法及电子设备
WO2021212377A1 (zh) * 2020-04-22 2021-10-28 深圳市欢太数字科技有限公司 用户数据的危险属性确定方法、装置以及电子设备
CN113779975A (zh) * 2020-06-10 2021-12-10 北京猎户星空科技有限公司 一种语义识别方法、装置、设备及介质
CN115146066A (zh) * 2022-09-05 2022-10-04 深圳市华付信息技术有限公司 人机交互方法、装置、设备及存储介质
CN115273849A (zh) * 2022-09-27 2022-11-01 北京宝兰德软件股份有限公司 一种关于音频数据的意图识别方法及装置
CN115617971A (zh) * 2022-11-14 2023-01-17 湖南君安科技有限公司 基于ALBERT-Coref模型的对话文本生成方法
CN117151121A (zh) * 2023-10-26 2023-12-01 安徽农业大学 一种基于波动阈值与分割化的多意图口语理解方法
US11929062B2 (en) 2020-09-15 2024-03-12 International Business Machines Corporation End-to-end spoken language understanding without full transcripts

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159977A (zh) * 2015-08-27 2015-12-16 百度在线网络技术（北京）有限公司 信息交互处理方法及装置
WO2017223010A1 (en) * 2016-06-23 2017-12-28 Microsoft Technology Licensing, Llc End-to-end memory networks for contextual language understanding
CN108417205A (zh) * 2018-01-19 2018-08-17 苏州思必驰信息科技有限公司 语义理解训练方法和系统
CN108415923A (zh) * 2017-10-18 2018-08-17 北京邮电大学 封闭域的智能人机对话系统
CN108563640A (zh) * 2018-04-24 2018-09-21 中译语通科技股份有限公司 一种多语言对的神经网络机器翻译方法及系统
CN108829662A (zh) * 2018-05-10 2018-11-16 浙江大学 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统
CN108960277A (zh) * 2017-05-19 2018-12-07 百度（美国）有限责任公司 使用语言模型对序列到序列模型进行冷聚变
US20190034795A1 (en) * 2017-07-28 2019-01-31 Microsoft Technology Licensing, Llc Domain addition systems and methods for a language understanding system
CN109559748A (zh) * 2018-12-21 2019-04-02 出门问问信息科技有限公司 一种语义识别方法、装置、智能设备及存储介质
CN109785833A (zh) * 2019-01-02 2019-05-21 苏宁易购集团股份有限公司 用于智能设备的人机交互语音识别方法及系统
CN109858030A (zh) * 2019-02-11 2019-06-07 北京邮电大学 双向的意图槽值交叉相关的任务型对话理解系统及方法
CN110008476A (zh) * 2019-04-10 2019-07-12 出门问问信息科技有限公司 语义解析方法、装置、设备及存储介质
CN110222163A (zh) * 2019-06-10 2019-09-10 福州大学 一种融合cnn与双向lstm的智能问答方法及系统
US10431207B2 (en) * 2018-02-06 2019-10-01 Robert Bosch Gmbh Methods and systems for intent detection and slot filling in spoken dialogue systems

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159977A (zh) * 2015-08-27 2015-12-16 百度在线网络技术（北京）有限公司 信息交互处理方法及装置
WO2017223010A1 (en) * 2016-06-23 2017-12-28 Microsoft Technology Licensing, Llc End-to-end memory networks for contextual language understanding
CN108960277A (zh) * 2017-05-19 2018-12-07 百度（美国）有限责任公司 使用语言模型对序列到序列模型进行冷聚变
US20190034795A1 (en) * 2017-07-28 2019-01-31 Microsoft Technology Licensing, Llc Domain addition systems and methods for a language understanding system
CN108415923A (zh) * 2017-10-18 2018-08-17 北京邮电大学 封闭域的智能人机对话系统
CN108417205A (zh) * 2018-01-19 2018-08-17 苏州思必驰信息科技有限公司 语义理解训练方法和系统
US10431207B2 (en) * 2018-02-06 2019-10-01 Robert Bosch Gmbh Methods and systems for intent detection and slot filling in spoken dialogue systems
CN108563640A (zh) * 2018-04-24 2018-09-21 中译语通科技股份有限公司 一种多语言对的神经网络机器翻译方法及系统
CN108829662A (zh) * 2018-05-10 2018-11-16 浙江大学 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统
CN109559748A (zh) * 2018-12-21 2019-04-02 出门问问信息科技有限公司 一种语义识别方法、装置、智能设备及存储介质
CN109785833A (zh) * 2019-01-02 2019-05-21 苏宁易购集团股份有限公司 用于智能设备的人机交互语音识别方法及系统
CN109858030A (zh) * 2019-02-11 2019-06-07 北京邮电大学 双向的意图槽值交叉相关的任务型对话理解系统及方法
CN110008476A (zh) * 2019-04-10 2019-07-12 出门问问信息科技有限公司 语义解析方法、装置、设备及存储介质
CN110222163A (zh) * 2019-06-10 2019-09-10 福州大学 一种融合cnn与双向lstm的智能问答方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUAI YU ET AL.: "ACJIS: A Novel Attentive Cross Approach For Joint Intent Detection And Slot Filling", 《2018 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
侯利仙等: "面向任务口语理解研究现状综述", 《计算机工程与应用》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021190259A1 (zh) * 2020-03-23 2021-09-30 华为技术有限公司 一种槽位识别方法及电子设备
WO2021212377A1 (zh) * 2020-04-22 2021-10-28 深圳市欢太数字科技有限公司 用户数据的危险属性确定方法、装置以及电子设备
CN113779975A (zh) * 2020-06-10 2021-12-10 北京猎户星空科技有限公司 一种语义识别方法、装置、设备及介质
CN113779975B (zh) * 2020-06-10 2024-03-01 北京猎户星空科技有限公司 一种语义识别方法、装置、设备及介质
US11929062B2 (en) 2020-09-15 2024-03-12 International Business Machines Corporation End-to-end spoken language understanding without full transcripts
CN112507696A (zh) * 2021-02-04 2021-03-16 湖南大学 基于全局注意力意图识别的人机交互导诊方法与系统
CN112507696B (zh) * 2021-02-04 2021-04-20 湖南大学 基于全局注意力意图识别的人机交互导诊方法与系统
CN112951239B (zh) * 2021-03-24 2023-07-28 平安科技（深圳）有限公司 基于注意力模型的佛乐生成方法、装置、设备及存储介质
CN112951239A (zh) * 2021-03-24 2021-06-11 平安科技（深圳）有限公司 基于注意力模型的佛乐生成方法、装置、设备及存储介质
CN115146066A (zh) * 2022-09-05 2022-10-04 深圳市华付信息技术有限公司 人机交互方法、装置、设备及存储介质
CN115273849A (zh) * 2022-09-27 2022-11-01 北京宝兰德软件股份有限公司 一种关于音频数据的意图识别方法及装置
CN115617971A (zh) * 2022-11-14 2023-01-17 湖南君安科技有限公司 基于ALBERT-Coref模型的对话文本生成方法
CN117151121A (zh) * 2023-10-26 2023-12-01 安徽农业大学 一种基于波动阈值与分割化的多意图口语理解方法
CN117151121B (zh) * 2023-10-26 2024-01-12 安徽农业大学 一种基于波动阈值与分割化的多意图口语理解方法

Also Published As

Publication number Publication date
CN110853626B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN110853626B (zh) 基于双向注意力神经网络的对话理解方法、装置及设备
CN110377716B (zh) 对话的交互方法、装置及计算机可读存储介质
CN111695352A (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
CN110377916B (zh) 词预测方法、装置、计算机设备及存储介质
CN108447471A (zh) 语音识别方法及语音识别装置
CN109887484A (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
CN111445898B (zh) 语种识别方法、装置、电子设备和存储介质
CN112633003A (zh) 一种地址识别方法、装置、计算机设备及存储介质
CN110807333A (zh) 一种语义理解模型的语义处理方法、装置及存储介质
CN111161726B (zh) 一种智能语音交互方法、设备、介质及系统
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
EP3614297A1 (en) Hybrid natural language understanding
CN113987179A (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
CN112417855A (zh) 文本意图识别方法、装置以及相关设备
CN111125326A (zh) 用于实现人机对话的方法、装置、介质以及电子设备
KR20210083986A (ko) 반지도 학습 기반 단어 단위 감정 임베딩과 lstm 모델을 이용한 대화 내에서 발화의 감정 분류 방법
CN113505198A (zh) 关键词驱动的生成式对话回复方法、装置及电子设备
CN112115702A (zh) 意图识别方法、装置、对话机器人和计算机可读存储介质
CN110717027B (zh) 多轮智能问答方法、系统以及控制器和介质
CN112989843B (zh) 意图识别方法、装置、计算设备及存储介质
CN111767720B (zh) 一种标题生成方法、计算机及可读存储介质
CN111680514B (zh) 信息处理和模型训练方法、装置、设备及存储介质
CN111046674A (zh) 语义理解方法、装置、电子设备和存储介质
CN115687934A (zh) 意图识别方法、装置、计算机设备及存储介质
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant