CN112765959B - 意图识别方法、装置、设备及计算机可读存储介质 - Google Patents

意图识别方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112765959B
CN112765959B CN202011645068.7A CN202011645068A CN112765959B CN 112765959 B CN112765959 B CN 112765959B CN 202011645068 A CN202011645068 A CN 202011645068A CN 112765959 B CN112765959 B CN 112765959B
Authority
CN
China
Prior art keywords
word
vector
text
lstm model
text information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011645068.7A
Other languages
English (en)
Other versions
CN112765959A (zh
Inventor
张民
肖康
卢奇
陈文亮
杨波
梁兴伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hit Technology Innovation Industry Development Co ltd
Suzhou University
Konka Group Co Ltd
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Hit Technology Innovation Industry Development Co ltd
Suzhou University
Konka Group Co Ltd
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hit Technology Innovation Industry Development Co ltd, Suzhou University, Konka Group Co Ltd, Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Hit Technology Innovation Industry Development Co ltd
Priority to CN202011645068.7A priority Critical patent/CN112765959B/zh
Publication of CN112765959A publication Critical patent/CN112765959A/zh
Application granted granted Critical
Publication of CN112765959B publication Critical patent/CN112765959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种意图识别方法、装置、设备及计算机可读存储介质，其中，所述意图识别方法包括步骤：获取文字信息，并通过词嵌入表将文字信息转化成词向量；将词向量输入双向LSTM模型，通过双向LSTM模型的编辑层输出文本向量；根据文本向量计算文字信息中所有词汇的概率；将概率中的最大值对应的词汇确定为意图词汇，实现了不需更换数据转换规则的情况下智能识别用户的意图，提高了识别效率。

Description

意图识别方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及语言处理领域，尤其涉及一种意图识别方法、装置、设备及计算机可读存储介质。
背景技术
随着人工智能技术的发展，人与机器的交流越来越频繁，产生的数据越来越庞大，为了更好的让机器理解人类的语言，以及减少数据处理的难度，人们开始对语言进行分析，探求一种能够很快被机器读懂人类语言的方法，现行的方法需要人类根据语言数据的特性进行手动编写数据转换的规则实现人机交流，每次更换数据就要写不同的规则，机器的识别效率低下。
发明内容
本发明的主要目的在于提出一种意图识别方法、装置、设备及计算机可读存储介质，旨在提高用户意图识别的效率。所述用户意图方法包括以下步骤：
获取文字信息，并通过词嵌入表将所述文字信息转化成词向量；
将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量；
根据所述文本向量计算所述文字信息中所有词汇的概率；
将所述概率中的最大值对应的词汇确定为意图词汇。
在一种实施方式中，所述获取文字信息，并通过词嵌入表将所述文字信息转化成词向量的步骤包括：
获取文字信息，通过词嵌入表确定接收所述文字信息中的词汇的时刻；
将所述文字信息中的词汇表示成关于时刻的词向量。
在一种实施方式中，所述将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量的步骤包括：
将所述词向量输入双向LSTM模型，依次获取所述词向量的正向隐层序列和逆向隐层序列/>
根据所述和所述/>生成文本向量ht。
在一种实施方式中，所述的计算公式为/>其中所述ht-1为当前时刻的上一时刻的文本向量，所述xt为所述当前时刻的词向量；
所述的计算公式为/>其中所述ht+1为所述当前时刻的下一时刻的文本向量；
所述ht的计算公式为其中，所述/>及所述/>为所述双向LSTM模型的参数。
在一种实施方式中，所述根据所述文本向量计算所述文字信息中所有词汇的概率的步骤包括：
将所述文本向量输入所述双向LSTM模型的解码层，获得解码向量st；
获取所述文字信息中词汇对应的词汇表；
通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率。
在一种实施方式中，所述通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率的步骤包括：
通过所述双向LSTM模型中的注意力机制，将所述ht和所述st代入第一公式，得到所述文字信息中所有词汇的权重at；
将所述权重代入第二公式，得到所述文字信息中的所有词汇在所述词汇表中的概率P。
在一种实施方式中，所述第一公式为：at＝softmax(vttanh(Whht+Wsst+battn))，其中，所述vt，Wh，Ws和battn均为所述双向LSTM模型的参数；所述第二公式为：P＝softmax(V'(V[st,∑atht]+b)+b')，其中，所述V，V'，b和b'为所述双向LSTM模型的参数。
此外，为实现上述目的，本发明还提供一种意图识别装置，所述意图识别装置包括：
获取模块，用于获取文字信息；
转化模块，用于通过词嵌入表将所述文字信息转化成词向量；
输入输出模块，用于将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量；
计算模块，用于根据所述文本向量计算所述文字信息中所有词汇的概率；
确定模块，用于将所述概率中的最大值对应的词汇确定为意图词汇。
此外，为实现上述目的，本发明还提供一种意图识别设备，所述意图识别设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的意图识别程序，所述意图识别程序被所述处理器执行时实现如上所述的意图识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有所述意图识别程序，所述意图识别程序被处理器执行时实现如上所述的意图识别方法的步骤。
本发明通过获取文字信息，通过词嵌入表将文字信息转化成词向量，并将词向量输入双向LSTM模型，通过双向LSTM模型的编辑层输出文本向量，最后根据文本向量计算文字信息中所有词汇的概率，将概率的最大值对应的词汇确定为意图词汇，实现了不需更换数据转换规则的情况下智能识别用户的意图，提高了识别效率。
附图说明
图1为实现本发明各个实施例一种设备的硬件结构示意图；
图2为本发明意图识别方法实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种意图识别设备，参照图1，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为意图识别设备的硬件运行环境的结构示意图。本发明实施例意图识别设备可以包括PC(Personal Computer，个人电脑)，便携计算机，服务器等硬件设备。
如图1所示，意图识别设备包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，意图识别设备还可以包括RF(Radio Frequency，射频)电路，传感器、WiFi模块等等。
本领域技术人员可以理解，图1中示出的意图识别设备结构并不构成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及意图识别程序。其中，操作系统是管理和控制设备硬件和软件资源的程序，支持意图识别程序以及其它软件或程序的运行。
图1所示的设备，可用于提高对用户意图的识别效率，用户接口1003主要用于侦测或者输出各种信息，如输入文字信息和输出概率等；网络接口1004主要用于与后台服务器交互，进行通信；处理器1001可以用于调用存储器1005中存储的意图识别程序，并执行以下操作：
获取文字信息，并通过词嵌入表将所述文字信息转化成词向量；
将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量；
根据所述文本向量计算所述文字信息中所有词汇的概率；
将所述概率中的最大值对应的词汇确定为意图词汇。
在一种实施方法中，所述获取文字信息，并通过词嵌入表将所述文字信息转化成词向量的步骤包括：
获取文字信息，通过词嵌入表确定接收所述文字信息中的词汇的时刻；
将所述文字信息中的词汇表示成关于时刻的词向量。
在一种实施方式中，所述将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量的步骤包括：
将所述词向量输入双向LSTM模型，依次获取所述词向量的正向隐层序列和逆向隐层序列/>
根据所述和所述/>生成文本向量ht。
在一种实施方式中，所述的计算公式为/>其中所述ht-1为当前时刻的上一时刻的文本向量，所述xt为所述当前时刻的词向量；
所述的计算公式为/>其中所述ht+1为所述当前时刻的下一时刻的文本向量；
所述ht的计算公式为其中，所述/>及所述/>为所述双向LSTM模型的参数所述/>为，所述/>
在一种实施方式中，所述根据所述文本向量计算所述文字信息中所有词汇的概率的步骤包括：
将所述文本向量输入所述双向LSTM模型的解码层，获得解码向量st；
获取所述文字信息中词汇对应的词汇表；
通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率。
在一种实施方式中，所述通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率的步骤包括：
通过所述双向LSTM模型中的注意力机制，将所述ht和所述st代入第一公式，得到所述文字信息中所有词汇的权重at；
将所述权重代入第二公式，得到所述文字信息中的所有词汇在所述词汇表中的概率P。
在一种实施方式中，所述第一公式为：at＝softmax(vttanh(Whht+Wsst+battn))，其中，所述vt，Wh，Ws和battn均为所述双向LSTM模型的参数；所述第二公式为：P＝softmax(V'(V[st,∑atht]+b)+b')，其中，所述V，V'，b和b'为所述双向LSTM模型的参数。
本发明通过获取文字信息，通过词嵌入表将文字信息转化成词向量，并将词向量输入双向LSTM模型，通过双向LSTM模型的编辑层输出文本向量，最后根据文本向量计算文字信息中所有词汇的概率，将概率的最大值对应的词汇确定为意图词汇，实现了不需更换数据转换规则的情况下智能识别用户的意图，提高了识别效率。
本发明移动终端具体实施方式与下述意图识别方法各实施例基本相同，在此不再赘述。
基于上述结构，提出本发明意图识别方法的各个实施例。
本发明提供一种意图识别方法。
参照图2，图2为本发明意图识别方法实施例的流程示意图。
在本实施例中，提供了意图识别方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中，意图识别方法包括：
步骤S10，获取文字信息，并通过词嵌入表将所述文字信息转化成词向量；
文字信息是用于对用户的意图进行识别的信息，本实施例提供的意图识别方法即是通过对文字信息的处理判断用户的意图。文字信息由用户输入，输入方法可以是语音输入，也可以是手写、打字等输入等，文字信息可以是一句话，也可以是一段文字。词嵌入表将文字信息中的每一个单词或每一个词组映射为实数域上的向量，得到词向量。
在一些实施例中，步骤S10还包括：
步骤a，获取文字信息，通过词嵌入表确定接收所述文字信息中的词汇的时刻；
步骤b，将所述文字信息中的词汇表示成关于时刻的词向量。
获取文字信息，对于文字信息中的词汇来说总有先后顺序，本实施例将先后顺序的表达体现在接收到词汇的时刻上，词嵌入表将文字信息中的词汇表示成关于时刻的词向量。
步骤S20，将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量；
双向LSTM模型是在具有单向的LSTM层的模型的基础上又引入了逆向的LSTM层得到的，数据在双向LSTM层中既可以正向传输也可以逆向传输。将词向量输入双向LSTM模型，双向LSTM模型的编辑层输出与词向量对应的文本向量。基于双向LSTM模型的正向和逆向传输可以使得到的文本向量更加的精确。
在一些实施例中，步骤S20包括：
步骤c，将所述词向量输入双向LSTM模型，依次获取所述词向量的正向隐层序列和逆向隐层序列/>
步骤d，根据所述和所述/>生成文本向量ht。
双向LSTM模型是基于上一时刻计算得到的文本向量和下一时刻计算得到的文本向量计算当前时刻的文本向量。具体的，双向LSTM模型通过正向传输获得上一时刻文本向量，通过逆向传输获得下一时刻的文本向量，再根据上一时刻的文本向量和当前时刻的词向量得到正向隐层序列根据下一时刻的文本向量和当前时刻的词向量得到逆向隐层序列/>最后根据/>和/>得到当前时刻的文本向量。
在一些具体的实施例中，计算正向隐层序列的计算公式为/>ht-1为当前时刻的上一时刻的文本向量，xt为当前时刻的词向量；计算逆向隐层序列/>的计算公式为/>ht+1为当前时刻的下一时刻的文本向量。根据/>和/>生成文本向量ht的计算公式为/>其中，所述/>及所述/>为所述双向LSTM模型的参数。
步骤S30，根据所述文本向量计算所述文字信息中所有词汇的概率；
步骤S40，将所述概率中的最大值对应的词汇确定为意图词汇。
文本信息中含有多个词汇，本实施例的目的是从多个词汇中筛选出表示用户意图的词汇，根据获得文本向量计算每个词汇的概率，将最大的概率值对应的词汇确定为表示用户意图的词汇。
在一些实施例中步骤S20包括：
步骤e，将所述文本向量输入所述双向LSTM模型的解码层，获得解码向量st；
步骤f，获取所述文字信息中词汇对应的词汇表；
步骤g，通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率。
文字信息中的词汇可以有很多的相关词汇，例如当文字信息为“我有一个土豆”，那么文本信息中的词汇有代词“我”、动词“有”、量词“一个”及名词“土豆”，词汇表为关于这些词汇的相关词汇，“我”的相关词汇有英文的“I”及“me”等，“土豆”的相关词汇有“马铃薯”、“potato”等，生成文字信息中所有词汇的相关词汇的词汇表。将文本向量输入双向LSTM模型的解码层，得到解码向量st。基于双向LSTM模型的注意力机制，根据文本向量和解码向量计算文字信息中所有词汇在词汇表中的概率。
在一些实施例中，步骤g包括：
步骤g1，通过所述双向LSTM模型中的注意力机制，将所述ht和所述st代入第一公式，得到所述文字信息中所有词汇的权重at；
步骤g2，将所述权重代入第二公式，得到所述文字信息中的所有词汇在所述词汇表中的概率。
启动双向LSTM模型的注意力机制，将文本向量和解码向量代入第一公式，得到文字信息中所有词汇的权重at，即at＝softmax(vttanh(Whht+Wsst+battn))，其中vt，Wh，Ws和battn均是通过对双向LSTM模型训练后得到的参数。再将权重代入第二公式得到所有词汇在词汇表中的概率，即P＝softmax(V'(V[st,∑atht]+b)+b')，其中，V，V'，b和b'是对双向LSTM模型训练后得到的参数。
最大的概率对应的词汇为最终可识别用户意图的词汇，确定为意图词汇。
本实施例通过获取文字信息，通过词嵌入表将文字信息转化成词向量，并将词向量输入双向LSTM模型，通过双向LSTM模型的编辑层输出文本向量，最后根据文本向量计算文字信息中所有词汇的概率，将概率的最大值对应的词汇确定为意图词汇，实现了不需更换数据转换规则的情况下智能识别用户的意图，提高了识别效率。
需要说明的是，对双向LSTM模型进行训练时使用Adagrad梯度下降算法优化训练过程。在一般的梯度下降法中，对于每一个参数的训练都使用了相同的学习率α。Adagrad算法能够在训练中自动的对学习率进行调整，对于出现频率较低的参数采用较大的α更新，对于出现频率较高的参数采用较小的α更新。另外，本实施例提供的双层LSTM模型采用的损失函数为： 为意图词汇，P为意图词汇的概率，t为接收意图词汇的时刻，T为完整接收文字信息的最后时刻。
此外，本发明实施例还提出一种意图识别装置，所述意图识别装置包括：
获取模块，用于获取文字信息；
转化模块，用于通过词嵌入表将所述文字信息转化成词向量；
输入输出模块，用于将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量；
计算模块，用于根据所述文本向量计算所述文字信息中所有词汇的概率；
确定模块，用于将所述概率中的最大值对应的词汇确定为意图词汇。
在一些实施例中，所述转化模块还包括：
确定单元，用于通过词嵌入表确定接收所述文字信息中的词汇的时刻；
表示单元，用于将所述文字信息中的词汇表示成关于时刻的词向量。
在一些实施例中，所述输入输出模块还包括：
输入单元，用于将所述词向量输入双向LSTM模型；
获取单元，用于依次获取所述词向量的正向隐层序列和逆向隐层序列/>
生成单元，用于根据所述和所述/>生成文本向量ht。
在一些实施例中，计算模块还包括：
输入单元，用于将所述文本向量输入所述双向LSTM模型的解码层，获得解码向量st；
所述获取单元还用于获取所述文字信息中词汇对应的词汇表；
计算单元，用于通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率。
在一些实施例中，所述计算单元还包括：
代入子单元，用于通过所述双向LSTM模型中的注意力机制，将所述ht和所述st代入第一公式，得到所述文字信息中所有词汇的权重at；将所述权重代入第二公式，得到所述文字信息中的所有词汇在所述词汇表中的概率P。
本发明所述意图识别装置的实施方式与上述意图识别方法各实施例基本相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有意图识别程序，所述意图识别程序被处理器执行时实现如上所述的意图识别方法的各个步骤。
需要说明的是，计算机可读存储介质可设置在意图识别设备中。
本发明计算机可读存储介质具体实施方式与上述意图识别方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电视终端不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者电视终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者电视终端中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端电视终端(可以是手机，计算机，服务器，空调器，或者网络电视终端等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种意图识别方法，其特征在于，所述意图识别方法包括以下步骤：
获取文字信息，并通过词嵌入表将所述文字信息转化成词向量；
将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量ht；
根据所述文本向量计算所述文字信息中所有词汇的概率；
将所述概率中的最大值对应的词汇确定为意图词汇；
其中，所述将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量的步骤包括：
将所述词向量输入双向LSTM模型，依次获取所述词向量的正向隐层序列和逆向隐层序列/>
根据所述和所述/>生成文本向量ht；
所述的计算公式为/>其中所述ht-1为当前时刻的上一时刻的文本向量，所述xt为所述当前时刻的词向量；
所述的计算公式为/>其中所述ht+1为所述当前时刻的下一时刻的文本向量；
所述ht的计算公式为其中，所述/>及所述/>为所述双向LSTM模型的参数；
所述根据所述文本向量计算所述文字信息中所有词汇的概率的步骤包括：
将所述文本向量输入所述双向LSTM模型的解码层，获得解码向量st；
获取所述文字信息中词汇对应的词汇表，其中，所述词汇表为所述文字信息中的所有词汇的相关词汇；
通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率。
2.如权利要求1所述的意图识别方法，其特征在于，所述获取文字信息，并通过词嵌入表将所述文字信息转化成词向量的步骤包括：
获取文字信息，通过词嵌入表确定接收所述文字信息中的词汇的时刻；
将所述文字信息中的词汇表示成关于时刻的词向量。
3.如权利要求1所述的意图识别方法，其特征在于，所述通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率的步骤包括：
通过所述双向LSTM模型中的注意力机制，将所述ht和所述st代入第一公式，得到所述文字信息中所有词汇的权重at；
将所述权重代入第二公式，得到所述文字信息中的所有词汇在所述词汇表中的概率P。
4.如权利要求3所述的意图识别方法，其特征在于，所述第一公式为：at＝softmax(vttanh(Whht+Wsst+battn))，其中，所述vt，Wh，Ws和battn均为所述双向LSTM模型的参数；所述第二公式为：P＝softmax(V’(V[st，∑atht]+b)+b’)，其中，所述V，V’，b和b’为所述双向LSTM模型的参数。
5.一种意图识别装置，其特征在于，所述意图识别装置包括：
获取模块，用于获取文字信息；
转化模块，用于通过词嵌入表将所述文字信息转化成词向量；
输入输出模块，用于将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量；
计算模块，用于根据所述文本向量计算所述文字信息中所有词汇的概率；
确定模块，用于将所述概率中的最大值对应的词汇确定为意图词汇；
其中，所述将所述词向量输入双向LSTM模型，通过所述双向LSTM模型的编辑层输出文本向量的步骤包括：
将所述词向量输入双向LSTM模型，依次获取所述词向量的正向隐层序列和逆向隐层序列/>
根据所述和所述/>生成文本向量ht；
所述的计算公式为/>其中所述ht-1为当前时刻的上一时刻的文本向量，所述xt为所述当前时刻的词向量；
所述的计算公式为/>其中所述ht+1为所述当前时刻的下一时刻的文本向量；
所述ht的计算公式为其中，所述/>及所述/>为所述双向LSTM模型的参数；
所述根据所述文本向量计算所述文字信息中所有词汇的概率的步骤包括：
将所述文本向量输入所述双向LSTM模型的解码层，获得解码向量st；
获取所述文字信息中词汇对应的词汇表，其中，所述词汇表为所述文字信息中的所有词汇的相关词汇；
通过所述双向LSTM模型的注意力机制，并根据所述ht和所述st计算所述文字信息中的所有词汇在所述词汇表中的概率。
6.一种意图识别设备，其特征在于，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的意图识别程序，所述意图识别程序被所述处理器执行时实现如权利要求1至4中任一项所述的意图识别方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有意图识别程序，所述意图识别程序被处理器执行时实现如权利要求1至4中任一项所述的意图识别方法的步骤。
CN202011645068.7A 2020-12-31 2020-12-31 意图识别方法、装置、设备及计算机可读存储介质 Active CN112765959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011645068.7A CN112765959B (zh) 2020-12-31 2020-12-31 意图识别方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011645068.7A CN112765959B (zh) 2020-12-31 2020-12-31 意图识别方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112765959A CN112765959A (zh) 2021-05-07
CN112765959B true CN112765959B (zh) 2024-05-28

Family

ID=75698876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011645068.7A Active CN112765959B (zh) 2020-12-31 2020-12-31 意图识别方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112765959B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193865A (zh) * 2017-04-06 2017-09-22 上海奔影网络科技有限公司 人机交互中自然语言意图理解方法及装置
CN107943860A (zh) * 2017-11-08 2018-04-20 北京奇艺世纪科技有限公司 模型的训练方法、文本意图的识别方法及装置
CN108846130A (zh) * 2018-06-29 2018-11-20 北京百度网讯科技有限公司 一种问题文本生成方法、装置、设备和介质
CN110032645A (zh) * 2019-04-17 2019-07-19 携程旅游信息技术（上海）有限公司 文本情感识别方法、系统、设备以及介质
CN110046221A (zh) * 2019-03-01 2019-07-23 平安科技（深圳）有限公司 一种机器对话方法、装置、计算机设备及存储介质
CN110245348A (zh) * 2019-05-17 2019-09-17 北京百度网讯科技有限公司 一种意图识别方法及系统
CN110287283A (zh) * 2019-05-22 2019-09-27 中国平安财产保险股份有限公司 意图模型训练方法、意图识别方法、装置、设备及介质
WO2019229768A1 (en) * 2018-05-28 2019-12-05 Thottapilly Sanjeev A bot engine for automatic dynamic intent computation
CN110674639A (zh) * 2019-09-24 2020-01-10 拾音智能科技有限公司 一种基于预训练模型的自然语言理解方法
CN110928997A (zh) * 2019-12-04 2020-03-27 北京文思海辉金信软件有限公司 意图识别方法、装置、电子设备及可读存储介质
CN111078866A (zh) * 2019-12-30 2020-04-28 华南理工大学 一种基于序列到序列模型的中文文本摘要生成方法
CN111368086A (zh) * 2020-03-17 2020-07-03 昆明理工大学 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法
WO2020140487A1 (zh) * 2019-01-02 2020-07-09 苏宁云计算有限公司 用于智能设备的人机交互语音识别方法及系统
CN111949784A (zh) * 2020-08-14 2020-11-17 中国工商银行股份有限公司 基于意图识别的外呼方法及装置
WO2020232861A1 (zh) * 2019-05-20 2020-11-26 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417498B2 (en) * 2016-12-30 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Method and system for multi-modal fusion model

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193865A (zh) * 2017-04-06 2017-09-22 上海奔影网络科技有限公司 人机交互中自然语言意图理解方法及装置
CN107943860A (zh) * 2017-11-08 2018-04-20 北京奇艺世纪科技有限公司 模型的训练方法、文本意图的识别方法及装置
WO2019229768A1 (en) * 2018-05-28 2019-12-05 Thottapilly Sanjeev A bot engine for automatic dynamic intent computation
CN108846130A (zh) * 2018-06-29 2018-11-20 北京百度网讯科技有限公司 一种问题文本生成方法、装置、设备和介质
WO2020140487A1 (zh) * 2019-01-02 2020-07-09 苏宁云计算有限公司 用于智能设备的人机交互语音识别方法及系统
CN110046221A (zh) * 2019-03-01 2019-07-23 平安科技（深圳）有限公司 一种机器对话方法、装置、计算机设备及存储介质
CN110032645A (zh) * 2019-04-17 2019-07-19 携程旅游信息技术（上海）有限公司 文本情感识别方法、系统、设备以及介质
CN110245348A (zh) * 2019-05-17 2019-09-17 北京百度网讯科技有限公司 一种意图识别方法及系统
WO2020232861A1 (zh) * 2019-05-20 2020-11-26 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质
CN110287283A (zh) * 2019-05-22 2019-09-27 中国平安财产保险股份有限公司 意图模型训练方法、意图识别方法、装置、设备及介质
CN110674639A (zh) * 2019-09-24 2020-01-10 拾音智能科技有限公司 一种基于预训练模型的自然语言理解方法
CN110928997A (zh) * 2019-12-04 2020-03-27 北京文思海辉金信软件有限公司 意图识别方法、装置、电子设备及可读存储介质
CN111078866A (zh) * 2019-12-30 2020-04-28 华南理工大学 一种基于序列到序列模型的中文文本摘要生成方法
CN111368086A (zh) * 2020-03-17 2020-07-03 昆明理工大学 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法
CN111949784A (zh) * 2020-08-14 2020-11-17 中国工商银行股份有限公司 基于意图识别的外呼方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Speech emotion recognition using convolutional long short-term memory neural network and support vector machines";Nattapong Kurpukdee et al.;《2017 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference》;第1744-1749页 *

Also Published As

Publication number Publication date
CN112765959A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN109754778B (zh) 文本的语音合成方法、装置和计算机设备
US10956771B2 (en) Image recognition method, terminal, and storage medium
CN107301865B (zh) 一种用于语音输入中确定交互文本的方法和装置
US9396724B2 (en) Method and apparatus for building a language model
WO2014190732A1 (en) Method and apparatus for building a language model
CN110163181B (zh) 手语识别方法及装置
CN111192568B (zh) 一种语音合成方法及语音合成装置
CN111967224A (zh) 对话文本的处理方法、装置、电子设备及存储介质
US11568853B2 (en) Voice recognition method using artificial intelligence and apparatus thereof
US11398219B2 (en) Speech synthesizer using artificial intelligence and method of operating the same
CN107155121B (zh) 语音控制文本的显示方法及装置
CN111402861A (zh) 一种语音识别方法、装置、设备及存储介质
CN108804427B (zh) 语音机器翻译方法及装置
CN110808032A (zh) 一种语音识别方法、装置、计算机设备及存储介质
KR102367778B1 (ko) 언어 정보를 처리하기 위한 방법 및 그 전자 장치
US11417313B2 (en) Speech synthesizer using artificial intelligence, method of operating speech synthesizer and computer-readable recording medium
CN113822072A (zh) 关键词抽取方法、装置及电子设备
CN113722436A (zh) 文本信息提取方法、装置、计算机设备及存储介质
CN111554270B (zh) 训练样本筛选方法及电子设备
CN114822519A (zh) 中文语音识别纠错方法、装置及电子设备
CN112765959B (zh) 意图识别方法、装置、设备及计算机可读存储介质
CN112328308A (zh) 用于识别文本的方法和装置
US11393447B2 (en) Speech synthesizer using artificial intelligence, method of operating speech synthesizer and computer-readable recording medium
US11227578B2 (en) Speech synthesizer using artificial intelligence, method of operating speech synthesizer and computer-readable recording medium
CN113948060A (zh) 一种网络训练方法、数据处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant