CN111639152A - 意图识别方法 - Google Patents

意图识别方法 Download PDF

Info

Publication number
CN111639152A
CN111639152A CN201910808616.4A CN201910808616A CN111639152A CN 111639152 A CN111639152 A CN 111639152A CN 201910808616 A CN201910808616 A CN 201910808616A CN 111639152 A CN111639152 A CN 111639152A
Authority
CN
China
Prior art keywords
vector
layer
neural network
output
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910808616.4A
Other languages
English (en)
Other versions
CN111639152B (zh
Inventor
陈怡�
李小华
张琦
郭冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhuofan Information Technology Co ltd
Original Assignee
Shanghai Zhuofan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhuofan Information Technology Co ltd filed Critical Shanghai Zhuofan Information Technology Co ltd
Priority to CN201910808616.4A priority Critical patent/CN111639152B/zh
Publication of CN111639152A publication Critical patent/CN111639152A/zh
Application granted granted Critical
Publication of CN111639152B publication Critical patent/CN111639152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

一种意图识别方法包括：对去停用词后的待识别文本按照词级分割，分别利用两种量化模型对待识别文本进行文本量化；将待识别文本按照行拼接得到词向量；计算词向量以得到位置向量，将位置向量与词向量相加得到中间向量；中间向量作为第一层神经网络输入，第一层神经网络输出和中间向量作为第二层神经网络输入，第二和第一层神经网络输出及中间向量作为第三层神经网络输入，得到第三层神经网络最后时刻输出向量；最后时刻输出向量与每一个时刻的输出向量匹配计算得到每一个时刻的权重并将权重归一化，加权求和得到最终输出向量；最终输出向量作为全连接层的输入以输出数字向量；数字向量作为分类器的输入以获得分类数字向量分析出待识别文本的意图。

Description

意图识别方法
技术领域
本发明涉及意图识别技术领域，特别是涉及一种意图识别方法。
背景技术
在人机对话领域，用户意图识别有着重要的作用。现有的意图分类方法主要是基于传统的规则方法和深度学习两种，前者对文本特征提取过多的依赖人为的经验，而后者由于其在较好的表现，在自然语言处理领域有着广泛引用。在意图识别中，具有代表性的有基于rnn和cnn结构的意图分类模型，这些模型的因为其特征提取不全，导致用户意图识别效果欠佳。
发明内容
本发明针对现有技术存在的问题和不足，提供一种新型的意图识别方法。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供一种意图识别方法，其特点在于，其包括以下步骤：
S1、对作为训练语料的去停用词后的待识别文本按照词级进行分割，分别利用两种量化模型对待识别文本进行文本量化；
S2、将分别量化后的待识别文本按照行拼接的方式得到更高维度的词向量；
S3、通过位置向量计算公式计算词向量以得到位置向量，将得到的位置向量与词向量相加得到中间向量；
S4、将中间向量作为编码器的第一层神经网络的输入，将第一层神经网络的输出和中间向量作为编码器的第二层神经网络的输入，将第二层神经网络的输出、第一层神经网络的输出和中间向量作为编码器的第三层神经网络的输入，得到第三层神经网络的最后时刻的输出向量；
S5、将第三层神经网络的最后时刻的输出向量与第三层神经网络的每一个时刻的输出向量做匹配计算得到每一个时刻的权重并将权重归一化，按照加权求和方式得到编码器的最终输出向量；
S6、将最终输出向量作为全连接层的输入以输出一行多列的数字向量；
S7、将数字向量作为分类器的输入以获得分类数字向量，从而分析出待识别文本的意图。
较佳地，在步骤S1中，两种量化模型为CBOW模型和TF-IDF模型。
较佳地，在步骤S3中，位置向量计算公式为：
Figure BDA0002184396860000021
在i表示偶数时
Figure BDA0002184396860000022
在i表示奇数时
其中，i表示词向量位置，dmodel表示词向量的维度大小，pos表示待识别文本的句子长度，PE表示位置向量。
较佳地，步骤S5中采用的公式为：
et＝a(st-1，ht)
Figure BDA0002184396860000023
Figure BDA0002184396860000024
其中，ti-1表示i-1时刻的状态，hi表示i时刻的隐藏层的输出，ci表示i时刻的输出向量，1≤t≤T，T表示正整数。
较佳地，在步骤S7中，分类数字向量中的行列表示的是待识别文本与行列对应的类别意图的概率，并选取概率值最大的行列对应的类别意图作为待识别文本的意图。
较佳地，编码器采用biGRU编码器。
较佳地，分类器采用softmax分类器。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：
本发明通过模型判断用户输入语句的属于什么意图，在人机对话中，根据用户问话，判断用户意图，根据用户意图，提高人机对话的用户体验度。
附图说明
图1为本发明较佳实施例的意图识别方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供一种意图识别方法，其包括以下步骤：
步骤101、对作为训练语料的去停用词后的待识别文本按照词级进行分割，分别利用CBOW模型和TF-IDF模型对待识别文本进行文本量化。
步骤102、将分别量化后的待识别文本按照行拼接的方式得到更高维度的词向量。
步骤103、通过位置向量计算公式计算词向量以得到位置向量，将得到的位置向量与词向量相加得到中间向量。
其中，在步骤103中，位置向量计算公式为：
Figure BDA0002184396860000041
在i表示偶数时
Figure BDA0002184396860000042
在i表示奇数时
其中，i表示词向量位置，比如词向量一百维(0，1，...99)，dmodel表示词向量的维度大小，如100，pos表示待识别文本的句子长度，PE表示位置向量。
步骤104、将中间向量作为biGRU编码器的第一层神经网络的输入，将第一层神经网络的输出和中间向量作为编码器的第二层神经网络的输入，将第二层神经网络的输出、第一层神经网络的输出和中间向量作为编码器的第三层神经网络的输入，得到第三层神经网络的最后时刻的输出向量。
步骤105、将第三层神经网络的最后时刻的输出向量与第三层神经网络的每一个时刻的输出向量做匹配计算得到每一个时刻的权重并将权重归一化，按照加权求和方式得到编码器的最终输出向量。
其中，步骤105中采用的公式为：
et＝a(st-1，ht)
Figure BDA0002184396860000043
Figure BDA0002184396860000044
其中，ti-1表示i-1时刻的状态，hi表示i时刻的隐藏层的输出，ci表示i时刻的输出向量，1≤t≤T，T表示正整数。
步骤106、将最终输出向量作为全连接层的输入以输出一行多列的数字向量。
步骤107、将数字向量作为softmax分类器的输入以获得分类数字向量，从而分析出待识别文本的意图。
其中，分类数字向量中的行列表示的是待识别文本与行列对应的类别意图的概率，并选取概率值最大的行列对应的类别意图作为待识别文本的意图。
本发明通过模型判断用户输入语句的属于什么意图，在人机对话中，根据用户问话，判断用户意图，根据用户意图，提高人机对话的用户体验度。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (7)

1.一种意图识别方法，其特征在于，其包括以下步骤：
S1、对作为训练语料的去停用词后的待识别文本按照词级进行分割，分别利用两种量化模型对待识别文本进行文本量化；
S2、将分别量化后的待识别文本按照行拼接的方式得到更高维度的词向量；
S3、通过位置向量计算公式计算词向量以得到位置向量，将得到的位置向量与词向量相加得到中间向量；
S4、将中间向量作为编码器的第一层神经网络的输入，将第一层神经网络的输出和中间向量作为编码器的第二层神经网络的输入，将第二层神经网络的输出、第一层神经网络的输出和中间向量作为编码器的第三层神经网络的输入，得到第三层神经网络的最后时刻的输出向量；
S5、将第三层神经网络的最后时刻的输出向量与第三层神经网络的每一个时刻的输出向量做匹配计算得到每一个时刻的权重并将权重归一化，按照加权求和方式得到编码器的最终输出向量；
S6、将最终输出向量作为全连接层的输入以输出一行多列的数字向量；
S7、将数字向量作为分类器的输入以获得分类数字向量，从而分析出待识别文本的意图。
2.如权利要求1所述的意图识别方法，其特征在于，在步骤S1中，两种量化模型为CBOW模型和TF-IDF模型。
3.如权利要求1所述的意图识别方法，其特征在于，在步骤S3中，位置向量计算公式为：
Figure FDA0002184396850000011
在i表示偶数时
Figure FDA0002184396850000012
在i表示奇数时
其中，i表示词向量位置，dmodel表示词向量的维度大小，pos表示待识别文本的句子长度，PE表示位置向量。
4.如权利要求1所述的意图识别方法，其特征在于，步骤S5中采用的公式为：
et＝a(st-1，ht)
Figure FDA0002184396850000021
Figure FDA0002184396850000022
其中，ti-1表示i-1时刻的状态，hi表示i时刻的隐藏层的输出，ci表示i时刻的输出向量，1≤t≤T，T表示正整数。
5.如权利要求1所述的意图识别方法，其特征在于，在步骤S7中，分类数字向量中的行列表示的是待识别文本与行列对应的类别意图的概率，并选取概率值最大的行列对应的类别意图作为待识别文本的意图。
6.如权利要求1所述的意图识别方法，其特征在于，编码器采用biGRU编码器。
7.如权利要求1所述的意图识别方法，其特征在于，分类器采用softmax分类器。
CN201910808616.4A 2019-08-29 2019-08-29 意图识别方法 Active CN111639152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910808616.4A CN111639152B (zh) 2019-08-29 2019-08-29 意图识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910808616.4A CN111639152B (zh) 2019-08-29 2019-08-29 意图识别方法

Publications (2)

Publication Number Publication Date
CN111639152A true CN111639152A (zh) 2020-09-08
CN111639152B CN111639152B (zh) 2021-04-13

Family

ID=72330438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910808616.4A Active CN111639152B (zh) 2019-08-29 2019-08-29 意图识别方法

Country Status (1)

Country Link
CN (1) CN111639152B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464559A (zh) * 2017-07-11 2017-12-12 中国科学院自动化研究所 基于汉语韵律结构和重音的联合预测模型构建方法及系统
CN108829818A (zh) * 2018-06-12 2018-11-16 中国科学院计算技术研究所 一种文本分类方法
US20180365248A1 (en) * 2017-06-14 2018-12-20 Sap Se Document representation for machine-learning document classification
CN109145290A (zh) * 2018-07-25 2019-01-04 东北大学 基于字向量与自注意力机制的语义相似度计算方法
CN109241255A (zh) * 2018-08-20 2019-01-18 华中师范大学 一种基于深度学习的意图识别方法
CN109271984A (zh) * 2018-07-24 2019-01-25 广东工业大学 一种基于深度学习的多方位车牌定位方法
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
CN109871451A (zh) * 2019-01-25 2019-06-11 中译语通科技股份有限公司 一种融入动态词向量的关系抽取方法和系统
CN109902175A (zh) * 2019-02-20 2019-06-18 上海方立数码科技有限公司 一种基于神经网络结构模型的文本分类方法及分类系统
CN110032638A (zh) * 2019-04-19 2019-07-19 中山大学 一种基于编码器-解码器的生成式摘要提取方法
CN110046223A (zh) * 2019-03-13 2019-07-23 重庆邮电大学 基于改进型卷积神经网络模型的影评情感分析方法
CN110134934A (zh) * 2018-02-02 2019-08-16 普天信息技术有限公司 文本情感分析方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180365248A1 (en) * 2017-06-14 2018-12-20 Sap Se Document representation for machine-learning document classification
CN107464559A (zh) * 2017-07-11 2017-12-12 中国科学院自动化研究所 基于汉语韵律结构和重音的联合预测模型构建方法及系统
CN110134934A (zh) * 2018-02-02 2019-08-16 普天信息技术有限公司 文本情感分析方法和装置
CN108829818A (zh) * 2018-06-12 2018-11-16 中国科学院计算技术研究所 一种文本分类方法
CN109271984A (zh) * 2018-07-24 2019-01-25 广东工业大学 一种基于深度学习的多方位车牌定位方法
CN109145290A (zh) * 2018-07-25 2019-01-04 东北大学 基于字向量与自注意力机制的语义相似度计算方法
CN109241255A (zh) * 2018-08-20 2019-01-18 华中师范大学 一种基于深度学习的意图识别方法
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
CN109871451A (zh) * 2019-01-25 2019-06-11 中译语通科技股份有限公司 一种融入动态词向量的关系抽取方法和系统
CN109902175A (zh) * 2019-02-20 2019-06-18 上海方立数码科技有限公司 一种基于神经网络结构模型的文本分类方法及分类系统
CN110046223A (zh) * 2019-03-13 2019-07-23 重庆邮电大学 基于改进型卷积神经网络模型的影评情感分析方法
CN110032638A (zh) * 2019-04-19 2019-07-19 中山大学 一种基于编码器-解码器的生成式摘要提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HANXIAO ZHANG ET AL.: "Query Classification Using Convolutional Neural Networks", 《2017 10TH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN》 *
张春英 等: "基于多粒度特征融合的用户意图分类", 《华北理工大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN111639152B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN111625641B (zh) 一种基于多维度语义交互表征模型的对话意图识别方法及系统
CN108549658B (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN110717332B (zh) 基于非对称孪生网络的新闻与案件相似度计算方法
CN109558576B (zh) 一种基于自注意力机制的标点符号预测方法
CN109977199B (zh) 一种基于注意力池化机制的阅读理解方法
CN111985239A (zh) 实体识别方法、装置、电子设备及存储介质
CN111177376A (zh) 一种基于bert与cnn层级连接的中文文本分类方法
CN111274375B (zh) 一种基于双向gru网络的多轮对话方法及系统
CN107679031B (zh) 基于堆叠降噪自编码机的广告博文识别方法
CN111104513B (zh) 一种游戏平台用户问答业务的短文本分类方法
CN113239690A (zh) 基于Bert与全连接神经网络融合的中文文本意图识别方法
CN115393933A (zh) 一种基于帧注意力机制的视频人脸情绪识别方法
CN113569553A (zh) 基于改进Adaboost算法的句子相似性判断方法
CN114691864A (zh) 文本分类模型训练方法及装置、文本分类方法及装置
CN112307130A (zh) 一种文档级远程监督关系抽取方法及系统
CN115908641A (zh) 一种基于特征的文本到图像生成方法、装置及介质
CN112528168A (zh) 基于可形变自注意力机制的社交网络文本情感分析方法
CN116226357B (zh) 一种输入中包含错误信息场景下的文档检索方法
CN107533672A (zh) 模式识别装置、模式识别方法以及程序
CN117033961A (zh) 一种上下文语境感知的多模态图文分类方法
CN115422362B (zh) 一种基于人工智能的文本匹配方法
CN111639152B (zh) 意图识别方法
CN115238068A (zh) 语音转录文本聚类方法、装置、电子设备和存储介质
CN115358227A (zh) 一种基于短语增强的开放域关系联合抽取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant