CN113204971B - 一种基于深度学习的场景自适应Attention多意图识别方法 - Google Patents
一种基于深度学习的场景自适应Attention多意图识别方法 Download PDFInfo
- Publication number
- CN113204971B CN113204971B CN202110326513.1A CN202110326513A CN113204971B CN 113204971 B CN113204971 B CN 113204971B CN 202110326513 A CN202110326513 A CN 202110326513A CN 113204971 B CN113204971 B CN 113204971B
- Authority
- CN
- China
- Prior art keywords
- scene
- intention
- indrnn
- adaptive attention
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims 3
- 230000002708 enhancing effect Effects 0.000 claims 2
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 210000002569 neuron Anatomy 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于深度学习的场景自适应Attention多意图识别方法，包括如下内容：首先，实时获取当前用户输入的多意图文本并进行预处理；然后，构建多层Bi‑IndRNN神经网络模型，用来提取当前输入的多意图文本的语义特征；之后，构建场景自适应Attention语义增强模型，充分利用特定场景特征来增强多意图文本的语义特征；最后，构建多意图分类器，用来识别用户的多个意图。本发明利用场景自适应Attention的方法，在提取多意图文本语义特征时融合特定场景独有的特征来增强文本的语义特征，实现了对多意图文本的深层次语义特征的挖掘，可以有效解决人机对话中常面临的多意图识别问题，从而提高解决问题的效率和人机对话的体验。
Description
技术领域
本发明涉及自然语言语义分析领域，尤其涉及特定场景下人机对话系统中的多意图识别方法。
背景技术
随着人工智能的快速发展，人们对许多应用场景智能性的要求日益增加，要满足智能性的要求，良好的人机交互是必不可少的。目前，人机交互的方式呈现多样化，其中，最方便的方式莫过于使用自然语言。因此，利用自言语言实现人机对话的呼声也越来越高，人机对话系统受到了学术界和工业界的广泛关注，具有非常广泛的应用场景。
要实现人机对话系统中离不开自然语言语义分析技术。语义分析的好坏将直接影响人机对话的质量。由于自然语言的复杂性、抽象性以及词语的多义性等，这都增加了自然语言语义分析的难度。意图识别是语义分析的首要任务，目前对于意图识别问题的研究主要集中在单意图的识别上。而复杂场景下由于用户语言的多变性，表达的不规范性和不完整性，常常会出现多意图识别问题。如何让机器有效挖掘用户输入的深层次的语义信息，有效解决多意图识别的问题，以便更好的理解人类的语言。实现拟人化的人机交互，这一直是该领域研究的难点。
综上所述，针对特定场景下人机对话中常出现的多意图识别问题，如何在现有技术的基础上提出有效解决多意图识别的方法，也就成为了本领域内技术人员亟待解决的问题。
发明内容
鉴于人机对话系统中存在上述问题，本发明提出了一种基于深度学习的场景自适应Attention多意图识别方法，用于解决特定场景下人机对话中常出现的多意图识别问题，所述方法具体过程如下：
步骤1，实时获取当前用户输入的多意图文本并进行预处理；
步骤2，构建多层Bi-IndRNN神经网络模型，用来提取当前输入的多意图文本的语义特征；
步骤3，构建场景自适应Attention语义增强模型，充分利用特定场景特征来增强多意图文本的语义特征；
步骤4，构建多意图分类器，用来识别用户的多个意图。
优选的，所述步骤1中，对当前用户输入的多意图文本进行预处理，就是将多意图文本进行向量化表示，以便输入神经网络模型中进行语义特征提取。本文的向量化表示方法为，首先使用同领域海量中文无监督语料训练BERT模型。然后，利用得到的BERT预训练模型来对多意图文本进行向量化表示。
优选的，所述步骤2中，多层Bi-IndRNN神经网络模型的构建是基于循环神经元RNN的变体独立循环神经元IndRNN来搭建的。IndRNN神经元只接收来自当前时刻的输入和它本身在上一时刻的隐藏状态信息，这使得层内IndRNN神经元之间相互独立。因此，利用残差连接机制将IndRNN神经元多层堆叠，以此来构造多层的神经网络模型，用来提取多意图文本的语义特征。为了更好的提取多意图文本的语义特征，在IndRNN神经网络的基础上设置前向IndRNN单元和后向IndRNN单元，分别用来提取文本从前到后的语义信息和从后向前的语义信息，充分利用未来的语义特征增强当前词语的语义，可以有效提升语义特征提取的丰富性。
优选的，所述步骤3中，场景自适应Attention语义增强模型的构建方法，具体如下所示：
在特定场景下，服务对象的类型有限且相对稳定，每种服务对象类型的语言习惯相对固定，服务类型也相对稳定，表达方式类型有限。根据以上几点，对传统的Attention机制进行改进，在多意图识别时，增加了不同的服务对象和服务类型对意图识别的作用。充分利用特定场景独有的特征来提高多意图识别的准确性。
假设某一特定场景下的服务类型记为M(m1,m2,...,mn)，服务对象记为P(p1,p2,...,pv)，其中mi表示某类服务类型，pj表示某类服务对象，则场景自适应Attention机制的得分计算方法如下所示：
si＝F(Q,ki)+Fω(M,P)
式中，F(Q,ki)用来衡量当前输入文本序列的某个词语对目标意图的重要度，其中，Q表示目标意图，ki表示输入文本序列的某个词语。Fω(M,P)衡用来衡量某种服务类型与某种服务对象的相关性，特定场景下，由于用户习惯相对固定，感兴趣的内容和服务类型就相对固定，因此服务对象跟服务类型有很强的相关性，这种相关性大小的计算，如下所示：
式中，λ为表示某种服务类型与某种服务对象的相关性大小的相关系数，取值范围为(-1,1)，λ值越接近1，说明两者之间相关性越高。λ的计算方法如下所示：
式中，M＝(m1,m2,...,mn)表示由m1,m2,...,mn构成的向量，P＝(p1,p2,...,pv)表示由p1,p2,...,pv构成的向量，分别表示M、P的均值。此处请注意，若v小于n则对P补零，使其与M长度一致。
场景自适应Attention机制的权重计算方法如下所示：
(1)将多层Bi-IndRNN神经网络模型的输出记为uit，则uit＝tanh(Wwhit+bw)，其中，Ww为多层Bi-IndRNN神经网络模型权重，bw为多层Bi-IndRNN神经网络模型偏置，hit为多层Bi-IndRNN神经网络模型最后一层隐藏层状态。
2)将计算得到的特定场景下的场景自适应Attention的得分输入到softmax函数中进行归一化处理，得到场景自适应Attention机制的权重ait，将权重ait作为衡量多意图文本中词语重要性的指标。ait的计算方法如下所示：
式中，t表示时刻，uw是场景自适应Attention语义增强模型的权重向量，mi是某一特定场景下的第i类服务类型，pj是某一特定场景下的第j类服务对象，λ是某种服务类型与某种服务对象的相关系数。
最后将计算得到的场景自适应Attention机制的权重，对输入的多意图文本中的不同词语重新进行权重分配。具体计算方法如下所示：
式中，向量C表示融合了注意力特征的多意图语义表示，包含了各个输入状态的重要度特征。
场景自适应Attention机制，相比于其他注意力机制，增加了特定场景独有特征对意图分类的贡献度。可以更好的提取多意图文本深层次的语义特征，提升多意图识别的准确率。
优选的，所述步骤4中，多意图分类器的构建具体如下所示：
在场景自适应的Attention语义增强层后面增加全连接层，然后用sigmoid激活函数输出分类结果，即多意图分类器就是全连接层+sigmoid。使用二分类交叉熵损失函数来训练多意图分类器。在每个意图标签上依次判断是否与用户输入的意图文本所表达的意图相匹配，之后输出所有匹配的标签。
全连接层的每一个结点都与上一层的所有结点相连，用来把前面提取的语义特征融合起来。将从场景自适应的Attention语义增强模型中获取的多意图文本语义表示，输入多意图分类器中，使用下面的公式输出在各个标签类别上的概率：
y＝sigmoid(wfs+bf)
当概率大于设置的阈值时，输出该标签，当概率小于设置的阈值时，不输出该标签。
本文设置的阈值为0.6，经过试验验证，当取该值是可以获得最佳的分类效果。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明为了挖掘多意图文本的深层次语义特征，提高多意图识别的准确性。首先，利用BERT预训练模型对意图文本进行向量化表示，可以有效解决一词多义性。然后通过构建多层双向IndRNN神经网络进一步提取文本的语义特征，IndRNN有效解决了循环神经网络过深产生的梯度消失和梯度爆炸问题。为了更好解决特定场景下的多意图识别的问题，在提取多意图文本语义特征时融合特定场景独有的特征来增强文本的语义特征，增加特定场景对意图分类的作用，有效解决人机对话中多意图识别的问题。
附图说明
为了使本发明的目的、技术方案和技术效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的多意图识别方法整体结构图；
图2为本发明的Bi-IndRNN神经网络结构框图；
图3为本发明的场景自适应Attention机制权重计算示意图；
具体实施方式
如图1所示，本发明一种基于深度学习的场景自适应Attention多意图识别方法，包括如下步骤：
步骤S101，实时获取当前用户输入的多意图文本并进行预处理；
对当前用户输入的多意图文本进行预处理，就是将多意图文本进行向量化表示，以便输入神经网络模型中进行语义特征提取。本文的向量化表示方法为，首先使用同领域海量中文无监督语料训练BERT模型。然后，利用得到的BERT预训练模型来对多意图文本进行向量化表示。
步骤S102，如图2所示，构建多层Bi-IndRNN神经网络模型，用来提取当前输入的多意图文本的语义特征；
多层Bi-IndRNN神经网络模型的构建是基于循环神经元RNN的变体独立循环神经元IndRNN来搭建的。IndRNN神经元只接收来自当前时刻的输入和它本身在上一时刻的隐藏状态信息，这使得层内IndRNN神经元之间相互独立。因此，利用残差连接机制将IndRNN神经元多层堆叠，以此来构造多层的神经网络模型，用来提取多意图文本的语义特征。为了更好的提取多意图文本的语义特征，在IndRNN神经网络的基础上设置前向IndRNN单元和后向IndRNN单元，分别用来提取文本从前到后的语义信息和从后向前的语义信息，充分利用未来的语义特征增强当前词语的语义，可以有效提升语义特征提取的丰富性。
步骤S103，构建场景自适应Attention语义增强模型，充分利用特定场景特征来增强多意图文本的语义特征；
在特定场景下，服务对象的类型有限且相对稳定，每种服务对象类型的语言习惯相对固定，服务类型也相对稳定，表达方式类型有限。根据以上几点，对传统的Attention机制进行改进，在多意图识别时，增加了不同的服务对象和服务类型对意图识别的作用。充分利用特定场景独有的特征来提高多意图识别的准确性。
假设某一特定场景下的服务类型记为M(m1,m2,...,mn)，服务对象记为P(p1,p2,...,pv)，其中mi表示某类服务类型，pj表示某类服务对象，则场景自适应Attention机制的得分计算方法如下所示：
si＝F(Q,ki)+Fω(M,P)
式中，Fω衡量的是某种服务类型与某种服务对象的相关性，特定场景下，由于用户习惯相对固定，感兴趣的内容和服务类型就相对固定，因此服务对象跟服务类型有很强的相关性。这种相关性大小的计算，如下所示：
如图3所示，场景自适应Attention机制的权重计算方法如下所示:
(1)将多层Bi-IndRNN神经网络模型的输出记为uit，则uit＝tanh(Wwhit+bw)，其中，Ww为多层Bi-IndRNN神经网络模型权重，bw为多层Bi-IndRNN神经网络模型偏置，hit为多层Bi-IndRNN神经网络模型最后一层隐藏层状态。
2)将计算得到的特定场景下的场景自适应Attention机制的得分输入到softmax函数中进行归一化处理，得到场景自适应Attention机制的权重ait。将权重ait作为衡量多意图文本中词语重要性的指标。ait的计算方法如下所示：
式中，t表示时刻，uw是场景自适应Attention语义增强模型的权重向量，mi是某一特定场景下的第i类服务类型，pj是某一特定场景下的第j类服务对象，λ是某种服务类型与某种服务对象的相关系数。
最后将计算得到的场景自适应Attention机制的权重，对输入的多意图文本中的不同词语重新进行权重分配。具体计算方法如下所示：
式中，向量C表示融合了注意力特征的多意图语义表示，包含了各个输入状态的重要度特征。
场景自适应Attention机制，相比于其他注意力机制，增加了特定场景独有特征对意图分类的贡献度。可以更好的提取多意图文本深层次的语义特征，提升多意图识别的准确率。
步骤S104，构建多意图分类器，用来识别用户的多个意图。
在场景自适应的Attention语义增强层后面增加全连接层，然后用sigmoid激活函数输出分类结果。使用二分类交叉熵损失函数来训练多意图分类器。在每个意图标签上依次判断是否与用户输入的意图文本所表达的意图相匹配，之后输出所有匹配的标签。
全连接层的每一个结点都与上一层的所有结点相连，用来把前面提取的语义特征融合起来。将从场景自适应的Attention语义增强模型中获取的多意图文本语义表示，输入多意图分类器中，使用下面的公式输出在各个标签类别上的概率。
y＝sigmoid(wfs+bf)
当概率大于设置的阈值时，输出该标签，当概率小于设置的阈值时，不输出该标签。本文设置的阈值为0.6，经过试验验证，当取该值是可以获得最佳的分类效果。
本发明还提供一种基于深度学习的场景自适应Attention多意图识别系统，其特征在于，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现上述的场景自适应Attention多意图识别方法。
本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的场景自适应Attention多意图识别方法。该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应当指出，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也在本申请权利要求的保护范围内。
Claims (7)
1.一种基于深度学习的场景自适应Attention多意图识别方法，其特征在于，包括以下步骤：
步骤1，实时获取当前用户输入的多意图文本，并进行向量化处理；
步骤2，构建多层Bi-IndRNN神经网络模型，用来提取向量化处理后的多意图文本的语义特征；
步骤3，构建场景自适应Attention语义增强模型，用来利用特定场景特征增强步骤2提取的语义特征；
步骤4，构建多意图分类器，用来对步骤3增强后的语义特征进行分类，以识别用户的多个意图；
所述步骤2中，多层Bi-IndRNN神经网络模型的构建是利用残差连接机制将IndRNN多层堆叠，用来提取向量化处理后的多意图文本的语义特征；在IndRNN的基础上设置前向IndRNN单元和后向IndRNN单元，分别用来提取向量化处理后的多意图文本从前到后的语义特征和从后向前的语义特征，利用未来的语义特征增强当前的语义特征；
所述步骤3中，场景自适应Attention语义增强模型的构建是基于场景自适应Attention机制的权重，场景自适应注意力权重ait的计算方法如下所示：
(1)将多层Bi-IndRNN神经网络模型的输出记为uit，则uit＝tanh(Wwhit+bw)，其中，Ww为多层Bi-IndRNN神经网络模型权重，bw为多层Bi-IndRNN神经网络模型偏置，hit为多层Bi-IndRNN神经网络模型最后一层隐藏层状态；
2)将某一特定场景下的场景自适应Attention机制的得分输入到softmax函数中进行归一化处理，得到场景自适应Attention机制的权重ait：
式中，t表示时刻，uw是场景自适应Attention语义增强模型的权重向量，mi是某一特定场景下的第i类服务类型，pj是某一特定场景下的第j类服务对象，λ是某种服务类型与某种服务对象的相关系数。
2.根据权利要求1所述的一种基于深度学习的场景自适应Attention多意图识别方法，其特征在于，所述步骤1中，利用基于同领域海量中文无监督语料训练得到的BERT模型对多意图文本进行向量化处理。
3.根据权利要求1所述的一种基于深度学习的场景自适应Attention多意图识别方法，其特征在于，利用场景自适应Attention机制的权重，对多层Bi-IndRNN神经网络模型提取的语义特征进行增强：
式中，C表示场景自适应Attention语义增强模型的输出。
4.根据权利要求1所述的一种基于深度学习的场景自适应Attention多意图识别方法，其特征在于，λ的计算方法为：
式中，M＝(m1,m2,...,mn)表示由m1,m2,...,mn构成的向量，P＝(p1,p2,...,pv)表示由p1,p2,...,pv构成的向量，分别表示M、P的均值。
5.根据权利要求1所述的一种基于深度学习的场景自适应Attention多意图识别方法，其特征在于，所述步骤4中，多意图分类器的构建具体如下所示：
在场景自适应Attention语义增强模型后面增加全连接层，全连接层后用sigmoid激活函数输出分类结果。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的场景自适应Attention多意图识别方法。
7.一种基于深度学习的场景自适应Attention多意图识别系统，其特征在于，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1至5中任一所述的场景自适应Attention多意图识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110326513.1A CN113204971B (zh) | 2021-03-26 | 2021-03-26 | 一种基于深度学习的场景自适应Attention多意图识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110326513.1A CN113204971B (zh) | 2021-03-26 | 2021-03-26 | 一种基于深度学习的场景自适应Attention多意图识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113204971A CN113204971A (zh) | 2021-08-03 |
| CN113204971B true CN113204971B (zh) | 2024-01-26 |
Family
ID=77025750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110326513.1A Active CN113204971B (zh) | 2021-03-26 | 2021-03-26 | 一种基于深度学习的场景自适应Attention多意图识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113204971B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591881B (zh) * | 2021-08-10 | 2023-06-02 | 平安银行股份有限公司 | 基于模型融合的意图识别方法、装置、电子设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902175A (zh) * | 2019-02-20 | 2019-06-18 | 上海方立数码科技有限公司 | 一种基于神经网络结构模型的文本分类方法及分类系统 |
| CN110209791A (zh) * | 2019-06-12 | 2019-09-06 | 百融云创科技股份有限公司 | 一种多轮对话智能语音交互系统及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11783173B2 (en) * | 2016-06-23 | 2023-10-10 | Microsoft Technology Licensing, Llc | Multi-domain joint semantic frame parsing |
| US20200057807A1 (en) * | 2018-08-20 | 2020-02-20 | Nirveda Cognition, Inc. | Systems and methods providing a cognitive augmented memory network |
-
2021
- 2021-03-26 CN CN202110326513.1A patent/CN113204971B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902175A (zh) * | 2019-02-20 | 2019-06-18 | 上海方立数码科技有限公司 | 一种基于神经网络结构模型的文本分类方法及分类系统 |
| CN110209791A (zh) * | 2019-06-12 | 2019-09-06 | 百融云创科技股份有限公司 | 一种多轮对话智能语音交互系统及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法;迟海洋;严馨;周枫;徐广义;张磊;;河北科技大学学报(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113204971A (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866117B (zh) | 一种基于语义增强与多层次标签嵌入的短文本分类方法 | |
| CN110083705B (zh) | 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端 | |
| CN113204952B (zh) | 一种基于聚类预分析的多意图与语义槽联合识别方法 | |
| CN108549658B (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
| CN111966826B (zh) | 一种构建文本分类系统的方法、系统、介质及电子设备 | |
| CN108829667A (zh) | 一种基于记忆网络的多轮对话下的意图识别方法 | |
| CN111027595B (zh) | 双阶段语义词向量生成方法 | |
| CN109977416A (zh) | 一种多层次自然语言反垃圾文本方法及系统 | |
| CN110222163A (zh) | 一种融合cnn与双向lstm的智能问答方法及系统 | |
| CN110046250A (zh) | 三嵌入卷积神经网络模型及其文本多分类方法 | |
| CN110765755A (zh) | 一种基于双重选择门的语义相似度特征提取方法 | |
| CN108256968A (zh) | 一种电商平台商品专家评论生成方法 | |
| CN111914553B (zh) | 一种基于机器学习的金融信息负面主体判定的方法 | |
| CN114462420A (zh) | 一种基于特征融合模型的虚假新闻检测方法 | |
| CN112287106A (zh) | 一种基于双通道混合神经网络的在线评论情感分类方法 | |
| CN112988970A (zh) | 一种服务于智能问答系统的文本匹配算法 | |
| Tao et al. | News text classification based on an improved convolutional neural network | |
| CN114428850A (zh) | 一种文本检索匹配方法和系统 | |
| CN113204971B (zh) | 一种基于深度学习的场景自适应Attention多意图识别方法 | |
| CN114004220A (zh) | 一种基于cpc-ann的文本情绪原因识别方法 | |
| WO2022061877A1 (zh) | 事件抽取和抽取模型训练的方法和装置、设备、介质 | |
| CN113627550A (zh) | 一种基于多模态融合的图文情感分析方法 | |
| CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 | |
| CN116757218A (zh) | 一种基于上下句关系预测的短文本事件共指消解方法 | |
| Vijayaraju | Image retrieval using image captioning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |