CN112269876A - 一种基于深度学习的文本分类方法 - Google Patents

一种基于深度学习的文本分类方法 Download PDF

Info

Publication number
CN112269876A
CN112269876A CN202011153557.0A CN202011153557A CN112269876A CN 112269876 A CN112269876 A CN 112269876A CN 202011153557 A CN202011153557 A CN 202011153557A CN 112269876 A CN112269876 A CN 112269876A
Authority
CN
China
Prior art keywords
bgru
text
vector
model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011153557.0A
Other languages
English (en)
Inventor
周末
宋玉蓉
宋波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011153557.0A priority Critical patent/CN112269876A/zh
Publication of CN112269876A publication Critical patent/CN112269876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度学习的文本分类方法，通过限制信息流长度将位置不变性引入双向门控循环单元，弥补了循环神经网络在处理文本分类任务中对长序列文本建模的压力过大且可能忽略局部重要特征以及卷积神经网络不能捕获远距离上下文依赖关系的缺陷，从而可以得到有效的文本表示向量，并通过自注意力机制加大对重要特征的权重分配进一步优化文本表示。本发明能够有效提高各类分类任务的准确度。

Description

一种基于深度学习的文本分类方法
技术领域
本发明涉及一种基于深度学习的文本分类模型的提出和实现，属于自然语言处理和人工智能领域。
背景技术
文本分类是一项传统的NLP子任务，有效前期的分类问题主要集中在基于传统机器学习算法的研究及人工特征的提取，随着数据的增长和特征的增加，依赖传统算法已经不能满足需求。近年来，深度学习算法在各大计算机领域都取得长足进步，特别在图像处理、语音识别及自然语言处理等问题做出巨大贡献。当今大多数网络模型都是基于CNN或RNN建立的。下面，我们列出了一些在文本分类领域具有代表性的网络模型。
循环神经网络是一种常用于处理序列数据的网络结构，适用于自然语言、语音等领域。因此很多基于RNN的模型都被用于处理文本问题有学者利用LSTM建模句子之间的关系。也有人等利用BGRU建模文本处理情感分析任务。卷积神经网络模型特有的局部相关和位置不变性使其适用于自然语言处理任务。之后，有人首次将1D CNN用于词性、命名实体识别和语义角色标注等任务中。有人提出通过用带有多种卷积过滤器来编码句子以进行句子分类任务。为了捕捉词语间的关系提出了一种含动态k-max池化的新型CNN模型。浅层CNN不能很好的编码长段信息。因此，在文本分类任务中运用深层CNN以达到更好的性能表现。
以上方法的CNN和RNN神经网络的模型都可以捕获上下文依赖关系，但未曾考虑对文本中关键信息对文本分类准确率的影响。2014年，谷歌团队首次提出采用内容注意力机制做图像分类，有效提高了图像识别精度。随后，有学者将注意力机制应用到自然语言处理(natural language processing，NLP)领域，使用注意力机制将源语言端每个词学到的表达和预测翻译的词联系起来，提高了翻译的准确率。2017年，谷歌提出自注意力机制并用于机器翻译取得了更好的翻译效果。自注意力机制依赖更少的参数，仅需关联单个序列的不同位置以计算序列的表示，更容易获取文本内部依赖关系，使模型能够更好地学习文本特征。之后，学者提出一系列RNN和注意力机制结合方法，对连续语义进行捕获。也有学者提出结合CNN和自注意力机制提出一种单词级别的文本分类模型，使用CNN捕捉文档的局部特征，利用自注意力机制捕捉长距离依赖。以上方法都是在传统CNN或RNN的基础上与注意力机制加以融合，但各自忽略了RNN未能很好地捕获局部关键信息和CNN不能很好的捕获文档上下文长距离依赖的缺陷。故想到在融合CNN与RNN各自的优势特征后再利用自注意力机制构造一种新型的模型。
发明内容
发明目的：针对循环神经网络(RNN)在处理文本分类任务中对长序列文本建模的压力过大且可能忽略局部重要特征以及卷积神经网络(CNN)不能捕获远距离上下文依赖关系的问题，本发明提出一种基于深度学习的文本分类方法，得到一种新型网络结构D-BGRU，在D-BGRU的基础上融合注意力机制得到D-BGRU-SA模型。该模型减少了对整个长序列文本建模的压力同时结合了RNN擅于捕获长距离依赖和CNN能够提取具有位置不变性的局部关键特征的优点，兼顾了上下文对预测结果的影响，并通过自注意力机制进一步学习文本关键特征的权重分配，进一步优化文本表示，最后通过多分类器输出文本类别的预测结果。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于深度学习的文本分类方法，包括以下步骤：
步骤1，用Bert预训练模型将文本处理成向量形式。
步骤2，构建D-BGRU模型：
RNN是一种利用时间步长对序列进行建模的神经网络，其结构特征决定了每一时刻的隐藏层与之前所有的输入都有关，采用限制循环神经单元中的信息流长度为k的DRNN模型，通过指定一个固定大小的数值k使得循环神经单元每一时段的表示只与前k-1个输入和当前输入有关从而限制循环单元的信息流动性，通过这种方式既可以降低计算整个文档的庞大负担也可以对关键信息进行捕获。
采用双向门控循环单元BGRU作为循环处理单元，得到D-BGRU模型。
步骤3，通过D-BGRU模型提取文本上下文语义特征信息：
ht＝D-BGRU(xt,xt-1,xt-2,…,xt-k+1)
其中，ht表示每一时刻的隐藏状态，D-BGRU表示本文提出的D-BGRU模型，xt是词向量，t＝1,2,…,n。在t时刻：BGRU的输出由两个相反方向的GRU共同组合决定，具体的计算公式如下：
Figure BDA0002741917910000021
Figure BDA0002741917910000022
Figure BDA0002741917910000023
其中，
Figure BDA0002741917910000024
和
Figure BDA0002741917910000025
分别表示GRU向前传播的输出和向后传播的输出。y表示BGRU的输出。W表示权重矩阵。b表示偏置向量。σ表示SoftMax函数。
步骤4，通过注意力机制对重要信息进行加大权重分配，进一步优化文本表示，计算公式如下：
Figure BDA0002741917910000031
Figure BDA0002741917910000032
其中，Attention(Q,K,V)表示注意力机制，dk表示K向量的维度，ht表示每一时刻的隐藏状态，
Figure BDA0002741917910000033
表示上一层的输出状态，Q、K、V∈Rn是BGRU的n维输出向量。
步骤5，将特征向量输入到多层感知机中，进一步提取隐藏状态，
Figure BDA0002741917910000034
其中，ht表示每一时刻的隐藏状态，
Figure BDA0002741917910000035
表示上一层的输出状态，MLP表示多层感知机。
步骤6，最大池化层保留重要特征，输入到SoftMax层中得到最终的分类结果：
Figure BDA0002741917910000036
其中，ht表示每一时刻的隐藏状态，
Figure BDA0002741917910000037
表示上一层的输出状态，Max-pooling表示最大池化层操作。
步骤7，SoftMax分类器对分类结果进行预测：使用的化器Adam，在每个网络层后都加入了Dropout函数，通过在每一次的迭代中随机丢弃部分训练参数来提高模型的泛化能力。
优选的：步骤4中注意力机制本质是一个query(Q)到一系列key(K)—value(V)键值对的映射，首先将query和每个key通过点积、拼接或感知器的相似度函数计算得到权重。其次通过SoftMax函数对计算得出的权重进行归一化处理。最后将权重和与之相对应的value加权求和得出最后的attention，其中，query(Q)表示，Q表示，key(K)表示，K表示，value(V)表示，V表示，attention表示，当K＝Q＝V时，即称为自注意力机制，处理文本时会直接将一个句子中任意两个单词通过一个计算步骤直接联系起来，获取句子内部的词语依赖关系、句子的内部结构以及同一个句子中单词之间的一些句法特征或者语义特征，更有利于获取远距离相互依赖的特征。
优选的：步骤7中SoftMax分类器：
Figure BDA0002741917910000038
其中，p表示目标预测的概率，Y＝j表示目标预测为j类，X表示目标的输入向量，θ表示模型训练学到的参数。
优选的：数值k＝3。
本发明相比现有技术，具有以下有益效果：
本发明基于深度学习，首先提出D-BGRU结构，该结构减少了对整个长序列文本建模的压力同时结合了RNN擅于捕获长距离依赖和CNN能够提取具有位置不变性的局部关键特征的优点，同时兼顾了上下文对预测结果的影响。在D-BGRU基础上融入了自注意力机制进一步学习文本关键特征的权重分配，优化文本表示。在多个大型公开数据集上的各项分类任务进行实验，模型分类准确率较现有的基线模型均有提升，证明本发明在各类任务中具有提高分类性能的作用。
附图说明
图1是本发明的流程图。
图2是DRNN结构图。
图3是D-BGRU结构图。
图4是不同模型在Yah.A.数据集上的准确率对比图。
图5是不同模型在Yelp F.数据集上的准确率对比图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于深度学习的文本分类模型方法，通过限制信息流长度将位置不变性引入双向门控循环单元，弥补了循环神经网络在处理文本分类任务中对长序列文本建模的压力过大且可能忽略局部重要特征以及卷积神经网络不能捕获远距离上下文依赖关系的缺陷，从而可以得到有效的文本表示向量，并通过自注意力机制加大对重要特征的权重分配进一步优化文本表示。如图1所示，具体包括以下步骤：
步骤1，用Bert预训练模型将文本处理成向量形式。
步骤2，构建D-BGRU模型
RNN是一种利用时间步长对序列进行建模的神经网络，其结构特征决定了每一时刻的隐藏层与之前所有的输入都有关。为了减小对整个序列建模的负担，有人提出了限制循环神经单元中的信息流长度为k的DRNN模型，具体说来就是通过指定一个固定大小的数值k使得循环神经单元每一时段的表示只与前k-1个输入和当前输入有关从而限制循环单元的信息流动性，通过这种方式既可以降低计算整个文档的庞大负担也可以对关键信息进行捕获。(本发明以k＝3为例给出示意图，DRNN结构图如图2所示。)
DRNN虽然在一定程度上弥补了RNN的输出状态依赖当前所有输入的问题和CNN不能很好的关注上下文远距离依赖关系的缺陷，减小了为整个文本序列建模的压力，但忽略了标准的循环神经网络在处理文本时，只能向前传播获取当前文本的上文信息而忽略了下文信息对当前预测结果的影响。本发明采用双向门控循环单元(BGRU)作为循环处理单元，得到D-BGRU模型。(本发明以k＝3为例给出示意图，D-BGRU结构图如图3所示。)
步骤3，通过D-BGRU提取文本上下文语义特征信息：
ht＝D-BGRU(xt,xt-1,xt-2,…,xt-k+1)
其中，双向门控循环单元BGRU是双向循环神经网络的一个变种。是为了解决标准的循环神经网络在处理文本时，只能向前传播获取当前文本的上文信息而忽略了下文信息对当前预测结果的缺陷而提出的。ht表示每一时刻D-BGRU的隐藏状态，D-BGRU表示本文提出的D-BGRU模型，xt是词向量，t＝1,2,…,n。在t时刻：BGRU的输出由两个相反方向的GRU共同组合决定，具体的计算公式如下
给定一个n维输入(x1,x2,…,xn)，其中xt(t＝1,2,…,n)是词向量。在t时刻：BGRU的输出由两个相反方向的GRU共同组合决定。具体的计算公式如下：
Figure BDA0002741917910000051
Figure BDA0002741917910000052
Figure BDA0002741917910000053
其中
Figure BDA0002741917910000054
和
Figure BDA0002741917910000055
分别表示GRU向前传播的输出和向后传播的输出。y表示BGRU的输出。W表示权重矩阵。b表示偏置向量。σ表示SoftMax函数。
步骤4，通过注意力机制对重要信息进行加大权重分配，进一步优化文本表示，
注意力机制最初只应用于CV中的图片识别任务中，人类视觉在感知东西时，通常不会注意到场景中的所有内容，往往是根据需求观察注意特定的一部分。当人们发现一个场景经常在某部分出现，人们会在将来再出现类似场景时进行学习，把注意力放到该部分上。2017年，google机器翻译团队提出注意力机制在NLP领域的必要性，使用了自注意力(self-attention)机制来学习文本表示。注意力机制可以得到稀疏数据中的重要特征，其本质是一个query(Q)到一系列key(K)—value(V)键值对的映射，首先将query和每个key通过点积、拼接或感知器等相似度函数计算得到权重。其次通过SoftMax函数对计算得出的权重进行归一化处理。最后将权重和与之相对应的value加权求和得出最后的attention。当K＝Q＝V时，即称为自注意力机制，处理文本时会直接将一个句子中任意两个单词通过一个计算步骤直接联系起来，获取句子内部的词语依赖关系、句子的内部结构以及同一个句子中单词之间的一些句法特征或者语义特征，更有利于获取远距离相互依赖的特征。计算公式如下：
Figure BDA0002741917910000061
Figure BDA0002741917910000062
其中，Attention(Q,K,V)表示注意力机制，dk表示K向量的维度，ht表示每一时刻的隐藏状态，
Figure BDA0002741917910000063
表示上一层的输出状态。
步骤5，将特征向量输入到多层感知机中，进一步提取隐藏状态，
Figure BDA0002741917910000064
其中，ht表示每一时刻的隐藏状态，
Figure BDA0002741917910000065
表示上一层的输出状态，MLP表示多层感知机。
步骤6，最大池化层保留重要特征，输入到SoftMax层中得到最终的分类结果：
Figure BDA0002741917910000066
其中，ht表示每一时刻的隐藏状态，
Figure BDA0002741917910000067
表示上一层的输出状态，Max-pooling表示最大池化层操作。
步骤7，SoftMax分类器对分类结果进行预测：
训练模型中的参数包括D-BGRU和自注意力机制中的全部参数。模型使用的优化器是Adam,为了防止训练过程中的过拟合现象，在每个网络层后都加入了Dropout函数，通过在每一次的迭代中随机丢弃部分训练参数来提高模型的泛化能力。本次实验使用SoftMax分类器进行分类：
Figure BDA0002741917910000068
其中，p表示目标预测的概率，Y＝j表示目标预测为j类，X表示目标的输入向量，θ表示模型训练学到的参数。
本发明在研究模型有效性时，将以模型在数据集上的准确率作为指标，通过在该指标上与其他模型的对比来验证发明的有效性。衡量指标为模型预测结果与真实数据集的差异。
通常采用模型在数据集上分类的精确度来衡量模型的有效性：
Figure BDA0002741917910000069
Figure BDA0002741917910000071
Figure BDA0002741917910000072
为了验证本发明的有效性，在AG、DBP、Yelp P.、Yelp R.、Yah.A.等5个大型公开数据集上的各项分类任务进行实验。我们首先使用D-BGRU模型对数据集进行实验。结果显示D-BGRU模型的表现力已经优于其他深度模型。之后又在D-BGRU模型中引入自注意力机制得到D-BGRU-SA，它相比于D-BGRU可以为重要信息分配更大的权重使得分类结果更准确。进一步在数据集上进行验证，实验结果表明，D-BGRU-SA进一步提升了单词级别的浅层CNN和RNN模型的效果。
本发明考虑了将位置不变性引入双向门控循环单元中，可弥补已有环神经网络(RNN)在处理文本分类任务中对长序列文本建模的压力过大且可能忽略局部重要特征以及卷积神经网络(CNN)不能捕获远距离上下文依赖关系的不足。通过仿真，验证了本发明的优越性。通过本发明将有利于节约电网建设成本并获得鲁棒性的提升。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于深度学习的文本分类方法，其特征在于，包括以下步骤：
步骤1，用Bert预训练模型将文本处理成向量形式；
步骤2，构建D-BGRU模型：
RNN是一种利用时间步长对序列进行建模的神经网络，其结构特征决定了每一时刻的隐藏层与之前所有的输入都有关，采用限制循环神经单元中的信息流长度为k的DRNN模型，通过指定一个固定大小的数值k使得循环神经单元每一时段的表示只与前k-1个输入和当前输入有关从而限制循环单元的信息流动性，通过这种方式既可以降低计算整个文档的庞大负担也可以对关键信息进行捕获；
采用双向门控循环单元BGRU作为循环处理单元，得到D-BGRU模型；
步骤3，通过D-BGRU模型提取文本上下文语义特征信息：
ht＝D-BGRU(xt,xt-1,xt-2,…,xt-k+1)
其中，ht表示每一时刻的隐藏状态，D-BGRU表示本文提出的D-BGRU模型，给定一个n维输入(x1,x2,…,xn)，其中，xt是词向量，t＝1,2,…,n；在t时刻：BGRU的输出由两个相反方向的GRU共同组合决定，具体的计算公式如下：
Figure FDA0002741917900000011
Figure FDA0002741917900000012
Figure FDA0002741917900000013
其中，
Figure FDA0002741917900000014
和
Figure FDA0002741917900000019
分别表示GRU向前传播的输出和向后传播的输出；y表示BGRU的输出；W表示权重矩阵；b表示偏置向量；σ表示SoftMax函数；
步骤4，通过注意力机制对重要信息进行加大权重分配，进一步优化文本表示，计算公式如下：
Figure FDA0002741917900000015
Figure FDA0002741917900000016
其中，Attention(Q,K,V)表示注意力机制，dk表示K向量的维度，ht表示每一时刻的隐藏状态，
Figure FDA0002741917900000017
表示上一层的输出状态，Q、K、V∈Rn是BGRU的n维输出向量；
步骤5，将特征向量输入到多层感知机中，进一步提取隐藏状态，
Figure FDA0002741917900000018
其中，ht表示每一时刻的隐藏状态，
Figure FDA0002741917900000021
表示上一层的输出状态，MLP表示多层感知机；
步骤6，最大池化层保留重要特征，输入到SoftMax层中得到最终的分类结果：
Figure FDA0002741917900000022
其中，ht表示每一时刻的隐藏状态，
Figure FDA0002741917900000023
表示上一层的输出状态，Max-pooling表示最大池化层操作；
步骤7，SoftMax分类器对分类结果进行预测：使用的化器Adam，在每个网络层后都加入了Dropout函数，通过在每一次的迭代中随机丢弃部分训练参数来提高模型的泛化能力。
2.根据权利要求1所述基于深度学习的文本分类方法，其特征在于：步骤4中注意力机制本质是一个query(Q)到一系列key(K)—value(V)键值对的映射，首先将query和每个key通过点积、拼接或感知器的相似度函数计算得到权重；其次通过SoftMax函数对计算得出的权重进行归一化处理；最后将权重和与之相对应的value加权求和得出最后的attention，其中，计算自注意力的第一步是从每个编码器的输入向量上创建3个向量；对于每个单词，创建一个query(Q)向量，一个key(K)向量和一个value(V)向量；attention表示注意力层，当K＝Q＝V时，即称为自注意力机制，处理文本时会直接将一个句子中任意两个单词通过一个计算步骤直接联系起来，获取句子内部的词语依赖关系、句子的内部结构以及同一个句子中单词之间的一些句法特征或者语义特征，更有利于获取远距离相互依赖的特征。
3.根据权利要求2所述基于深度学习的文本分类方法，其特征在于：步骤7中SoftMax分类器：
Figure FDA0002741917900000024
其中，p表示目标预测的概率，Y＝j表示目标预测为j类，X表示目标的输入向量，θ表示模型训练学到的参数。
4.根据权利要求3所述基于深度学习的文本分类方法，其特征在于：数值k＝3。
CN202011153557.0A 2020-10-26 2020-10-26 一种基于深度学习的文本分类方法 Pending CN112269876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011153557.0A CN112269876A (zh) 2020-10-26 2020-10-26 一种基于深度学习的文本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011153557.0A CN112269876A (zh) 2020-10-26 2020-10-26 一种基于深度学习的文本分类方法

Publications (1)

Publication Number Publication Date
CN112269876A true CN112269876A (zh) 2021-01-26

Family

ID=74341959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011153557.0A Pending CN112269876A (zh) 2020-10-26 2020-10-26 一种基于深度学习的文本分类方法

Country Status (1)

Country Link
CN (1) CN112269876A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286275A (zh) * 2021-04-23 2021-08-20 南京大学 一种基于多智能体强化学习的无人机集群高效通信方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472024A (zh) * 2018-10-25 2019-03-15 安徽工业大学 一种基于双向循环注意力神经网络的文本分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472024A (zh) * 2018-10-25 2019-03-15 安徽工业大学 一种基于双向循环注意力神经网络的文本分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAOXIN WANG: "Disconnected Recurrent Neural Networks for Text Categorization", 《PROCEEDINGS OF THE 56TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (LONG PAPERS)》 *
孙敏等: "基于BGRU和自注意力机制的情感分析", 《江汉大学学报（自然科学版）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286275A (zh) * 2021-04-23 2021-08-20 南京大学 一种基于多智能体强化学习的无人机集群高效通信方法

Similar Documents

Publication Publication Date Title
CN110163299B (zh) 一种基于自底向上注意力机制和记忆网络的视觉问答方法
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
CN108416065B (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN109918671A (zh) 基于卷积循环神经网络的电子病历实体关系抽取方法
CN111177376B (zh) 一种基于bert与cnn层级连接的中文文本分类方法
CN113239700A (zh) 改进bert的文本语义匹配设备、系统、方法及存储介质
CN110598005A (zh) 一种面向公共安全事件的多源异构数据知识图谱构建方法
CN111143563A (zh) 基于bert与lstm及cnn融合的文本分类方法
CN112527966B (zh) 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN112131886A (zh) 一种文本的方面级别情感分析方法
Sun et al. Transformer based multi-grained attention network for aspect-based sentiment analysis
CN116187349A (zh) 一种基于场景图关系信息增强的视觉问答方法
CN116662500A (zh) 一种基于bert模型与外部知识图谱的问答系统构建方法
CN113887836B (zh) 一种融合事件环境信息的叙述性事件预测方法
CN112883931A (zh) 基于长短期记忆网络的实时真假运动判断方法
CN115408603A (zh) 一种基于多头自注意力机制的在线问答社区专家推荐方法
AlKhuraym et al. Arabic sign language recognition using lightweight cnn-based architecture
CN116975350A (zh) 图文检索方法、装置、设备及存储介质
CN110889505A (zh) 一种图文序列匹配的跨媒体综合推理方法和系统
Qi et al. Research on deep learning expression recognition algorithm based on multi-model fusion
CN112269876A (zh) 一种基于深度学习的文本分类方法
CN113408721A (zh) 神经网络结构搜索方法、装置、计算机设备和存储介质
CN116543289A (zh) 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法
CN116662924A (zh) 基于双通道与注意力机制的方面级多模态情感分析方法
CN114661874B (zh) 基于多角度语义理解与自适应双通道的视觉问答方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210126

RJ01 Rejection of invention patent application after publication