CN110162635A - 一种文本中全局特征的提取方法、系统及相关装置 - Google Patents
一种文本中全局特征的提取方法、系统及相关装置 Download PDFInfo
- Publication number
- CN110162635A CN110162635A CN201910451681.6A CN201910451681A CN110162635A CN 110162635 A CN110162635 A CN 110162635A CN 201910451681 A CN201910451681 A CN 201910451681A CN 110162635 A CN110162635 A CN 110162635A
- Authority
- CN
- China
- Prior art keywords
- text
- model
- vector
- word
- bilstm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008034 disappearance Effects 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000011022 opal Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种文本中全局特征的提取方法，包括：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；利用卷积神经网络抽取所述新矩阵的全局特征。通过引入了注意力机制，解决了文本分类中无法关注重点单词特征的问题；同时通过引入残差连接，解决了网络模型在堆叠多层时出现的梯度消失以及高层网络中的参数更新停滞问题。实验结果表明，本文提出的模型能够更准确的获取文本特征信息，提高了文本分类的准确率。本申请还提供一种文本中全局特征的提取系统、一种计算机可读存储介质和一种终端，具有上述有益效果。
Description
技术领域
本申请涉及深度学习领域，特别涉及一种文本中全局特征的提取方法、系统及相关装置。
背景技术
当前，随着互联网的快速发展，每天产生的文本数据在爆炸式的增长。由于文本数据的杂乱无章，仅仅通过人工的方式很难进行整理和区分。文本分类是用计算机设备对文本集(或其他实体或物件)按照一定的分类体系或标准进行自动分类标记。在文本分类中，如何通过预处理获取文本特征信息，一直是学者研究的热点问题。随着深度学习技术的飞速发展，深度学习在文本分类上的应用所取得的效果相比较于传统的文本分类算法如朴素贝叶斯，支持向量机(Support Vector Machine，SVM)等等取得了更好的效果。
卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，最初是从猫眼视觉机制上得到启发，而被设计出来。它的神经元可以响应一部分覆盖范围内的周围单元，在图像识别和语音识别等任务上有着出色的表现。卷积神经网络(CNN)与其他深度学习结构相比，需要的参数更少。Kalchbrenner提出把CNN应用于自然语言处理，并设计了一个动态的神经网络(Dynamic Convolution Neural Network，DCNN)，用来处理长度不同的文本；Kim将经过预处理的词向量作为输入，利用卷积神经网络实现句子级别的分类任务。
然而，现有技术中文本分类中卷积神经网络(CNN)无法获取文本全局特征，且双向循环神经网络(BiLSTM)无法获取文本局部特征，给本领域技术人员带来较大困扰。
发明内容
本申请的目的是提供一种文本中全局特征的提取方法、提取系统、一种计算机可读存储介质和一种终端，解决了卷积神经网络无法获取文本全局特征的问题。
为解决所述技术问题，本申请提供一种文本中全局特征的提取方法，具体技术方案如下：
利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；
将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；
利用卷积神经网络抽取所述新矩阵的全局特征。
其中，还包括：
将CNN模型与所述BiLSTM模型相结合，得到BiLSTM-CNN模型；
将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量；
并将所述特征向量作为所述BiLSTM-CNN模型的输出，和所述CNN模型的输入向量；
对所述特征向量进行一维卷积，并经滤波器处理得到最终特征向量。
其中，所述滤波器的大小可以为所述预设单词的特征向量的倍数。
其中，将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量包括：
假设xj(j＝1,…,n)为所述文本中的第j个单词的输入向量，其维度为K；和是所述第j个单词的输入向量xj经过所述BiLSTM模型得到的特征向量，其维度分别是和
将拼接后的向量作为所述第j个单词的特征向量，其维度为作为所述BiLSTM-CNN模型的输出，和所述CNN模型的输入向量；
对其进行一维卷积；所述CNN模型中的滤波器的数目为K，得到了K个所述特征向量。
其中，还包括：
利用LSTM模型引入残差连接和注意力机制，并结合所述BiLSTM-CNN模型得到DHABLCR模型。
其中，还包括：
将所述文本中的每个单词采用独热码表示；
将所述单词映射成低维词向量，并生成输出序列；
在Max Pooling层对所述输出序列中所述预设单词的输入特征向量选择最高值作为所述预设单词的显著特征；
将所有所述单词的所有显著特征拼接成最终向量，作为所述文本的特征向量。
其中，将所有所述单词的所有显著特征拼接成最终向量，作为所述文本的特征向量之后，还包括：
经过Softmax层对所述文本进行分类。
本申请还提供一种文本中全局特征的提取系统，其特征在于，包括：
矩阵计算模块，用于利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；
矩阵拼接模块，用于将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；
特征提取模块，用于利用卷积神经网络抽取所述新矩阵的全局特征。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的提取方法的步骤。
本申请还提供一种终端，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的提取方法的步骤。
本申请提供一种文本中全局特征的提取方法，包括：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；利用卷积神经网络抽取所述新矩阵的全局特征。
本发明提出的将CNN网络和BiLSTM网络进行融合的模型。该模型引入了注意力机制，解决了文本分类中无法关注重点单词特征的问题；同时通过引入残差连接，解决了网络模型在堆叠多层时出现的梯度消失以及高层网络中的参数更新停滞问题。实验结果表明，本文提出的模型能够更准确的获取文本特征信息，提高了文本分类的准确率。本申请还提供一种文本中全局特征的提取系统、一种计算机可读存储介质和一种终端，具有上述有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种文本中全局特征的提取方法的流程图；
图2为本申请提供的前向LSTM模型示意图；
图3为本申请提供的后向LSTM模型示意图；
图4为本申请提供的BiLSTM模型示意图；
图5为本申请提供的BiLSTM-CNN模型示意图；
图6为本申请提供的CNN模块的结构展开图；
图7为本申请提供的DAHBLCR模型示意图；
图8为本申请提供的Attention模块结构示意图；
图9为本申请提供的文本分类模型示意图；
图10为本申请提供的一种文本中全局特征的提取系统结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种文本中全局特征的提取方法的流程图，该提取方法包括：
S101：利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；
S102：将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；
S103：利用卷积神经网络抽取所述新矩阵的全局特征。
LSTM作为传统的序列模型，一般只朝一个方向读取文本，图2和图3分别表示从前往后读取文本的前向LSTM模型，和从后往前读取文本的后向LSTM模型。参见图4，图4为本申请提供的BiLSTM模型示意图，Bi-LSTM即双向LSTM，较单向的LSTM，Bi-LSTM能更好地捕获句子中上下文的信息。
在图5中，xj(j＝1,…,n)是文本中的第j个单词的输入向量，其维度为K。和是第j个单词的输入向量xj经过BiLSTM模型得到的特征向量，其维度分别是和在图6中，将拼接后的向量作为该单词的特征向量，其维度为作为BiLSTM-CNN模型的输出。同时将其作为CNN模块的输入向量，对其进行一维卷积。CNN模块中的滤波器的数目为K。在图6中，使用K个大小为的滤波器，padding形式为same，得到了K个特征向量。当然，滤波器的大小可以为其他，例如等等。
了实现文本的深层次挖掘，可以将BiLSTM-CNN模型进行层叠起来，通过多层神经网络结果来挖掘文本的深层特征[10]。但当神经网络参数过多时，会出现梯度消失和高层网络参数更新停滞等问题，并且基于BiLSTM-CNN模型的堆叠得到的神经网络无法获取对文本分类结果产生影响的重点单词的特征。因此本文针对BiLSTM-CNN模型堆叠所产生的所述两个问题提出了注意力残差双向LSTM(Deeply Attention Hierarchical BiLSTM-CNNResNet，DAHBLCR)模型进行改进。引入残差连接之后，可以解决深度神经网络模型随着层数的增加而导致的高层网络参数更新停滞，可以帮助训练更深层次的神经网络。注意力机制会决定每个特征向量对分类结果的贡献。
例如，中国成功研发出一战略合金，或将促进量产超音速导弹。“导弹”对于军事新闻来说属于重点单词，而其他单词为非重点单词。
图7为DAHBLCR模型结构图，在整个堆叠的深度神经网络模型中，每一层由BiLSTM-CNN，ResNet和Attention三个模块组成。图8展示了模型的Attention模块。
如图7所示，其中是由n个的单词构成的文本，作为深度神经网络的输入。在第i层中，深度神经网络网络的输入是其中BiLSTM-CNNi模块输入是xi-1，输出是其中ci是由第i层BiLSTM-CNNi模块获取的文本特征，是文本中第j个单词经过BiLSTM-CNNi模块获取的特征向量。
为了解决挖掘文本的深层特征信息，加深网络层数而导致的梯度消失以及高层网络中的特征很难有效的传递，而引入残差网络连接。如图7所示，在ResNeti模块中输入是xi -1和ci，输出是
对于深度神经网络中第i层中的BiLSTM-CNNi模块来说，残差网络在模块中的作用可以通过下面的公式抽象出来：
其中分别是对于文本中的第j个单词在第i层中的BiLSTM-CNNi模块中的记忆单元和输出单元。是第i层中BiLSTM-CNNi模块中，第j个单词的输入向量，θi是第i层网络中的参数集合。
为了获取对分类结果产生影响的重点单词的特征，在深度神经网络第i层中加入Attentioni模块，如图8所示。在Attentioni模块中，输入是输出是其中xi也是深度神经网络模型中第i+1层的输入。在Attentioni模块中，注意力模型在模块中的作用通过MLPi结构表现出来。具体公式抽象出来如下所示：
其中，Wi为第i层获取的第j个单词的特征向量经过一个神经网络获取其隐层表示向量的状态转移参数矩阵，bi和对应的偏置项。vi为随机初始化的权值向量，用于对第j个单词的隐层表示向量进行Softmax标准化的的参数向量。为第i层获中的第j个单词的权重。Wi,bi,vi的更新由模型训练时最小化损失函数反向传播所获得。
在文本分类训练和测试中，本文将上文提出的DHABLCR引入到文本分类模型中。如图9所示。
对于训练中的文本矩阵w＝{w1,w2,w3,…,wn}由n个单词组成，并且每个词采用独热码表示方式，文本中第j个单词wj的维度为词汇表的大小。通过Embedding层对采用独热码表示的单词映射成128维的低维词向量。整个深度神经网络(DHABLCR)模型的层数为m，最终的输出为其中Max Pooling层对输入的序列xm中的第j个单词的输入特征向量选择最高值作为第j个单词的显著特征，将所述n个显著特征拼接成一个n维的向量，作为文本的显著特征向量。最后，经过一个Softmax层进行分类。
本申请实施例提出的将CNN网络和BiLSTM网络进行融合的模型。该模型引入了注意力机制，解决了文本分类中无法关注重点单词特征的问题；同时通过引入残差连接，解决了网络模型在堆叠多层时出现的梯度消失以及高层网络中的参数更新停滞问题。实验结果表明，本文提出的模型能够更准确的获取文本特征信息，提高了文本分类的准确率。
下面对本申请实施例提供的一种文本中全局特征的提取系统进行介绍，下文描述的提取系统与上文描述的一种文本中全局特征的提取方法可相互对应参照。
本申请还提供一种文本中全局特征的提取系统，其特征在于，包括：
矩阵计算模块100，用于利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；
矩阵拼接模块200，用于将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；
特征提取模块300，用于利用卷积神经网络抽取所述新矩阵的全局特征。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现所述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种终端，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现所述实施例所提供的步骤。当然所述终端还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种文本中全局特征的提取方法，其特征在于，包括：
利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；
将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；
利用卷积神经网络抽取所述新矩阵的全局特征。
2.根据权利要求1所述的提取方法，其特征在于，还包括：
将CNN模型与所述BiLSTM模型相结合，得到BiLSTM-CNN模型；
将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量；
将所述特征向量作为所述BiLSTM-CNN模型的输出，同时作为所述CNN模型的输入向量；
对所述特征向量进行一维卷积，并经滤波器处理得到最终特征向量。
3.根据权利要求2所述的提取方法，其特征在于，所述滤波器的大小可以为所述预设单词的特征向量的倍数。
4.根据权利要求3所述的提取方法，其特征在于，将所述文本中预设单词的输入向量经过所述BiLSTM模型得到的特征向量拼接后作为所述预设单词的特征向量包括：
令xj(j＝1,…,n)为所述文本中的第j个单词的输入向量，所述输入向量的维度为K；和是所述第j个单词的输入向量xj经过所述BiLSTM模型得到的特征向量，其维度分别是和
将拼接后的向量作为所述第j个单词的特征向量，所述特征向量的维度为作为所述BiLSTM-CNN模型的输出，同时作为所述CNN模型的输入向量；
对所述特征向量进行一维卷积；所述CNN模型中的滤波器的数目为K，得到了K个所述特征向量。
5.根据权利要求2所述的提取方法，其特征在于，还包括：
利用LSTM模型引入残差连接和注意力机制，并结合所述BiLSTM-CNN模型得到DHABLCR模型。
6.根据权利要求5所述的提取方法，其特征在于，还包括：
将所述文本中的每个单词采用独热码表示；
将所述单词映射成低维词向量，并生成输出序列；
在Max Pooling层对所述输出序列中所述预设单词的输入特征向量选择最高值作为所述预设单词的显著特征；
将所有所述单词的所有显著特征拼接成最终向量，作为所述文本的特征向量。
7.根据权利要求5所述的提取方法，其特征在于，将所有所述单词的所有显著特征拼接成最终向量，作为所述文本的特征向量之后，还包括：
经过Softmax层对所述文本进行分类。
8.一种文本中全局特征的提取系统，其特征在于，包括：
矩阵计算模块，用于利用BiLSTM模型获取所述文本的特征信息矩阵和输入信息矩阵；
矩阵拼接模块，用于将所述特征信息矩阵和所述输入信息矩阵拼接得到新矩阵；
特征提取模块，用于利用卷积神经网络抽取所述新矩阵的全局特征。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的提取方法的步骤。
10.一种终端，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910451681.6A CN110162635A (zh) | 2019-05-28 | 2019-05-28 | 一种文本中全局特征的提取方法、系统及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910451681.6A CN110162635A (zh) | 2019-05-28 | 2019-05-28 | 一种文本中全局特征的提取方法、系统及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110162635A true CN110162635A (zh) | 2019-08-23 |
Family
ID=67629671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910451681.6A Pending CN110162635A (zh) | 2019-05-28 | 2019-05-28 | 一种文本中全局特征的提取方法、系统及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110162635A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723572A (zh) * | 2020-06-12 | 2020-09-29 | 广西师范大学 | 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法 |
| CN112949702A (zh) * | 2021-02-23 | 2021-06-11 | 广东工业大学 | 一种网络恶意加密流量识别方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460013A (zh) * | 2018-01-30 | 2018-08-28 | 大连理工大学 | 一种基于细粒度词表示模型的序列标注模型 |
| CN108763204A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 一种多层次的文本情感特征提取方法和模型 |
-
2019
- 2019-05-28 CN CN201910451681.6A patent/CN110162635A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460013A (zh) * | 2018-01-30 | 2018-08-28 | 大连理工大学 | 一种基于细粒度词表示模型的序列标注模型 |
| CN108763204A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 一种多层次的文本情感特征提取方法和模型 |
Non-Patent Citations (1)
| Title |
|---|
| 李 洋等: "基于 CNN 和 BiLSTM 网络特征融合的文本情感分析", 《计算机应用》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111723572A (zh) * | 2020-06-12 | 2020-09-29 | 广西师范大学 | 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法 |
| CN111723572B (zh) * | 2020-06-12 | 2021-11-19 | 广西师范大学 | 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法 |
| CN112949702A (zh) * | 2021-02-23 | 2021-06-11 | 广东工业大学 | 一种网络恶意加密流量识别方法和系统 |
| CN112949702B (zh) * | 2021-02-23 | 2023-09-22 | 广东工业大学 | 一种网络恶意加密流量识别方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416384B (zh) | 一种图像标签标注方法、系统、设备及可读存储介质 | |
| CN108984745B (zh) | 一种融合多知识图谱的神经网络文本分类方法 | |
| CN107729309B (zh) | 一种基于深度学习的中文语义分析的方法及装置 | |
| CN111615706A (zh) | 基于子流形稀疏卷积神经网络分析空间稀疏数据 | |
| CN109522553A (zh) | 命名实体的识别方法及装置 | |
| CN107301246A (zh) | 基于超深卷积神经网络结构模型的中文文本分类方法 | |
| CN107330049A (zh) | 一种新闻热度预估方法及系统 | |
| CN104866810A (zh) | 一种深度卷积神经网络的人脸识别方法 | |
| CN112686345B (zh) | 一种基于注意力机制的脱机英文手写识别方法 | |
| CN110555399A (zh) | 手指静脉识别方法、装置、计算机设备及可读存储介质 | |
| CN112256945A (zh) | 一种基于深度神经网络的社交网络粤语谣言检测方法 | |
| CN110134964A (zh) | 一种基于层次化卷积神经网络和注意力机制的文本匹配方法 | |
| CN110825850B (zh) | 一种自然语言主题分类方法及装置 | |
| Ni et al. | Large-scale deep learning on the YFCC100M dataset | |
| CN108154156B (zh) | 基于神经主题模型的图像集成分类方法及装置 | |
| CN110162635A (zh) | 一种文本中全局特征的提取方法、系统及相关装置 | |
| Lian et al. | Unsupervised representation learning with future observation prediction for speech emotion recognition | |
| Kamal et al. | Textmage: The automated bangla caption generator based on deep learning | |
| CN109359198A (zh) | 一种文本分类方法及装置 | |
| Zhou et al. | Multi‐channel sliced deep RCNN with residual network for text classification | |
| Engin et al. | Multimodal deep neural networks for banking document classification | |
| CN109145946A (zh) | 一种智能图像识别和描述方法 | |
| CN111914553A (zh) | 一种基于机器学习的金融信息负面主体判定的方法 | |
| Guo et al. | NUAA-QMUL at SemEval-2020 task 8: Utilizing BERT and DenseNet for Internet meme emotion analysis | |
| CN110489552A (zh) | 一种微博用户自杀风险检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190823 |
|
| RJ01 | Rejection of invention patent application after publication |