CN112163064B - 基于深度学习的文本分类方法 - Google Patents
基于深度学习的文本分类方法 Download PDFInfo
- Publication number
- CN112163064B CN112163064B CN202011099764.2A CN202011099764A CN112163064B CN 112163064 B CN112163064 B CN 112163064B CN 202011099764 A CN202011099764 A CN 202011099764A CN 112163064 B CN112163064 B CN 112163064B
- Authority
- CN
- China
- Prior art keywords
- text
- word
- training data
- words
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 239000013598 vector Substances 0.000 claims abstract description 123
- 238000012795 verification Methods 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 76
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000005406 washing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于深度学习的文本分类方法，该方法首先对带标签的文本数据进行清洗、划分；然后将文本序列映射为词向量序列S；并将S输入到多注意力神经网络(MANN)中得到文本向量Sw。最后，将句子Sw输入到前馈神经网络(FNN)分类器得到文本类别。模型按照预设的超参数训练模型，根据模型在验证集上的表现选取最优的模型。实验结果显示，该模型取得了较好的分类精度。
Description
技术领域
本发明涉及一种基于深度学习的文本分类方法。
背景技术
文本分类在信息处理中占据着重要的地位，随着互联网的发展海量的文本数据不断产生，这些文本数据中存在着大量的信息，利用有效的方法对这些信息进行有效的管理和提取对企业和社会信息技术发展有着重大作用。
目前，深度学习技术被广泛的应用在文本分类任务上。具体来说，Kim等人将CNN应用在文本分类任务上，利用卷积层获取局部的文本信息。但卷积网络无法很好的利用文本的序列信息。之后人们将RNN以及在RNN基础上改进的LSTM网络应用在文本分类任务上取得了更好的分类效果。但是，由于循环神经网络顺序处理词序列的特点，使得基于RNN的模型并行计算困难。
发明内容
本发明的目的在于提供一种基于深度学习的文本分类方法。
为解决上述问题，本发明提供一种基于深度学习的文本分类方法，包括：
步骤1：对带文本标签的文本数据进行清洗，然后将清洗后的带标签的文本数据划分为训练数据集和验证集；
步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，以分别形成训练数据集合对应的单词索引序列和验证集对应的单词索引序列；
步骤3：构建词向量矩阵；
步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S；
步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络模型，以获取输出的文本向量Sw；
步骤6：将所述文本向量Sw输入到前馈神经网络中，以获取输出的文本类别概率向量；
步骤7：基于所述文本数据的文本标签得到文本标签向量，根据所述文本类别概率向量和文本标签向量，计算损失函数，并使用批量梯度下降算法优化所述损失函数，基于优化后的损失函数对注意力神经网络和前馈神经网络的模型参数进行调整，以得到优化后的模型；
步骤8：将验证集对应的词向量序列S输入所述优化后的模型，基于所述优化后的模型的输出选取最优的模型作为最终的模型；
步骤9：基于所述最终的模型对待分类的文本进行分类。
进一步的，在上述方法中，对带文本标签的文本数据进行清洗，包括：
去除多余的符号，只保留标点符号、单词，并将文本标签用one-hot向量表示。
进一步的，在上述方法中，步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，包括：
按照训练数据集中单词出现的频率分别为训练数据集中的单词进行编号，将训练数据集的文本中的单词替换成单词编号，其中，对于训练数据集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0，num为正整数；
按照验证集中单词出现的频率分别为验证集中的单词进行编号，将验证集的文本中的单词替换成单词编号，其中，对于验证集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0。
进一步的，在上述方法中，构建词向量矩阵，包括：
使用glove预训练词向量或者Word2Vec工具，分别获取训练数据集和验证集中的单词对应的维度为dim的词向量，其中，dim为正整数；
基于训练数据集中的单词对应的维度为dim的词向量，构建训练数据集对应的维度为num*dim的词向量矩阵；
基于训练验证集中的单词对应的维度为dim的词向量，构建训练数据集对应的维度为num*dim的词向量矩阵。
进一步的，在上述方法中，步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S，包括：
基于所述训练数据集对应的词向量矩阵，并使用词向量初始化模型Embedding层，将训练数据集输入Embedding层，以得到训练数据集对应的词向量序列S；
基于所述验证集对应的词向量矩阵，并使用词向量初始化模型Embedding层，将验证集对应的单词索引序列输入Embedding层，以得到验证集对应的词向量序列S。
进一步的，在上述方法中，步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络模型，以获取输出的文本向量Sw，
将训练数据集对应的词向量序列S输入多注意力神经网络中，利用词注意力网络学习单词间依赖关系得到文本向量S1；
利用局部注意力网络学习局部依赖关系得到向量S2；
最后将S1和S2输入到交叉注意力网络中学习局部与单词间的依赖关系得到文本向量Sw。
进一步的，在上述方法中，步骤7中，所述损失函数计算公式为：
其中，批量大小batch-size＝128，y为文本标签，为类别概率向量。
与现有技术相比，本发明首先对带标签的文本数据进行清洗、划分；然后将文本序列映射为词向量序列S；并将S输入到多注意力神经网络(MANN)中得到文本向量Sw。最后，将句子Sw输入到前馈神经网络(FNN)分类器得到文本类别。模型按照预设的超参数训练模型，根据模型在验证集上的表现选取最优的模型。实验结果显示，该模型取得了较好的分类精度。发明考虑了词序列中单词、局部序列间的依赖关系，提高了文本分类的精度。
附图说明
图1为本发明一实施例提供的文本分类模型流程图；
图2为本发明一实施例提供的词向量的获取方法的结构示意图；
图3为本发明一实施例提供的词注意力网络(WAN)结构示意图；
图4为本发明一实施例提供的局部注意力网络(LAN)结构示意图；
图5为本发明一实施例提供的交叉注意力网络(CAN)结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供一种基于深度学习的文本分类方法，包括：
步骤1：对带文本标签的文本数据进行清洗，然后将清洗后的带标签的文本数据划分为训练数据集和验证集；
步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，以分别形成训练数据集合对应的单词索引序列和验证集对应的单词索引序列；
步骤3：构建词向量矩阵；
步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S；
步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络(MANN)模型，以获取输出的文本向量Sw；
步骤6：将所述文本向量Sw输入到前馈神经网络(FNN)中，以获取输出的文本类别概率向量；
在此，将文本向量SW输入到前馈神经网络(FNN)分类器中，利用Softmax层将输入映射为对应的类别概率向量
步骤7：基于所述文本数据的文本标签得到文本标签向量，根据所述文本类别概率向量和文本标签向量，计算损失函数，并使用批量梯度下降算法优化所述损失函数，基于优化后的损失函数对注意力神经网络和前馈神经网络的模型参数进行调整，以得到优化后的模型；
步骤8：将验证集对应的词向量序列S输入所述优化后的模型，基于所述优化后的模型的输出选取最优的模型作为最终的模型；
步骤9：基于所述最终的模型对待分类的文本进行分类。
在此，模型训练的迭代次数epochs＝1000。每次更新参数后将在验证集上评估模型性能，选取最优的模型作为最终的模型。
本发明首先对带标签的文本数据进行清洗、划分；然后将文本序列映射为词向量序列S；并将S输入到多注意力神经网络(MANN)中得到文本向量Sw。最后，将句子Sw输入到前馈神经网络(FNN)分类器得到文本类别。模型按照预设的超参数训练模型，根据模型在验证集上的表现选取最优的模型。实验结果显示，该模型取得了较好的分类精度。发明考虑了词序列中单词、局部序列间的依赖关系，提高了文本分类的精度。
本发明的基于深度学习的文本分类方法一实施例中，对带文本标签的文本数据进行清洗，包括：
去除多余的符号，只保留标点符号、单词，并将文本标签用one-hot向量表示。
在此，保留对带文本标签的文本数据中词语间的空格和必要的标点符号。
本发明的基于深度学习的文本分类方法一实施例中，步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，包括：
按照训练数据集中单词出现的频率分别为训练数据集中的单词进行编号，将训练数据集的文本中的单词替换成单词编号，其中，对于训练数据集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0，num为正整数；
按照验证集中单词出现的频率分别为验证集中的单词进行编号，将验证集的文本中的单词替换成单词编号，其中，对于验证集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0。
在此，根据频率分别将训练数据集和验证集中的文本数据中单词进行的编号，取前30000个频率最高的常用词，并用编号代替文本序列；将数据集中的单词截取或填充为相同长度L，该长度设置为平均长度，计算公式为：
其中，n表示数据集大小、Si表示第i个句子、len(Si)表示句子Si的长度。
本发明的基于深度学习的文本分类方法一实施例中，步骤3：构建词向量矩阵，包括：
使用glove预训练词向量或者Word2Vec工具，分别获取训练数据集和验证集中的单词对应的维度为dim的词向量，其中，dim为正整数；
基于训练数据集中的单词对应的维度为dim的词向量，构建训练数据集对应的维度为num*dim的词向量矩阵；
基于训练验证集中的单词对应的维度为dim的词向量，构建训练数据集对应的维度为num*dim的词向量矩阵。
在此，可以加载Glove维度为100的预训练词向量文件，得到数据集中单词对应的词向量。
本发明的基于深度学习的文本分类方法一实施例中，步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S，包括：
基于所述训练数据集对应的词向量矩阵，并使用词向量初始化模型Embedding层，将训练数据集输入Embedding层，以得到训练数据集对应的词向量序列S；
基于所述验证集对应的词向量矩阵，并使用词向量初始化模型Embedding层，将验证集对应的单词索引序列输入Embedding层，以得到验证集对应的词向量序列S。
在此，可以构建维度为30000*100的Embedding矩阵，使用步骤3获取的词向量初始化Embedding矩阵，并在模型训练过程中微调Embedding层参数。如图2所示，将词序列向量右乘Embedding矩阵获取文本向量序列S。
本发明的基于深度学习的文本分类方法一实施例中，步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络(MANN)模型，以获取输出的文本向量Sw，
将训练数据集对应的词向量序列S输入多注意力神经网络(MANN)中，利用词注意力网络(WAN)学习单词间依赖关系得到文本向量S1；
利用局部注意力网络(LAN)学习局部依赖关系得到向量S2；
最后将S1和S2输入到交叉注意力网络(CAN)中学习局部与单词间的依赖关系得到文本向量Sw。
在此，如图3所示，将文本向量S输入到词注意力神经网络(WAN)中利用自注意力机制学习单词间依赖关系得到新的词向量序列S1；计算公式为：
其中，表示矩阵乘法、elu表示激活函数、softmax_row表示行softmax函数、BN表示BatchNormal归一化。
如图4所示，将S1作为局部注意力网络(LAN)的输入，该网络用于学习词序列局部间依赖关系得到句子向量序列S2。计算公式如下：
表示在x首尾联接i个维度为d的零向量；符号C(x，k)表示将落在窗口大小k中的向量联接成为1×(k·d)维的向量；F是维度为(k·d)×d的矩阵。
如图5所示，将S1、S2作为交叉注意力网络(CAN)的输入，该网络用于学习单词与局部词序列间的依赖关系得到句子向量Sw。计算公式如下：
本发明的基于深度学习的文本分类方法一实施例中，步骤7中，所述损失函数计算公式为：
其中，批量大小batch-size＝128，y为文本标签，为类别概率向量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (5)
1.一种基于深度学习的文本分类方法，其特征在于，包括：
步骤1：对带文本标签的文本数据进行清洗，然后将清洗后的带标签的文本数据划分为训练数据集和验证集；
步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，以分别形成训练数据集合对应的单词索引序列和验证集对应的单词索引序列；
步骤3：构建词向量矩阵；
步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S；
步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络模型，以获取输出的文本向量Sw；
步骤6：将所述文本向量Sw输入到前馈神经网络中，以获取输出的文本类别概率向量；
步骤7：基于所述文本数据的文本标签得到文本标签向量，根据所述文本类别概率向量和文本标签向量，计算损失函数，并使用批量梯度下降算法优化所述损失函数，基于优化后的损失函数对注意力神经网络和前馈神经网络的模型参数进行调整，以得到优化后的模型；
步骤8：将验证集对应的词向量序列S输入所述优化后的模型，基于所述优化后的模型的输出选取最优的模型作为最终的模型；
步骤9：基于所述最终的模型对待分类的文本进行分类；
步骤5：将训练数据集对应的词向量序列S输入多注意力神经网络模型，以获取输出的文本向量Sw，
将训练数据集对应的词向量序列S输入多注意力神经网络中，利用词注意力网络学习单词间依赖关系得到文本向量S1；
利用局部注意力网络学习局部依赖关系得到向量S2；
最后将S1和S2输入到交叉注意力网络中学习局部与单词间的依赖关系得到文本向量Sw；
步骤7中，所述损失函数计算公式为：
其中，批量大小batch-size＝128，y为文本标签，为类别概率向量。
2.如权利要求1所述的基于深度学习的文本分类方法，其特征在于，对带文本标签的文本数据进行清洗，包括：
去除多余的符号，只保留标点符号、单词，并将文本标签用one-hot向量表示。
3.如权利要求1所述的基于深度学习的文本分类方法，其特征在于，步骤2：将训练数据集合和验证集的文本中的单词替换成单词编号，包括：
按照训练数据集中单词出现的频率分别为训练数据集中的单词进行编号，将训练数据集的文本中的单词替换成单词编号，其中，对于训练数据集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0，num为正整数；
按照验证集中单词出现的频率分别为验证集中的单词进行编号，将验证集的文本中的单词替换成单词编号，其中，对于验证集中的前num个频率最高的单词，单词编号为该单词出现的频率对应的编号；对于编号大于num的单词，单词编号为0。
4.如权利要求3所述的基于深度学习的文本分类方法，其特征在于，构建词向量矩阵，包括：
使用glove预训练词向量或者Word2Vec工具，分别获取训练数据集和验证集中的单词对应的维度为dim的词向量，其中，dim为正整数；
基于训练数据集中的单词对应的维度为dim的词向量，构建训练数据集对应的维度为num*dim的词向量矩阵；
基于训练验证集中的单词对应的维度为dim的词向量，构建训练数据集对应的维度为num*dim的词向量矩阵。
5.如权利要求1所述的基于深度学习的文本分类方法，其特征在于，步骤4：基于所述词向量矩阵，将分别将训练数据集和验证集对应的单词索引序列映射为训练数据集和验证集对应的词向量序列S，包括：
基于所述训练数据集对应的词向量矩阵，并使用词向量初始化模型Embedding层，将训练数据集输入Embedding层，以得到训练数据集对应的词向量序列S；
基于所述验证集对应的词向量矩阵，并使用词向量初始化模型Embedding层，将验证集对应的单词索引序列输入Embedding层，以得到验证集对应的词向量序列S。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011099764.2A CN112163064B (zh) | 2020-10-14 | 2020-10-14 | 基于深度学习的文本分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011099764.2A CN112163064B (zh) | 2020-10-14 | 2020-10-14 | 基于深度学习的文本分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112163064A CN112163064A (zh) | 2021-01-01 |
| CN112163064B true CN112163064B (zh) | 2024-04-16 |
Family
ID=73867000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011099764.2A Active CN112163064B (zh) | 2020-10-14 | 2020-10-14 | 基于深度学习的文本分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112163064B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802568A (zh) * | 2021-02-03 | 2021-05-14 | 紫东信息科技(苏州)有限公司 | 基于病历文本的多标签胃部疾病分类方法及装置 |
| CN113221625B (zh) * | 2021-03-02 | 2023-04-07 | 西安建筑科技大学 | 一种利用深度学习的局部特征对齐行人重识别方法 |
| CN114117050B (zh) * | 2021-11-30 | 2022-08-05 | 济南农村商业银行股份有限公司 | 一种全自动记账流程弹窗处理方法、装置和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472024A (zh) * | 2018-10-25 | 2019-03-15 | 安徽工业大学 | 一种基于双向循环注意力神经网络的文本分类方法 |
| CN109857860A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 文本分类方法、装置、计算机设备及存储介质 |
| CN109977226A (zh) * | 2019-03-14 | 2019-07-05 | 南京邮电大学 | 基于卷积神经网络的高精度文本分类方法和系统 |
| EP3657354A1 (en) * | 2018-11-22 | 2020-05-27 | Siemens Healthcare GmbH | Supervised features for text classification |
| CN111274405A (zh) * | 2020-02-26 | 2020-06-12 | 北京工业大学 | 一种基于gcn的文本分类方法 |
| CN111368078A (zh) * | 2020-02-28 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法、文本分类的方法、装置及存储介质 |
| CN111737470A (zh) * | 2020-06-24 | 2020-10-02 | 上海应用技术大学 | 文本分类方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10380260B2 (en) * | 2017-12-14 | 2019-08-13 | Qualtrics, Llc | Capturing rich response relationships with small-data neural networks |
| US10885277B2 (en) * | 2018-08-02 | 2021-01-05 | Google Llc | On-device neural networks for natural language understanding |
| US11615311B2 (en) * | 2018-12-10 | 2023-03-28 | Baidu Usa Llc | Representation learning for input classification via topic sparse autoencoder and entity embedding |
-
2020
- 2020-10-14 CN CN202011099764.2A patent/CN112163064B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472024A (zh) * | 2018-10-25 | 2019-03-15 | 安徽工业大学 | 一种基于双向循环注意力神经网络的文本分类方法 |
| EP3657354A1 (en) * | 2018-11-22 | 2020-05-27 | Siemens Healthcare GmbH | Supervised features for text classification |
| CN109857860A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 文本分类方法、装置、计算机设备及存储介质 |
| CN109977226A (zh) * | 2019-03-14 | 2019-07-05 | 南京邮电大学 | 基于卷积神经网络的高精度文本分类方法和系统 |
| CN111274405A (zh) * | 2020-02-26 | 2020-06-12 | 北京工业大学 | 一种基于gcn的文本分类方法 |
| CN111368078A (zh) * | 2020-02-28 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法、文本分类的方法、装置及存储介质 |
| CN111737470A (zh) * | 2020-06-24 | 2020-10-02 | 上海应用技术大学 | 文本分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112163064A (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112163064B (zh) | 基于深度学习的文本分类方法 | |
| WO2020211720A1 (zh) | 数据处理方法和代词消解神经网络训练方法 | |
| CN107943784B (zh) | 基于生成对抗网络的关系抽取方法 | |
| CN108595706B (zh) | 一种基于主题词类相似性的文档语义表示方法、文本分类方法和装置 | |
| WO2019081979A1 (en) | SEQUENCE SEQUENCE PREDICTION USING NEURAL NETWORK MODEL | |
| Lhoussain et al. | Adaptating the levenshtein distance to contextual spelling correction | |
| Alsaleh et al. | Arabic text classification using convolutional neural network and genetic algorithms | |
| CN110968660B (zh) | 基于联合训练模型的信息抽取方法和系统 | |
| CN113051399B (zh) | 一种基于关系型图卷积网络的小样本细粒度实体分类方法 | |
| JP6291443B2 (ja) | 接続関係推定装置、方法、及びプログラム | |
| CN110717330A (zh) | 基于深度学习的词句级短文本分类方法 | |
| US20230297783A1 (en) | Systems and Methods for Machine-Learned Prediction of Semantic Similarity Between Documents | |
| CN113360654B (zh) | 文本分类方法、装置、电子设备及可读存储介质 | |
| CN111400494A (zh) | 一种基于GCN-Attention的情感分析方法 | |
| WO2023045725A1 (zh) | 用于数据集创建的方法、电子设备和计算机程序产品 | |
| CN116049387A (zh) | 一种基于图卷积的短文本分类方法、装置、介质 | |
| CN110275928B (zh) | 迭代式实体关系抽取方法 | |
| US20220067304A1 (en) | Energy-Based Language Models | |
| CN111737470B (zh) | 文本分类方法 | |
| CN114925205A (zh) | 基于对比学习的gcn-gru文本分类方法 | |
| CN112560440A (zh) | 一种基于深度学习的面向方面级情感分析的句法依赖方法 | |
| CN109670171B (zh) | 一种基于词对非对称共现的词向量表示学习方法 | |
| WO2023059811A1 (en) | Constrained device placement using neural networks | |
| CN113190681B (zh) | 一种基于胶囊网络遮罩记忆注意力的细粒度文本分类方法 | |
| CN112884019B (zh) | 一种基于融合门循环网络模型的图像转语言方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |