CN113051909B - 一种基于深度学习的文本语义提取方法 - Google Patents
一种基于深度学习的文本语义提取方法 Download PDFInfo
- Publication number
- CN113051909B CN113051909B CN202110295550.0A CN202110295550A CN113051909B CN 113051909 B CN113051909 B CN 113051909B CN 202110295550 A CN202110295550 A CN 202110295550A CN 113051909 B CN113051909 B CN 113051909B
- Authority
- CN
- China
- Prior art keywords
- vector
- word
- layer
- neural network
- multiplying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 17
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 171
- 239000010410 layer Substances 0.000 claims description 51
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 239000002356 single layer Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000013136 deep learning model Methods 0.000 abstract 1
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
一种基于深度学习的文本语义提取方法，对于一个较长文本输入，经过系统模型，能够最大程度上还原文本语义。本发明结合了循环神经网络(RNN)以及自我注意力机制(Self‑Attention)优势，极大程度上改善了文本语义提取效果，节省了深度学习模型计算资源总成本，有效地降低了文本语义提取时间，使读者获得更优质的阅读体验。
Description
技术领域
本发明属于人工智能领域，一种基于深度学习的文本语义提取方法。
背景技术
随着近年来移动通信的蓬勃发展，碎片化时代不可避免地到来，生活节奏的加快使得越来越多的人在阅读长篇文章时往往没有时间阅读完整。这就需要文本语义提取工具将长篇文本提取出其中的语义，以最大限度地节省读者的时间，同时读者也能够轻易地领会文章的主旨要义。但是，传统的基于循环神经网络(Recurrent Neural Networks，RNN)或卷积神经网络(Convolutional Neural Networks,CNN)的语义提取模型效果较差，无法达到领会全文主旨的预期效果，近年来有学者提出基于长短期记忆网络模型(Long Short-Term Memory,LSTM)来进行文本语义提取，使得语义还原效果较循环神经网络或卷积神经网络有了一定的提升。
发明内容
为了克服传统语义提取方法模型运算时间长，语义还原效果较差的缺点，旨在以深度学习为基础，本发明提出一种文本语义提取方法。本发明创新性地将RNN以及自我注意力机制(Self-Attention)结合，对传统的单一序列到序列模型做出了改进，能够最大程度上还原语义，在控制以及通信领域能够得到较好的应用。
本发明解决其技术问题所采用的技术方案是：
一种基于深度学习的文本语义提取方法，包括以下步骤：
1)在预处理阶段中的操作如下：将所要传输的句子s标准化为词数个数为n，参数n可以自行设定；然后将所要传输的句子输入jieba中文分词模型，进行分词处理，得到w1,w2,w3,…,wn，接着将w1,w2,w3,…,wn输入word2vec中文预训练模型，最后输出每一个单词所对应的词向量，用e1,e2,e3,…,en表示，词向量组e1,e2,e3,…,en记作E；
2)将词向量e1,e2,e3,…,en输入单层循环神经网络，保留最后时刻循环神经网络隐藏层的输出向量，记为t1；该循环神经网络模型的权重由电影评论数据集训练得到；
3)将词向量组e1,e2,e3,…,en输入至编码器，编码器分为相同两层。在编码器第一层中，词向量组首先进入自我注意力机制，计算过程说明如下：
qi＝Wq×E，i∈[1,n] (1)
ki＝Wk×E (2)
vi＝Wv×E (3)
Wq，Wk，Wv：维数为300的方阵，元素由系统模型经过训练得到，
E：词向量组e1,e2,e3,…,en；
4)对于每一个qi(i∈[1,n])，都令其与每一个ki(i∈[1，n])进行点乘运算，对于q1分别得到α1，1，α1，2，α1，3，…，α1，n，将α1，1，α1，2，α1，3，…，α1，n经过soft-max层进行归一化操作，得到其中：
再将分别与各自对应的v1，v2，v3，…，vn相乘，将所得结果累加得到向量b1；将上述操作进行n次，得到向量b1，b2，b3，…，bn，公式如下：
至此，完成第一次自我注意力机制操作；将自我注意力机制操作生成的向量称为思想向量，如b1，b2，b3，…，bn；
5)将思想向量b1，b2，b3，…，bn分别输入单层前馈神经网络FFNN，分别得到向量f1，f2，f3，…，fn，维数与b1，b2，b3，…，bn相同；
6)向量f1，f2，f3，…，fn进入编码器第二层，重复进行第一层中的自我注意力操作以及经过前馈神经网络，由第二层前馈神经网络输出向量组将向量分别与向量t1相加，最终得到编码器第二层输出的向量组u1，u2，u3，…，un，将u1，u2，u3，…，un分别乘以维数为300的方阵/>分别得到向量/>
7)进入解码器部分，解码器同样分为两层，第一层中，首先将由一个维数为300的初始种子词向量<start>输入至解码器开始进行解码操作；
8)由第一个目标单词词向量作为解码器第二次解码的输入，同理将第一个目标单词的词向量乘以维数为300的方阵Wq'，Wk'，Wv'，得到对应向量mq,mk,mv保留以进行后续操作；
9)第二个目标单词作为解码器第三次解码的输入，后续重复上述解码操作步骤，直至输出所有目标单词，从而得到预测句子
10)通过最小化损失函数来训练模型参数，模型参数包括矩阵元素与神经网络权重。
进一步，所述步骤7)中，计算过程说明如下：初始种子词向量<start>将进行自我注意力机制操作，所得思想向量记为m；再进行Decoder-Encoder Attention操作，方法是：将向量m乘以维数为300的方阵得到向量qm，将向量qm分别与向量/>进行点乘操作，得到/>公式如下：
向量ui与方阵/>相乘所得向量；
qm：向量m与方阵相乘所得向量；
将输入soft-max层进行归一化操作得到/>再将/> 分别与各自对应的/>相乘，所得结果相加得到思想向量r1，向量r1再经过前馈神经网络FFNN得到向量/>向量/>进入解码器第二层，第二层中重复第一层的操作，最后输出概率向量，概率最大的对应为第一个目标单词。
再进一步，所述步骤8)中，第二次解码操作说明如下：将向量mq,mk，mv与初始种子词向量进行自我注意力机制操作，得到第一个目标单词词向量对应的思想向量h，将h乘以维数为300的方阵得到向量qh，将向量qh分别与向量/>进行点乘操作，得到γi(i∈[1，n])，公式如下：
向量ui与方阵/>相乘所得向量；
qh：思想向量h与方阵相乘所得向量；
再将γi(i∈[1，n])进行soft-max归一化操作得到将/>分别与各自对应的相乘，所得结果相加得到思想向量r2，向量r2在经过前馈神经网络FFNN得到向量/>向量/>进入解码器第二层，第二层中重复第一层的操作，最后输出概率向量，概率最大的对应为第二个目标单词。
更进一步，所述步骤10)中，损失函数定义为：
q(wl)：第l个单词wl出现在输入句子s中的真实概率；
p(wl)：第l个单词wl在预测句子中出现的预测概率。
本发明的有益效果为：本发明创新性地将循环神经网络与自我注意机制融合，对传统的单一序列到序列模型做出了改进，以达到较好的语义提取效果，使得读者得到良好的阅读体验。
附图说明
图1是基于深度学习的文本语义提取系统模型示意图，主要由编码器(Encoder)以及解码器(Decoder)组成，其中编码器包含以下部分：jieba中文分词模型，word2vec模型，循环神经网络(RNN)，Self-Attention机制，前馈神经网络(FFNN)；解码器包含以下部分：Self-Attention机制，Decoder-Encoder Attention机制，前馈神经网络(FFNN)。
具体实施方式
下面结合附图对于本发明作进一步详细描述。
参照图1，一种基于深度学习的文本语义提取方法，实现该方法能最大程度上还原目标文本的语义，本发明可以应用于控制和通信领域，如图1所示，针对该场景对文本语义的提取方法包括以下步骤：
1)在预处理阶段中的操作如下：将所要传输的句子s标准化为词数个数为n，参数n可以自行设定，然后将所要传输的句子输入jieba中文分词模型，进行分词处理，得到w1,w2,w3,…,wn，接着将w1,w2,w3,…,wn输入word2vec中文预训练模型，最后输出每一个单词所对应的词向量，用e1,e2,e3,…,en表示，词向量组e1,e2,e3,…,en记作E；
2)将词向量e1,e2,e3,…,en输入单层循环神经网络，保留最后时刻循环神经网络隐藏层的输出向量，记为t1。该循环神经网络模型的权重由电影评论数据集训练得到；
3)将词向量组e1,e2,e3,…,en输入至编码器，编码器分为相同两层，在编码器第一层中，词向量组首先进入自我注意力机制(Self-Attention)，计算过程说明如下：
qi＝Wq×E，i∈[1,n] (1)
ki＝Wk×E (2)
vi＝Wv×E (3)
Wq，Wk，Wv：维数为300的方阵，元素由系统模型经过训练得到；
E：词向量组e1,e2,e3,…,en；
4)对于每一个qi(i∈[1,n])，都令其与每一个ki(i∈[1，n])进行点乘运算，对于q1，分别得到α1,1,α1,2,α1,3,…,α1,n，将α1,1,α1,2,α1,3,…,α1,n经过soft-max层进行归一化操作，得到其中：
再将分别与各自对应的v1，v2，v3，…，vn相乘，将所得结果累加得到向量b1。将上述操作进行n次，得到向量b1，b2，b3，…，bn，公式如下：
至此，完成第一次自我注意力机制操作，将自我注意力机制操作生成的向量称为思想向量，如b1，b2，b3，…，bn；
5)将思想向量b1，b2，b3，…，bn分别输入单层前馈神经网络FFNN，分别得到向量f1，f2，f3，…，fn，维数与b1，b2，b3，…，bn相同；
6)向量f1，f2，f3，…，fn进入编码器第二层，重复进行第一层中的自我注意力操作以及经过前馈神经网络，由第二层前馈神经网络输出向量组将向量分别与向量t1相加，最终得到编码器第二层输出的向量组u1，u2，u3，…，un，将u1，u2，u3，…，un分别乘以维数为300的方阵/>分别得到向量/>
7)进入解码器部分，解码器同样分为两层，第一层中，首先将由一个维数为300的初始种子词向量<start>输入至解码器开始进行解码操作，计算过程说明如下：初始种子词向量<start>将进行自我注意力机制操作，同步骤4)中所述，所得思想向量记为m。下面进行Decoder-Encoder Attention操作，方法是：将向量m乘以维数为300的方阵得到向量qm；将向量qm分别与向量/>进行点乘操作，得到/>公式如下：
向量ui与方阵/>相乘所得向量；
qm：向量m与方阵相乘所得向量；
将输入soft-max层进行归一化操作得到/>再将/> 分别与各自对应的/>相乘，所得结果相加得到思想向量r1，向量r1再经过前馈神经网络FFNN得到向量/>向量/>进入解码器第二层，第二层中重复第一层的操作，最后输出概率向量，概率最大的对应为第一个目标单词；
8)由第一个目标单词词向量作为解码器第二次解码的输入，同理将第一个目标单词的词向量乘以维数为300的方阵Wq'，Wk',Wv'，得到对应向量mq,mk,mv保留以进行后续操作；第二次解码操作说明如下：将向量mq,mk,mv与初始种子词向量进行自我注意力机制操作，得到第一个目标单词词向量对应的思想向量h，将h乘以维数为300的方阵得到向量qh，将向量qh分别与向量/>进行点乘操作，得到γi(i∈[1,n])，公式如下：
向量ui与方阵/>相乘所得向量；
qh：思想向量h与方阵相乘所得向量；
再将γi(i∈[1，n])进行soft-max归一化操作得到将/>分别与各自对应的相乘，所得结果相加得到思想向量r2，向量r2在经过前馈神经网络FFNN得到向量/>向量/>进入解码器第二层，第二层中重复第一层的操作，最后输出概率向量，概率最大的对应为第二个目标单词；
9)第二个目标单词作为解码器第三次解码的输入，后续重复上述解码操作步骤，直至输出所有目标单词，从而得到预测句子
10)可通过最小化损失函数来训练模型参数，所述模型参数包括矩阵元素与神经网络权重，损失函数定义为：
q(wl)：第l个单词wl出现在输入句子s中的真实概率；
p(wl)：第l个单词wl在预测句子中出现的预测概率。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。
Claims (2)
1.一种基于深度学习的文本语义提取方法，其特征在于，所述方法包括以下步骤：
1)在预处理阶段中的操作如下：将所要传输的句子s标准化为词数个数为n，参数n可以自行设定；然后将所要传输的句子输入jieba中文分词模型，进行分词处理，得到w1,w2,w3,···,wn，接着将w1,w2,w3,···,wn输入word2vec中文预训练模型，最后输出每一个单词所对应的词向量，用e1,e2,e3,···,en表示，词向量组e1,e2,e3,···,en记作E；
2)将词向量e1,e2,e3,···,en输入单层循环神经网络，保留最后时刻循环神经网络隐藏层的输出向量，记为t1；该循环神经网络模型的权重由电影评论数据集训练得到；
3)将词向量组e1,e2,e3,···,en输入至编码器，编码器分为相同两层，在编码器第一层中，词向量组首先进入自我注意力机制，计算过程说明如下：
qi＝Wq×E，i∈[1,n] (1)
ki＝Wk×E (2)
vi＝Wv×E (3)
Wq,Wk,Wv：维数为300的方阵，元素由系统模型经过训练得到，E：词向量组e1,e2,e3,···,en；
4)对于每一个qi，i∈[1,n]，都令其与每一个ki进行点乘运算，i∈[1,n]，对于q1分别得到α1,1,α1,2,α1,3,···,α1,n，将α1,1,α1,2,α1,3,···,α1,n经过soft-max层进行归一化操作，得到其中：
再将分别与各自对应的v1,v2,v3,···,vn相乘，将所得结果累加得到向量b1；将上述操作进行n次，得到向量b1,b2,b3,···,bn，公式如下：
至此，完成第一次自我注意力机制操作；将自我注意力机制操作生成的向量称为思想向量，如b1,b2,b3,···,bn；
5)将思想向量b1,b2,b3,···,bn分别输入单层前馈神经网络FFNN，分别得到向量f1,f2,f3,···,fn，维数与b1,b2,b3,···,bn相同；
6)向量f1,f2,f3,···,fn进入编码器第二层，重复进行第一层中的自我注意力操作以及经过前馈神经网络，由第二层前馈神经网络输出向量组将向量分别与向量t1相加，最终得到编码器第二层输出的向量组u1,u2,u3,···,un，将u1,u2,u3,···,un分别乘以维数为300的方阵/>分别得到向量/>i∈[1,n]；
7)进入解码器部分，解码器同样分为两层，第一层中，首先将由一个维数为300的初始种子词向量<start>输入至解码器开始进行解码操作；
8)由第一个目标单词词向量作为解码器第二次解码的输入，同理将第一个目标单词的词向量乘以维数为300的方阵Wq',Wk',Wv'，得到对应向量mq,mk,mv保留以进行后续操作；
9)第二个目标单词作为解码器第三次解码的输入，后续重复上述解码操作步骤，直至输出所有目标单词，从而得到预测句子
10)通过最小化损失函数来训练模型参数，模型参数包括矩阵元素与神经网络权重；
所述步骤7)中，计算过程说明如下：初始种子词向量<start>将进行自我注意力机制操作，所得思想向量记为m；再进行Decoder-Encoder Attention操作，方法是：将向量m乘以维数为300的方阵得到向量qm，将向量qm分别与向量/>进行点乘操作，i∈[1,n]，得到/>i∈[1,n]，公式如下：
向量ui与方阵/>相乘所得向量；
qm：向量m与方阵相乘所得向量；
将输入soft-max层进行归一化操作得到/>i∈[1,n]，再将/>分别与各自对应的/>相乘，i∈[1,n]，所得结果相加得到思想向量r1，向量r1再经过前馈神经网络FFNN得到向量向量/>进入解码器第二层，第二层中重复第一层的操作，最后输出概率向量，概率最大的对应为第一个目标单词；
所述步骤8)中，第二次解码操作说明如下：将向量mq,mk,mv与初始种子词向量进行自我注意力机制操作，得到第一个目标单词词向量对应的思想向量h，将h乘以维数为300的方阵得到向量qh，将向量qh分别与向量/>进行点乘操作，i∈[1,n]，得到γi，i∈[1,n]，公式如下：
向量ui与方阵/>相乘所得向量；
qh：思想向量h与方阵相乘所得向量；
再将γi进行soft-max归一化操作得到i∈[1,n]，将/>分别与各自对应的/>相乘，i∈[1,n]，所得结果相加得到思想向量r2，向量r2在经过前馈神经网络FFNN得到向量/>向量/>进入解码器第二层，第二层中重复第一层的操作，最后输出概率向量，概率最大的对应为第二个目标单词。
2.如权利要求1所述的一种基于深度学习的文本语义提取方法，其特征在于，所述步骤10)中，损失函数定义为：
q(wl)：第l个单词wl出现在输入句子s中的真实概率；
p(wl)：第l个单词wl在预测句子中出现的预测概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295550.0A CN113051909B (zh) | 2021-03-19 | 2021-03-19 | 一种基于深度学习的文本语义提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295550.0A CN113051909B (zh) | 2021-03-19 | 2021-03-19 | 一种基于深度学习的文本语义提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113051909A CN113051909A (zh) | 2021-06-29 |
| CN113051909B true CN113051909B (zh) | 2024-05-10 |
Family
ID=76513802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110295550.0A Active CN113051909B (zh) | 2021-03-19 | 2021-03-19 | 一种基于深度学习的文本语义提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113051909B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134771A (zh) * | 2019-04-09 | 2019-08-16 | 广东工业大学 | 一种基于多注意力机制融合网络问答系统的实现方法 |
| CN111859927A (zh) * | 2020-06-01 | 2020-10-30 | 北京先声智能科技有限公司 | 一种基于注意力共享Transformer的语法改错模型 |
| CN111858932A (zh) * | 2020-07-10 | 2020-10-30 | 暨南大学 | 基于Transformer的多重特征中英文情感分类方法及系统 |
| CN111931518A (zh) * | 2020-10-15 | 2020-11-13 | 北京金山数字娱乐科技有限公司 | 一种翻译模型的训练方法及装置 |
| CN112434514A (zh) * | 2020-11-25 | 2021-03-02 | 重庆邮电大学 | 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备 |
-
2021
- 2021-03-19 CN CN202110295550.0A patent/CN113051909B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134771A (zh) * | 2019-04-09 | 2019-08-16 | 广东工业大学 | 一种基于多注意力机制融合网络问答系统的实现方法 |
| CN111859927A (zh) * | 2020-06-01 | 2020-10-30 | 北京先声智能科技有限公司 | 一种基于注意力共享Transformer的语法改错模型 |
| CN111858932A (zh) * | 2020-07-10 | 2020-10-30 | 暨南大学 | 基于Transformer的多重特征中英文情感分类方法及系统 |
| CN111931518A (zh) * | 2020-10-15 | 2020-11-13 | 北京金山数字娱乐科技有限公司 | 一种翻译模型的训练方法及装置 |
| CN112434514A (zh) * | 2020-11-25 | 2021-03-02 | 重庆邮电大学 | 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113051909A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10817650B2 (en) | Natural language processing using context specific word vectors | |
| CN106919646B (zh) | 中文文本摘要生成系统及方法 | |
| CN110825845B (zh) | 一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法 | |
| CN111783462A (zh) | 基于双神经网络融合的中文命名实体识别模型及方法 | |
| CN111914085B (zh) | 文本细粒度情感分类方法、系统、装置及存储介质 | |
| CN110046248B (zh) | 用于文本分析的模型训练方法、文本分类方法和装置 | |
| CN110263325B (zh) | 中文分词系统 | |
| CN111709242B (zh) | 一种基于命名实体识别的中文标点符号添加方法 | |
| CN111143563A (zh) | 基于bert与lstm及cnn融合的文本分类方法 | |
| CN109918507B (zh) | 一种基于TextCNN改进的文本分类方法 | |
| CN111522908A (zh) | 一种基于BiGRU和注意力机制的多标签文本分类方法 | |
| CN111653275A (zh) | 基于lstm-ctc尾部卷积的语音识别模型的构建方法及装置、语音识别方法 | |
| CN110647919A (zh) | 一种基于k-均值聚类和胶囊网络的文本聚类方法及系统 | |
| CN112115702A (zh) | 意图识别方法、装置、对话机器人和计算机可读存储介质 | |
| CN111026845B (zh) | 一种获取多层次上下文语义的文本分类方法 | |
| CN114298157A (zh) | 基于舆情大数据分析的短文本情感分类方法、介质及系统 | |
| CN111428518B (zh) | 一种低频词翻译方法及装置 | |
| CN112199503B (zh) | 一种基于特征增强的非平衡Bi-LSTM的中文文本分类方法 | |
| CN113051909B (zh) | 一种基于深度学习的文本语义提取方法 | |
| CN112651242B (zh) | 一种基于内外注意力机制和可变尺度卷积的文本分类方法 | |
| CN113823322A (zh) | 一种基于精简改进的Transformer模型的语音识别方法 | |
| CN113220892A (zh) | 基于bert的自适应文本分类方法及装置 | |
| CN114444485B (zh) | 一种云环境网络设备实体识别方法 | |
| Zhou et al. | Short-spoken language intent classification with conditional sequence generative adversarial network | |
| CN117150023B (zh) | 一种面向智能对话系统的对话状态追踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |