CN113312483A - 一种基于自注意力机制和BiGRU的文本分类方法 - Google Patents

一种基于自注意力机制和BiGRU的文本分类方法 Download PDF

Info

Publication number
CN113312483A
CN113312483A CN202110613933.8A CN202110613933A CN113312483A CN 113312483 A CN113312483 A CN 113312483A CN 202110613933 A CN202110613933 A CN 202110613933A CN 113312483 A CN113312483 A CN 113312483A
Authority
CN
China
Prior art keywords
bigru
text
text classification
cnn
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110613933.8A
Other languages
English (en)
Inventor
石磊
王明宇
高宇飞
陶永才
卫琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202110613933.8A priority Critical patent/CN113312483A/zh
Publication of CN113312483A publication Critical patent/CN113312483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于文本分类技术领域，提供了一种基于自注意力机制和BiGRU的文本分类方法，包括如下步骤：步骤S1：使用自注意力机制生成新的字嵌入作为文本表示；步骤S2：使用CNN提取文本局部特征；步骤S3：利用BiGRU获取文本上下文语义信息和长距离依赖关系；步骤S4：对CNN和BiGRU的输出进行融合；步骤S5：使用全连接层，结合Softmax函数获得文本分类结果；利用自注意力机制关注对分类贡献较大的文本部分，使用含有不同尺寸卷积核的多通道CNN提取不同粒度的文本局部特征，同时通过含有跳层连接结构的堆叠BiGRU网络提取文本间上下文语义信息和长距离依赖关系，最后将CNN和BiGRU的输出进行特征融合，训练分类器对不同类型的文本信息进行分类。

Description

一种基于自注意力机制和BiGRU的文本分类方法
技术领域
本发明属于文本分类技术领域，尤其涉及一种基于自注意力机制和BiGRU的文本分类方法。
背景技术
文本分类技术是对文本集按照一定的分类体系或标准进行自动分类标注的技术，20世纪90年代，在计算机研究领域各种基于数学表达的机器学习方法不断涌现，一些经典的机器学习方法，如支持向量机、朴素贝叶斯、决策树、最近邻方法等被广泛应用于文本分类研究，PANGB等人使用词袋模型，结合贝叶斯、最大熵、支持向量机等机器学习方法对IMDB影评数据集进行情感分类，取得了较好的效果，基于机器学习方法的文本分类模型虽然拥有较为简单的函数表达，但其通常需要繁杂的人工特征工程，生成的文本特征表示均为高维度的稀疏向量，忽略了词义、词序等信息，其特征表达能力也相对较弱，在分类任务中无法很好地保留上下文信息；Bengio等人提出神经网络语言模型，将深度学习方法引入自然语言处理研究领域，神经网络语言模型将单词映射到低维稠密空间，并采用词向量度量单词之间的语义相关性，此后Golve和word2vec等词向量模型的提出，实现了词向量的高效运算，使得深度学习方法在自然语言处理研究领域的应用更为成熟，随后，各种基于深度神经网络的文本分类方法相继出现，这些方法首先使用数学向量对词汇进行语义表示，然后通过组合的方式获得句子和文档级别的语义表示。
在文本分类任务中，双向门控循环单元被广泛使用，其不仅能提取文本上下文语义信息和长距离依赖关系，还可以避免出现传统RNN中存在的梯度弥散或爆炸问题，然而，BiGRU无法较好地捕获文本的局部特征。
发明内容
本发明提供一种基于自注意力机制和BiGRU的文本分类方法，旨在解决BiGRU无法较好地捕获文本的局部特征问题。
本发明是这样实现的，一种基于自注意力机制和BiGRU的文本分类方法，包括如下步骤：
步骤S1：使用自注意力机制生成新的字嵌入作为文本表示；
步骤S2：使用CNN提取文本局部特征；
步骤S3：利用BiGRU获取文本上下文语义信息和长距离依赖关系；
步骤S4：对CNN和BiGRU的输出进行融合；
步骤S5：使用全连接层，结合Softmax函数获得文本分类结果。
优选的，所述步骤S1中，中文文本分类采用基于字粒度的处理方式，将每一个文本实例看作是由字符构成的序列，并通过前述计算步骤将其转换成字嵌入序列。
优选的，GRU引入门对原始RNN中隐藏状态的计算方法进行修改，该门包括重置门、更新门、候选隐藏状态和隐藏状态。
优选的，所述BiGRU每个时间步隐藏状态的输出由当前时间步前向隐藏状态和后向隐藏状态拼接而成。
优选的，包括SBUTC模型，SBUTC模型由多个通道组成，其主体部分是4个CNN模型通道和1个BiGRU模型通道。
优选的，4个CNN模型通道分别使用4种不同尺寸的卷积核，其大小分别为2×768、3×768、4×768和5×768，每种尺寸的卷积核数目均为300个，卷积步长设置为1。
优选的，所述BiGRU模型通道由2个堆叠的BiGRU构成，隐藏层的维度均设置为300维。
优选的，所述CNN和BiGRU的输出通过拼接操作进行融合，进而作为全连接层的输入，全连接层使用ReLU作为激活函数，并且加入dropout机制。
与现有技术相比，本发明的有益效果是：本发明的一种基于自注意力机制和BiGRU的文本分类方法，利用自注意力机制关注对分类贡献较大的文本部分，使用含有不同尺寸卷积核的多通道CNN提取不同粒度的文本局部特征，同时通过含有跳层连接结构的堆叠BiGRU网络提取文本间上下文语义信息和长距离依赖关系，最后将CNN和BiGRU的输出进行特征融合，训练分类器对不同类型的文本信息进行分类。
附图说明
图1为本发明的方法步骤示意图；
图2为本发明中的GRU结构示意图；
图3为本发明中的BiGRU结构示意图；
图4为本发明中的SBUTC模型整体结构示意图；
图5为本发明中的卷积过程示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1-5，本发明提供一种技术方案：一种基于自注意力机制和BiGRU的文本分类方法，包括如下步骤：
步骤S1：使用自注意力机制生成新的字嵌入作为文本表示；
在本实施方式中，通过对预训练语言模型ERNIE进行微调的方式生成字嵌入表示，其间使用自注意力机制计算每一个字的self-attention值，该值决定了输入的文本中某一位置上的字与该文本内部其他部分的相互关注程度，self-attention计算过程分如式(1)～(3)所示：
Figure BDA0003097243660000041
Figure BDA0003097243660000042
Figure BDA0003097243660000043
其中，qi为一个句子中位置i上的字(词)wi的向量Query，kj、vj分别表示同一句子中位置j上的字(词)wj的向量Key和Value；dk表示kj的维度大小；i,j＝0，1，2，…，N-1，N表示句子包含的字(词)的数量；si,j为qi与kj作向量点积运算和除法运算后得到的结果；
Figure BDA0003097243660000044
是si,j的Softmax分值；zi即为wi经self-attention计算后得到的输出结果，最后，将zi和wi进行拼接，作为CNN和BIGRU的输入；
在中文文本分类任务中，一般需要对文本进行分词和去停用词等基于词粒度的处理，本文中的中文文本分类实验则采用基于字粒度的处理方式，将每一个文本实例看作是由字符构成的序列，并通过前述计算步骤将其转换成字嵌入序列，根据ZipF定律，大部分中文词汇出现次数很少，若使用基于词粒度的处理方式，会导致模型对应的词汇索引表规模过大，影响模型的训练效率和性能，并且在进行微调的时候，Out-of-Vocabulary问题会比较严重，而基于字粒度的处理方式能很好地避免这些问题，不再需要分词和去停用词等繁琐步骤，而且，在中文中单个汉字也有其特定意义，包含丰富的语义信息，此外，基于字嵌入的文本表示能够在一定程度上解决短文本特征词过少的问题，并有效避免对文本中出现的不规则特征词的错误划分。
步骤S2：使用CNN提取文本局部特征；
在本实施方式中，GRU引入了门的概念，对原始RNN中隐藏状态的计算方法进行了修改，其单元结构如图2所示，包括重置门、更新门、候选隐藏状态和隐藏状态等部分；
相关参数的计算和更新过程如式(4)～(7)所示：
Rt＝σ(ItWir+Ht-1Whr+br) (4)
Zt＝σ(ItWiz+Ht-1Whz+bz) (5)
Figure BDA0003097243660000051
Figure BDA0003097243660000052
其中，假设隐藏单元个数为h，时间步t的输入为It∈R1×d(1×d表示输入向量维度)，上一时间步t-1的隐藏状态为Ht-1∈R1×h，Wir，Wiz，Wih∈Rd×h和Whr，Whz，Whh∈Rh×h表示权重参数矩阵，br，bz，bh∈R1×h是偏差参数，σ表示sigmoid激活函数，⊙表示做按元素乘法，Rt，Zt，
Figure BDA0003097243660000053
Ht∈R1×h分别表示重置门、更新门、候选隐藏状态和隐藏状态的输出，重置门控制上一时间步的隐藏状态如何流入当前时间步的候选隐藏状态，有助于捕捉文本序列中的短期依赖系，更新门控制隐藏状态应该如何被包含有当前时间步信息的候选隐藏状态所更新，有助于捕捉文本序列中的短期依赖关系；
GRU中隐藏状态信息按照时间步顺序从前至后单向传递，只关注了文本中上文对下文的影响，无法体现出下文对上文乃至整体状态的影响，为了充分利用文本中的上下文关系，本文使用GRU的变体BiGRU，BiGRU每个时间步隐藏状态的输出由当前时间步前向隐藏状态和后向隐藏状态拼接而成，因此其受到前后两个方向信息传递的共同影响，包含的信息更丰富，BiGRU的模型结构如图3所示。
步骤S3：利用BiGRU获取文本上下文语义信息和长距离依赖关系；
在本实施方式中，如图4，SBUTC模型由多个通道组成，其主体部分是4个CNN模型通道和1个BiGRU模型通道，将通过自注意力机制生成的字嵌入作为每个通道的输入，每个字嵌入的维度是768维；
4个CNN模型通道分别使用4种不同尺寸的卷积核，其大小分别为2×768、3×768、4×768和5×768，每种尺寸的卷积核数目均为300个，卷积步长(stride)设置为1，不进行补零操作，如图5所示，经过卷积操作之后得到文本的局部特征被送入池化层，池化层使用时序最大池化策略对这些特征进行筛选和过滤，经过4个CNN通道生成的特征向量会被拼接在一起作为全连接层输入的一部分，这些拼接在一起的向量会为文本分类提供丰富的局部特征信息；
BiGRU模型通道由2个堆叠的BiGRU构成，隐藏层的维度均设置为300维，将文本序列从前后两个方向输入第一个BiGRU中，对其隐藏层中每一个时间步前后两个方向的隐藏状态输出进行拼接操作，作为第二个BiGRU每个时间步的输入，第二个BiGRU也将其隐藏层中每一个时间步前后两个方向的隐藏状态进行拼接并输出,堆叠两个BiGRU，一方面增加网络的深度，有助于提升训练效率和模型性能，另一方面有助于提取更深层次的文本上下文语义信息和依赖关系，此外使用跳层连接结构，将堆叠的BiGRU最后的输出与输入文本序列按照时间步顺序一一对应并进行拼接，这样做避免了训练过程中梯度弥散或爆炸现象的出现，同时使向量中包含的语义信息更为丰富，在一定程度上避免重要信息的丢失，拼接得到的向量需进行线性变换运算，过程如式(8)所示：
yi＝tanh(Wxi+b) (8)
其中xi表示时间步i上经过拼接后的向量表示，yi是线性变换输出，其可以看作是一个潜在的语义向量，所有时间步上的y会被送入池化层，通过最大池化操作，最终获得文本全局特征的定长表示。
步骤S4：对CNN和BiGRU的输出进行融合；
在本实施方式中，CNN和BiGRU的输出通过拼接操作进行融合，进而作为全连接层的输入，为更快计算，全连接层使用ReLU作为激活函数，并且加入dropout机制。
步骤S5：使用全连接层，结合Softmax函数获得文本分类结果。
在本实施方式中，在训练过程中，对于神经网络单元按照一定的概率将其暂时从网络中丢弃，使其不工作，这样做的目的是为了防止训练出的模型过拟合，提高模型的泛化能力，最后通过Softmax分类器获得分类结果，即在各分类标签上的概率分布，Softmax分类器将x分类为类别j的概率如式(9)所示：
Figure BDA0003097243660000071
其中，θ表示训练过程中的所有参数，k表示类别数。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：包括如下步骤：
步骤S1：使用自注意力机制生成新的字嵌入作为文本表示；
步骤S2：使用CNN提取文本局部特征；
步骤S3：利用BiGRU获取文本上下文语义信息和长距离依赖关系；
步骤S4：对CNN和BiGRU的输出进行融合；
步骤S5：使用全连接层，结合Softmax函数获得文本分类结果。
2.如权利要求1所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：所述步骤S1中，中文文本分类采用基于字粒度的处理方式，将每一个文本实例看作是由字符构成的序列，并通过前述计算步骤将其转换成字嵌入序列。
3.如权利要求1所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：GRU引入门对原始RNN中隐藏状态的计算方法进行修改，该门包括重置门、更新门、候选隐藏状态和隐藏状态。
4.如权利要求1所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：所述BiGRU每个时间步隐藏状态的输出由当前时间步前向隐藏状态和后向隐藏状态拼接而成。
5.如权利要求1所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：包括SBUTC模型，SBUTC模型由多个通道组成，其主体部分是4个CNN模型通道和1个BiGRU模型通道。
6.如权利要求5所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：4个CNN模型通道分别使用4种不同尺寸的卷积核，其大小分别为2×768、3×768、4×768和5×768，每种尺寸的卷积核数目均为300个，卷积步长设置为1。
7.如权利要求5所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：所述BiGRU模型通道由2个堆叠的BiGRU构成，隐藏层的维度均设置为300维。
8.如权利要求1所述的一种基于自注意力机制和BiGRU的文本分类方法，其特征在于：所述CNN和BiGRU的输出通过拼接操作进行融合，进而作为全连接层的输入，全连接层使用ReLU作为激活函数，并且加入dropout机制。
CN202110613933.8A 2021-06-02 2021-06-02 一种基于自注意力机制和BiGRU的文本分类方法 Pending CN113312483A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110613933.8A CN113312483A (zh) 2021-06-02 2021-06-02 一种基于自注意力机制和BiGRU的文本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110613933.8A CN113312483A (zh) 2021-06-02 2021-06-02 一种基于自注意力机制和BiGRU的文本分类方法

Publications (1)

Publication Number Publication Date
CN113312483A true CN113312483A (zh) 2021-08-27

Family

ID=77376948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110613933.8A Pending CN113312483A (zh) 2021-06-02 2021-06-02 一种基于自注意力机制和BiGRU的文本分类方法

Country Status (1)

Country Link
CN (1) CN113312483A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779988A (zh) * 2021-09-07 2021-12-10 科大国创云网科技有限公司 一种通信领域过程类知识事件抽取方法
CN114154493A (zh) * 2022-01-28 2022-03-08 北京芯盾时代科技有限公司 一种短信类别的识别方法及装置
CN115858791A (zh) * 2023-02-17 2023-03-28 成都信息工程大学 短文本分类方法、装置、电子设备和存储介质
CN116055293A (zh) * 2023-04-03 2023-05-02 深圳市纵联网络科技有限公司 路由器的远程故障监控方法及路由器
CN116226702A (zh) * 2022-09-09 2023-06-06 武汉中数医疗科技有限公司 一种基于生物电阻抗的甲状腺采样数据识别方法
CN117436452A (zh) * 2023-12-15 2024-01-23 西南石油大学 融合上下文感知和多层次特征的金融实体识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532386A (zh) * 2019-08-12 2019-12-03 新华三大数据技术有限公司 文本情感分类方法、装置、电子设备及存储介质
CN110674305A (zh) * 2019-10-10 2020-01-10 天津师范大学 一种基于深层特征融合模型的商品信息分类方法
CN112417098A (zh) * 2020-11-20 2021-02-26 南京邮电大学 基于CNN-BiMGU模型的短文本情感分类方法
US20210089904A1 (en) * 2019-09-20 2021-03-25 Electronics And Telecommunications Research Institute Learning method of neural network model for language generation and apparatus for performing the learning method
CN112699675A (zh) * 2020-12-30 2021-04-23 平安科技（深圳）有限公司 文本处理方法、装置、设备及计算机可读存储介质
US20210174170A1 (en) * 2018-11-30 2021-06-10 Tencent Technology (Shenzhen) Company Limited Sequence model processing method and apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174170A1 (en) * 2018-11-30 2021-06-10 Tencent Technology (Shenzhen) Company Limited Sequence model processing method and apparatus
CN110532386A (zh) * 2019-08-12 2019-12-03 新华三大数据技术有限公司 文本情感分类方法、装置、电子设备及存储介质
US20210089904A1 (en) * 2019-09-20 2021-03-25 Electronics And Telecommunications Research Institute Learning method of neural network model for language generation and apparatus for performing the learning method
CN110674305A (zh) * 2019-10-10 2020-01-10 天津师范大学 一种基于深层特征融合模型的商品信息分类方法
CN112417098A (zh) * 2020-11-20 2021-02-26 南京邮电大学 基于CNN-BiMGU模型的短文本情感分类方法
CN112699675A (zh) * 2020-12-30 2021-04-23 平安科技（深圳）有限公司 文本处理方法、装置、设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
姚妮等: "基于BERT和BiGRU的在线评论文本情感分类研究", 《轻工学报》 *
崔昕阳等: "基于并行双向门控循环单元与自注意力机制的中文文本情感分类", 《北京化工大学学报(自然科学版)》 *
陆敬筠等: "基于自注意力的扩展卷积神经网络情感分类", 《计算机工程与设计》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779988A (zh) * 2021-09-07 2021-12-10 科大国创云网科技有限公司 一种通信领域过程类知识事件抽取方法
CN114154493A (zh) * 2022-01-28 2022-03-08 北京芯盾时代科技有限公司 一种短信类别的识别方法及装置
CN116226702A (zh) * 2022-09-09 2023-06-06 武汉中数医疗科技有限公司 一种基于生物电阻抗的甲状腺采样数据识别方法
CN116226702B (zh) * 2022-09-09 2024-04-26 武汉中数医疗科技有限公司 一种基于生物电阻抗的甲状腺采样数据识别方法
CN115858791A (zh) * 2023-02-17 2023-03-28 成都信息工程大学 短文本分类方法、装置、电子设备和存储介质
CN115858791B (zh) * 2023-02-17 2023-09-15 成都信息工程大学 短文本分类方法、装置、电子设备和存储介质
CN116055293A (zh) * 2023-04-03 2023-05-02 深圳市纵联网络科技有限公司 路由器的远程故障监控方法及路由器
CN117436452A (zh) * 2023-12-15 2024-01-23 西南石油大学 融合上下文感知和多层次特征的金融实体识别方法
CN117436452B (zh) * 2023-12-15 2024-02-23 西南石油大学 融合上下文感知和多层次特征的金融实体识别方法

Similar Documents

Publication Publication Date Title
CN113312483A (zh) 一种基于自注意力机制和BiGRU的文本分类方法
CN109376242B (zh) 基于循环神经网络变体和卷积神经网络的文本分类方法
Liu et al. Chinese image caption generation via visual attention and topic modeling
CN107943784B (zh) 基于生成对抗网络的关系抽取方法
Perez-Martin et al. Improving video captioning with temporal composition of a visual-syntactic embedding
CN108830287A (zh) 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法
CN110866117A (zh) 一种基于语义增强与多层次标签嵌入的短文本分类方法
CN110826338B (zh) 一种单选择门与类间度量的细粒度语义相似识别的方法
CN111027595B (zh) 双阶段语义词向量生成方法
CN111522908A (zh) 一种基于BiGRU和注意力机制的多标签文本分类方法
CN110781290A (zh) 一种长篇章结构化文本摘要提取方法
Liu et al. Video captioning with listwise supervision
Islam et al. A review on video classification with methods, findings, performance, challenges, limitations and future work
CN111639186A (zh) 动态嵌入投影门控的多类别多标签文本分类模型及装置
CN116383387A (zh) 一种基于事理逻辑的联合事件抽取方法
CN114462420A (zh) 一种基于特征融合模型的虚假新闻检测方法
Miao et al. Application of CNN-BiGRU Model in Chinese short text sentiment analysis
Nezami et al. Image captioning using facial expression and attention
CN113641809B (zh) 一种基于XLNet模型与知识图谱的智能问答方法
CN113377953B (zh) 一种基于palc－dca模型的实体融合及分类方法
Xue et al. LCSNet: End-to-end lipreading with channel-aware feature selection
CN117236338B (zh) 一种稠密实体文本的命名实体识别模型及其训练方法
Wei et al. Stack-vs: Stacked visual-semantic attention for image caption generation
CN115169429A (zh) 一种轻量化方面级文本情感分析方法
CN114020917A (zh) 基于自注意力机制与卷积神经网络的新闻文本分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210827