CN114118273B - 一种基于标签和文本块注意力机制的极限多标签分类数据增强方法 - Google Patents
一种基于标签和文本块注意力机制的极限多标签分类数据增强方法 Download PDFInfo
- Publication number
- CN114118273B CN114118273B CN202111425938.4A CN202111425938A CN114118273B CN 114118273 B CN114118273 B CN 114118273B CN 202111425938 A CN202111425938 A CN 202111425938A CN 114118273 B CN114118273 B CN 114118273B
- Authority
- CN
- China
- Prior art keywords
- text
- label
- representation
- data
- long tail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000007246 mechanism Effects 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000012935 Averaging Methods 0.000 claims abstract description 4
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 238000011176 pooling Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于标签和文本块注意力机制的极限多标签分类数据增强方法，包括：选择原始数据集；通过BERT学习文本中每个词的高层语义表示；将文本切分成等长的若干个文本块，通过对文本块内每个词的高层语义表示求平均，获得整个文本块的表示；通过注意力机制计算每个文本块的表示和标签的向量表示的相关度，对所有文本块的表示进行融合，经过训练后得到完整的标签‑文本块关系模型，再根据相关度进行数据增强，最终输出增强后的新数据集。本发明考虑了标签和文本块之间的关系，利用模型学习标签和文本之间的关联性，基于“长尾”标签相关联的文本块对原始数据中不重要的文本块进行替换，对各种已有模型在新数据集上的多标签分类效果获得了显著的提升。
Description
技术领域
本发明属于计算机应用技术领域，具体涉及数据挖掘，极限多标签分类，特别是一种基于标签和文本块注意力机制的极限多标签分类数据增强方法。
背景技术
近年来，随着互联网的快速发展，社交媒体、电商网站等平台积累了大量的带标签的文本数据。由于标签集的数量庞大，极限多标签分类任务即是从大量的标签集中找到文本最相关的几个标签。通过极限多标签分类任务从而进行数据挖掘对各行业的发展具有重要意义，例如对电商网站中的商品评价数据进行分析，可以帮助商家了解消费者的购买倾向，进而为其提供有效的决策支持，帮助其对现有产品和服务进行改进。由于这种数据通常具有文本长度长、整体标签集大、部分标签出现次数很少等特点，现有的方法对数据集中出现次数较少的标签分类效果较差，进而影响了整体的分类性能，目前通常把在整个数据集中出现次数少的标签称为“长尾”标签，因此如何通过一种新的数据增强方法增加“长尾”标签的数量进而提升分类的效果是本发明专利研究的核心任务。
目前，国内外已有很多工作针对极限多标签分类任务开展了相关研究，并且取得了一定的研究成果。现有的相关研究方法主要可以分为两类：基于传统机器学习的方法和基于神经网络的方法。
在基于传统机器学习的方法中，这些方法把多标签分类任务看作多个二分类任务。ProXML[1]对每个标签进行分类，判断是否与文本相关，这种方法被统称为一对多方法。虽然这种方法取得了一定的效果，但是面临着大量的计算资源消耗并且空间复杂度较高。为了缓解这种问题，基于树的方法被提出，Jasinska[2]等人使用一个概率标签树去划分了标签集，进而缓解了大量的计算消耗等问题。但是基于树的方法仍有一些问题，“长尾”标签会被错误地和一些完全不相关的标签分到一起，从而影响了整体的分类性能。
近年来，随着神经网络的发展，许多基于神经网络的方法也被提出。XMLCNN[3]首次通过一个卷积神经网络和一个全连接层去解决极限多标签分类问题。AttentionXML[4]将传统机器学习中的概率树和循环神经网络进行了结合，抓住了标签和文本之间的关系，在性能上有了较大的提升。LightXML[5]采取了BERT[6]作为文本的编码器，获得了较好的文本表示，并在标签召回缓解采用了负采样，具有了目前最好的极限多标签分类的效果。
虽然上述方法均在一定程度上对分类性能有了提升，但是都仍未解决或减轻极限多标签分类的根本问题，“长尾”标签的存在对分类器分类的影响依然很大，这些方法在长尾标签相关的数据上单独进行分类效果都不理想。
发明内容
本发明目的是针对现有技术无法在出现次数少的标签上获得较好分类效果的问题，提供一种基于标签和文本块注意力机制的极限多标签分类数据增强方法，增强出现次数较少标签相关的数据，从而提升各类模型在此类标签上的分类性能。
本发明认为，通过数据增强方法增加数据集中“长尾”标签(数据集中出现频数少的标签)出现的数量进而基于已有方法提升极限多标签分类的性能是一种有效的解决“长尾”标签分类性能差的途径。由此，如何设计一种数据增强方法有针对性地增加“长尾”标签相关数据是本发明主要解决的问题。
针对上述问题，本发明构建了一种基于标签和文本块注意力机制的极限多标签分类数据增强方法，本发明认为，一个标签一般与文本中的一部分相关，因此本发明将数据中的每条文本等长切分成若干个文本块，设计了一个方法学习标签和文本之间的关系，找到每个标签相关性最强的文本块，将原始数据集中不带“长尾”标签的文本中一些不重要的文本块替换成与“长尾”标签强关联的文本块，从而形成了新的数据加入到原始数据集中形成新的数据集，以改善“长尾”标签的分类效果，进而提升整体的极限多标签分类效果。
本发明的技术方案如下
如附图2所示，一种基于标签和文本块注意力机制的极限多标签分类数据增强方法，包括：
步骤1)选择原始数据集和设置每条文本需要分成的文本块块数；
步骤2)每条输入文本经过基于变压器的双向编码器(BERT)的分词器后获得浅层的每个词的向量表示，由于标签的形式不一定是文本，因此将通过随机初始化获得标签的向量表示，并将标签的向量表示设为有梯度状态，使得标签的表示在后续的训练中可以继续学习更新；
步骤3)基于步骤2中的文本浅层向量表示，学习文本中每个词的高层语义表示；
根据步骤2中输出的每个词的浅层向量表示，利用BERT编码器以序列的方式对文本中的词进行高层的语义编码。
步骤4)根据步骤3的输出和预设的文本块大小，计算文本块的语义表示；
根据步骤3的输出，得到了每个词的高层语义表示，基于预设的文本块大小，将文本切分成等长的若干个文本块，通过对文本块内每个词的高层语义表示求平均，获得整个文本块的表示。
步骤5)根据步骤4中获得的每个文本块的表示和步骤2中的标签的向量表示，通过注意力机制计算两种表示的相关度，并根据相关度对所有文本块的表示进行融合，随后将融合后的文本表示送入分类器进行分类，进而更新注意力机制中的query和key之间的权重参数，经过训练后得到了完整的标签-文本块关系模型，如附图1所示。
步骤6)基于步骤5获得的训练后的标签-文本块关系模型，通过标签向量表示和文本块向量表示的相关度进行数据增强；
根据步骤5获得的标签-文本块关系模型，在数据集中找出“长尾”标签(数据集中出现频数少的标签)相关的文本块，而由于“长尾”标签相关数据本身较少，因此首先找出非“长尾”标签相关的文本块，在“长尾”和非“长尾”标签同时存在的数据中，将非“长尾”标签相关的文本块排除，剩余的文本块则作为“长尾”标签的相关联文本块。若一条数据中存在多个“长尾”标签，则文本块属于相关度最强的“长尾”标签。随机选择一个“长尾”标签和一条数据，将数据中若干个与原始标签都不相关的文本块替换为该“长尾”标签的文本块，并将该“长尾”标签加入到该条原始数据的标签集合中，形成新的一条数据加入到原始数据集中，反复随机选择“长尾”标签和数据，最终获得了新的数据集。
步骤7)根据步骤6中获得的新数据，重新用已有的极限多标签分类模型进行训练，可以看到性能的提升。
步骤8)输出新数据集。
本发明的优点和有益效果：
本发明基于论文摘要及其所属标签数据实现对其极限多标签分类，提出的方法考虑了标签和文本块之间的关系，利用模型学习标签和文本之间的关联性，并得到标签相关联的文本块，基于“长尾”标签相关联的文本块对原始数据中不重要的文本块进行替换，并增加对应长尾标签，形成新的数据加入到原始数据集中，各种已有模型在新数据集上的多标签分类效果获得了显著的提升。
附图说明
图1是本发明的标签-文本块关系学习模型示意图。
图2是本发明的基于标签和文本块注意力机制的极限多标签分类数据增强方法处理流程图。
具体实施方式
实施例1：
下面结合附图和具体实施例对本发明提供的基于标签和文本块注意力机制的极限多标签分类数据增强方法进行详细说明。
本发明主要采用自然语言处理相关的理论和方法，为了保证方法的正常运行，在具体实施中，要求所使用的计算机平台配备不低于16G的内存，CPU核心数不低于4个且主频不低2.6GHz、Linux操作系统，并安装Python 3.6及以上版本、pytorch框架等必备软件环境。
在步骤1，2)中：原始的数据集可以表示为XN：
其中N表示数据集中数据的数量，xi表示一条文本，yi∈{0，1}L，对应这条数据的标签集合，用一个L维的独热编码的向量表示，L是整个数据集中标签的总个数。
同时，可以预设将每条文本分成T个等长的文本块，T为正整数，每个文本块用wik表示。
所有标签的表示可以被初始化为C：
C＝[c1，c2，c3，...，cL)
其中，C∈RL×g，g表示每个标签向量表示的维度，ci表示每一个标签的向量表示，R表示维度符号。
在步骤3)中，基于步骤2中的文本浅层表示，学习文本中每个词的高层语义表示：
通过将浅层的文本表示x送入BERT，获得文本的高层语义表示ht：
ht＝BERT(x)，ht∈Rd
其中，t∈[0，z]，t表示x的第t个词，z是输入文本中词的最大数量，d表示高层语义表示ht的维度。
在步骤4)中，基于步骤3获得的高层表示和步骤1中预设的文本块块数，通过平均池化每个块内所有字符的表示来获得整个文本块的表示
l是每个文本块中词的数量，l＝z/T。
随后，可以得到融合后整体文本的表示H：
在步骤5)中，以步骤4融合后整体的文本表示作为输入，利用标签表示通过注意力机制选择文本中与每个标签相关的文本块，可通过下式生成注意力权重向量A：
A＝softmax(CWHT)
其中，W是模型的标签和文本块向量表示之间的权重矩阵参数。
在得到注意力权重向量A的基础上，利用下式得到基于标签不同关注度的文本表示S：
S＝AH
其中，S∈RL×d
随后，将融合后的文本表示送入全连接层进行分类：
G(S)＝σ(WsST+bs)
经过多轮训练后，可以得到能较准确捕获标签和文本块关系的模型，模型结构如附图1所示。
步骤6)根据在步骤5中得到的标签-文本块关系模型，如果yi同时包括“长尾”标签yil和一些非“长尾”标签，对于xi中的文本块wk，若：
A(wk，yi)≤α
则将wk储存到用来存放“长尾”标签及其相关文本块的集合中，其中α是初始人为设定的阈值，用来判断权重分值的高低；遍历整个原始数据集XN，对整个数据集执行上述步骤，找出“长尾”标签相关的文本块；
随后针对整个原始数据集，随机选择出一条数据(xq，yq)，其中，xq表示输入文本，yq表示文本对应的标签，从所有“长尾”标签的集合M中随机选择一个“长尾”标签ya，对(xq，yq)中的文本块wk，若A(wk，ya)＜β，则从标签yq对应的文本块集合中随机选择文本块wt，将wk替换为wt，重复执行此操作，直到替换的次数达到设定次数r，则形成一条新的数据，并将对应的ya加入到yq中。
反复随机选择“长尾”标签和原始数据集XN里面的数据，则可最终形成新的数据集
步骤7)基于新的数据集在已有的各种极限多标签分类模型上进行训练，在“长尾”标签的分类准确率上有显著的提升，从而使得整体的分类准确率有显著提升。
例如，在公开数据集EUR-Lex上，该增强方法增强后的数据基于AttentionXML[4]在“长尾”标签相关数据的分类性能上提升0.9％，在全部数据的分类性能上提升1.2％。
步骤8)反复进行上述步骤1-6，最终输出新的数据集。
例如，针对公开数据集EUR-Lex，原始语句如下，并且与”cs.AI”,”cs.CV”标签相关：
Digital elevation models\(dem\)are images having terrain informationembedded into them using cognitive mapping concepts for dem registration,hasevolved from this basic idea ofusing the mapping between the space to objectsand defining their relationships to form the basic landmarks that need to bemarked,stored and manipulated in and about the environment or other candidateenvironments…
经过数据增强后的语句如下，并且与”cs.AI”,”cs.CV”,”physics.data-an”标签相关：
And simulate real world complex into them using cognitive mappingestimation of the parameters by complex network,social network idea ofusingthe mapping between the space to objects and defining their relationships toform the basic landmarks that need to be marked,stored and manipulated in andabout the environment or other candidate environments…
参考文献：
[1]Babbar R,B.Data scarcity,robustness and extreme multi-label classification[J].Machine Learning,2019,108(8):1329-1351.
[2]Jasinska K,Dembczynski K,Busa-Fekete R,et al.Extreme f-measuremaximization using sparse probability estimates[C]//International conferenceon machine learning.PMLR,2016:1435-1444.
[3]Liu J,Chang W C,Wu Y,et al.Deep learning for extreme multi-labeltext classification[C]//Proceedings of the 40th International ACM SIGIRConference on Research andDevelopment in Information Retrieval.2017:115-124.
[4]You R,Zhang Z,Wang Z,et al.Attentionxml:Label tree-basedattention-aware deep model for high-performance extreme multi-label textclassification[J].arXiv preprint arXiv:1811.01727,2018.
[5]Jiang T,Wang D,Sun L,et al.LightXML:Transformer with DynamicNegative Sampling for High-Performance Extreme Multi-label TextClassification[J].arXiv preprint arXiv:2101.03305,2021.
[6]Devlin J,Chang M W,Lee K,et al.Bert:Pre-training ofdeepbidirectional transformers for language understanding[J].arXiv preprintarXiv:1810.04805,2018.
Claims (6)
1.一种基于标签和文本块注意力机制的极限多标签分类数据增强方法，包括下列步骤：
步骤1)选择原始数据集和设置每条文本需要分成的文本块块数；
步骤2)每条输入文本经过基于变压器的双向编码器(BERT)的分词器后获得浅层的每个词的向量表示，由于标签的形式不一定是文本，因此将通过随机初始化获得标签的向量表示，并将标签的向量表示设为有梯度状态，使得标签的表示在后续的训练中能够继续学习更新；
步骤3)基于步骤2中的文本浅层向量表示，学习文本中每个词的高层语义表示；
根据步骤2中输出的每个词的浅层向量表示，利用BERT编码器以序列的方式对文本中的词进行高层的语义编码；
步骤4)根据步骤3的输出和预设的文本块大小，计算文本块的语义表示；
根据步骤3的输出，得到了每个词的高层语义表示，基于预设的文本块大小，将文本切分成等长的若干个文本块，通过对文本块内每个词的高层语义表示求平均，获得整个文本块的表示；
步骤5)根据步骤4中获得的每个文本块的表示和步骤2中的标签的向量表示，通过注意力机制计算两种表示的相关度，并根据相关度对所有文本块的表示进行融合，随后将融合后的文本表示送入分类器进行分类，进而更新注意力机制中的query和key之间的权重参数，经过训练后得到了完整的标签-文本块关系模型；
步骤6)基于步骤5获得的训练后的标签-文本块关系模型，通过标签向量表示和文本块向量表示的相关度进行数据增强；
根据步骤5获得的标签-文本块关系模型，在数据集中找出出现频数少的标签亦即“长尾”标签相关的文本块，而由于“长尾”标签相关数据本身较少，因此首先找出非“长尾”标签相关的文本块，在“长尾”和非“长尾”标签同时存在的数据中，将非“长尾”标签相关的文本块排除，剩余的文本块则作为“长尾”标签的相关联文本块；若一条数据中存在多个“长尾”标签，则文本块属于相关度最强的“长尾”标签；随机选择一个“长尾”标签和一条数据，将数据中若干个与原始标签都不相关的文本块替换为该“长尾”标签的文本块，并将该“长尾”标签加入到该条原始数据的标签集合中，形成新的一条数据加入到原始数据集中，反复随机选择“长尾”标签和数据，最终获得了新的数据集；
步骤7)根据步骤6中获得的新数据，重新用已有的极限多标签分类模型进行训练；
步骤8)输出新数据集。
2.根据权利要求1所述的基于标签和文本块注意力机制的极限多标签分类数据增强方法，其特征在于，步骤1)中的原始数据集表示为XN：
其中N表示数据集中数据的数量，xi表示一条文本，yi∈{0，1}L，对应这条数据的标签集合，用一个L维的独热编码的向量表示，L是整个数据集中标签的总个数；
同时，预设将每条文本分成T个等长的文本块，T为正整数，每个文本块用wik表示；
所有标签的表示被初始化为C:
C＝[c1,c2,c3,…,cL]
其中，C∈RL×g，g表示每个标签向量表示的维度，ci表示每一个标签的向量表示，R表示维度符号。
3.根据权利要求2所述的基于标签和文本块注意力机制的极限多标签分类数据增强方法，其特征在于，步骤3)中所述进行高层的语义编码的方法是：
通过将浅层的文本中每个词的向量表示x送入BERT，获得文本的高层语义向量表示ht，
ht＝BERT(x),ht∈Rd
其中，t∈[0，z]，t表示x的第t个词，z是输入文本中词的最大数量，d表示高层语义表示ht的维度。
4.根据权利要求3所述的基于标签和文本块注意力机制的极限多标签分类数据增强方法，其特征在于，在步骤4)中获得整个文本块的表示的方法是，基于步骤3获得的高层表示和步骤1中预设的文本块块数，通过平均池化每个块内所有字符的表示来获得整个文本块的表示
l是每个文本块中词的数量，l＝z/T；
随后，得到融合后整体文本的表示H：
5.根据权利要求4所述的基于标签和文本块注意力机制的极限多标签分类数据增强方法，其特征在于，在步骤5)中，以步骤4融合后整体的文本表示作为输入，利用标签表示通过注意力机制选择文本中与每个标签相关的文本块，通过下式生成注意力权重向量A：
A＝softmax(CWHT)
其中，W是模型的标签和文本块向量表示之间的权重矩阵参数；
在得到注意力权重向量A的基础上，利用下式得到基于标签不同关注度的文本表示S：
S＝AH
其中，S∈RL×d
随后，将融合后的文本表示送入全连接层进行分类：
G(S)＝σ(WsST+bs)
经过多轮训练后，得到能较准确捕获标签和文本块关系的模型。
6.根据权利要求5所述的基于标签和文本块注意力机制的极限多标签分类数据增强方法，其特征在于，步骤6)中所述获取新的数据的方法是，根据在步骤5中得到的标签-文本块关系模型，如果yi同时包括“长尾”标签yil和一些非“长尾”标签，对于xi中的文本块wk，若：
A(wk,yi)≤α
则将wk储存到用来存放“长尾”标签及其相关文本块的集合中，其中α是初始人为设定的阈值，用来判断权重的分值高低；遍历整个原始数据集XN，对整个数据集执行上述步骤6，找出“长尾”标签相关的文本块；
随后针对整个原始数据集，随机选择出一条数据(xq，yq)，其中，xq表示输入文本，yq表示文本对应的标签，从所有“长尾”标签的集合M中随机选择一个“长尾”标签ya，对(xq，yq)中的文本块wk，若A(wk，ya)＜β，则从标签yq对应的文本块集合中随机选择文本块wt，将wk替换为wt，重复执行此操作，直到替换的次数达到设定次数r，则形成一条新的数据，并将对应的ya加入到yq中；
反复随机选择“长尾”标签和原始数据集XN里面的数据，则最终形成新的数据集
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111425938.4A CN114118273B (zh) | 2021-11-24 | 2021-11-24 | 一种基于标签和文本块注意力机制的极限多标签分类数据增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111425938.4A CN114118273B (zh) | 2021-11-24 | 2021-11-24 | 一种基于标签和文本块注意力机制的极限多标签分类数据增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114118273A CN114118273A (zh) | 2022-03-01 |
| CN114118273B true CN114118273B (zh) | 2024-04-26 |
Family
ID=80370813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111425938.4A Active CN114118273B (zh) | 2021-11-24 | 2021-11-24 | 一种基于标签和文本块注意力机制的极限多标签分类数据增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114118273B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582789A (zh) * | 2018-11-12 | 2019-04-05 | 北京大学 | 基于语义单元信息的文本多标签分类方法 |
| CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
| CN111428026A (zh) * | 2020-02-20 | 2020-07-17 | 西安电子科技大学 | 一种多标签文本分类处理方法及系统、信息数据处理终端 |
| CN112667940A (zh) * | 2020-10-15 | 2021-04-16 | 广东电子工业研究院有限公司 | 基于深度学习的网页正文抽取方法 |
| CN112711953A (zh) * | 2021-01-19 | 2021-04-27 | 湖南大学 | 一种基于注意力机制和gcn的文本多标签分类方法和系统 |
| CN113326378A (zh) * | 2021-06-16 | 2021-08-31 | 山西财经大学 | 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10733380B2 (en) * | 2017-05-15 | 2020-08-04 | Thomson Reuters Enterprise Center Gmbh | Neural paraphrase generator |
-
2021
- 2021-11-24 CN CN202111425938.4A patent/CN114118273B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582789A (zh) * | 2018-11-12 | 2019-04-05 | 北京大学 | 基于语义单元信息的文本多标签分类方法 |
| CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
| CN111428026A (zh) * | 2020-02-20 | 2020-07-17 | 西安电子科技大学 | 一种多标签文本分类处理方法及系统、信息数据处理终端 |
| CN112667940A (zh) * | 2020-10-15 | 2021-04-16 | 广东电子工业研究院有限公司 | 基于深度学习的网页正文抽取方法 |
| CN112711953A (zh) * | 2021-01-19 | 2021-04-27 | 湖南大学 | 一种基于注意力机制和gcn的文本多标签分类方法和系统 |
| CN113326378A (zh) * | 2021-06-16 | 2021-08-31 | 山西财经大学 | 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于块密度加权标签路径特征的Web新闻在线抽取;吴共庆;刘鹏程;胡骏;胡学钢;中国科学(信息科学);20171231(第008期);全文 * |
| 基于标签语义注意力的多标签文本分类;肖琳;陈博理;黄鑫;刘华锋;景丽萍;于剑;软件学报;20201231(第004期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114118273A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309306B (zh) | 一种基于wsd层级记忆网络的文档建模分类方法 | |
| CN109902145B (zh) | 一种基于注意力机制的实体关系联合抽取方法和系统 | |
| Cao et al. | Deep visual-semantic quantization for efficient image retrieval | |
| Zhou et al. | Deep forest hashing for image retrieval | |
| CN112800776B (zh) | 双向gru关系抽取数据处理方法、系统、终端、介质 | |
| CN111125411B (zh) | 一种深度强相关哈希学习的大规模图像检索方法 | |
| CN114896388A (zh) | 一种基于混合注意力的层级多标签文本分类方法 | |
| CN113377981B (zh) | 基于多任务深度哈希学习的大规模物流商品图像检索方法 | |
| CN112306494A (zh) | 一种基于卷积和循环神经网络的代码分类及聚类方法 | |
| CN110633365A (zh) | 一种基于词向量的层次多标签文本分类方法及系统 | |
| CN114218389A (zh) | 一种基于图神经网络的化工制备领域长文本分类方法 | |
| CN112163114B (zh) | 一种基于特征融合的图像检索方法 | |
| CN113515632A (zh) | 基于图路径知识萃取的文本分类方法 | |
| Zhang et al. | Image region annotation based on segmentation and semantic correlation analysis | |
| CN113836896A (zh) | 一种基于深度学习的专利文本摘要生成方法和装置 | |
| CN115481355A (zh) | 一种基于类别扩展的数据建模方法 | |
| Wang et al. | Semi-supervised dual low-rank feature mapping for multi-label image annotation | |
| CN112883216B (zh) | 基于扰动一致性自集成的半监督图像检索方法及装置 | |
| Wei et al. | A survey on extreme multi-label learning | |
| CN114118273B (zh) | 一种基于标签和文本块注意力机制的极限多标签分类数据增强方法 | |
| CN112925907A (zh) | 基于事件图卷积神经网络的微博评论观点对象分类方法 | |
| Zhan et al. | Multi-similarity semantic correctional hashing for cross modal retrieval | |
| Yang et al. | Asymmetric deep semantic quantization for image retrieval | |
| CN116662490B (zh) | 融合层次化标签信息的去混淆文本哈希算法和装置 | |
| CN114626378A (zh) | 命名实体识别方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |