CN114491036A - 一种基于自监督和有监督联合训练的半监督文本分类方法及系统 - Google Patents
一种基于自监督和有监督联合训练的半监督文本分类方法及系统 Download PDFInfo
- Publication number
- CN114491036A CN114491036A CN202210087416.6A CN202210087416A CN114491036A CN 114491036 A CN114491036 A CN 114491036A CN 202210087416 A CN202210087416 A CN 202210087416A CN 114491036 A CN114491036 A CN 114491036A
- Authority
- CN
- China
- Prior art keywords
- data
- supervised
- classification
- data set
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000013145 classification model Methods 0.000 claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000000052 comparative effect Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于自监督和有监督联合训练的半监督文本分类方法及系统，包括以下步骤：采集任务相关数据集，所述数据集包括标注数据集T和未标注数据集U；对所述数据集进行数据增强处理，将处理后得到的增强视图用于扩充原始数据集，得到新样本数据集，所述新样本数据集包括标注数据集T'和未标注数据集U'；构建文本语义特征提取网络模型，基于文本语义特征提取网络模型获取文本语义特征向量；在所述文本语义特征提取网络模型上构建分类层，得到分类模型；从所述新样本数据集中重复采样得到batch数据组，每个batch数据组内均包含标注数据和未标注数据；采用所述batch数据组在分类模型上进行分类和对比学习的联合训练,更新模型参数。
Description
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种基于自监督和有监督联合训练的半监督文本分类方法及系统。
背景技术
近年来，随着互联网技术的快速发展，电子文本数据的数量呈爆炸式增长，如何有效地组织和管理这些文本数据就显得越来越重要。文本分类作为自然语言处理领域的核心技术，可以自动、高效、准确地处理海量数据，在搜索引擎、舆情分析、信息过滤、人机对话等多个领域被广泛应用并取得了满意的工程效果。
然而，传统的文本分类方法通常基于有监督式学习，这种学习方式十分依赖大量高质量标注数据，而数据标注往往需要昂贵的成本。因此，半监督学习，一种结合有监督和无监督的学习方式，成为文本分类的一个关键突破点，它能够同时利用少量标注数据和大量无标注数据，降低标注成本，同时还能获得良好性能。
现有的半监督分类方法大多是将标注数据和非标注数据完全分离来进行训练，虽然可以利用未标注数据中的语义信息，但是模型仍然容易过拟合于有限的标注数据中，不能有效表征数据特征，特别是在样本差异性不是特别明显的场景中，很难达到用户使用要求。此外，对比学习，一种自监督学习方法，不需要人工标注信息，直接利用数据本身作为监督信息来学习样本数据特征，已在计算机视觉领域取得了显著效果，却鲜有在自然语言处理领域的半监督学习中得到应用。
发明内容
本发明的目的在于提供一种基于自监督和有监督联合训练的半监督文本分类方法及系统，以期解决背景技术中存在的技术问题。
为了实现上述目的，本发明采用以下技术方案：
一种基于自监督和有监督联合训练的半监督文本分类方法，包括以下步骤：
采集任务相关数据集，所述数据集包括标注数据集T和未标注数据集U；
对所述数据集进行数据增强处理，将处理后得到的增强视图用于扩充原始数据集，得到新样本数据集，所述新样本数据集包括标注数据集T'和未标注数据集U'；
构建文本语义特征提取网络模型，基于文本语义特征提取网络模型获取文本语义特征向量；
在所述文本语义特征提取网络模型上构建分类层，得到分类模型；
从所述新样本数据集中重复采样得到batch数据组，每个batch数据组内均包含标注数据和未标注数据；
采用所述batch数据组在分类模型上进行分类和对比学习的联合训练,更新模型参数。
在一些实施例中，所述步骤采集任务相关数据集，所述数据集包括标注数据集T和未标注数据集U，包括：利用数据采集工具采集任务相关数据集；标注数据集T采用人工标注的方法、采用辅助工具进行半自动标注的方法、采用基于规则和词典进行全自动标注的方法进行标注。
在一些实施例中，所述数据增强处理采用基于字/词的数据增强方法，所述基于字/词的数据增强方法包含但不限于：回译、同义词替换、随机插入、随机删除、随机打乱句子顺序。
在一些实施例中，所述数据增强处理采用基于Embedding的数据增强方法，基于Embedding的数据增强方法包含但不限于：生成对抗样本、Dropout、SpatialDropout1D。
在一些实施例中，所述文本语义特征提取网络模型包含两大部分：特征提取基础模型和池化层；特征提取基础模型的输出为向量序列；
特征提取基础模型由以下神经网络实现：卷积神经网络、循环神经网络、Attention神经网络以及基于Transformer的各类预训练模型；
将特征提取基础模型的输出进行池化操作，获得样本语义特征向量；
池化操作包含但不限于：最大池化，平均池化。
在一些实施例中，所述分类层包含多个全连接层和一个softmax层；所述分类模型与所述文本语义特征提取网络模型实现参数共享。
在一些实施例中，每个batch数据组内标注数据和未标注数据的占比为0.6:0.4；每个未标注数据在batch数据组内存在其增强视图。
在一些实施例中，所述采用所述batch数据组在分类模型上进行分类和对比学习的联合训练,更新模型参数，包括：
构造自监督任务，采用未标注数据U'在所述特征提取模型上进行对比学习；
构造分类任务，采用标注数据T’在所述分类模型上进行文本分类任务；
采用所述batch数据组在分类模型上实现上述两个任务联合训练,更新模型参数。
在一些实施例中，所述构造自监督任务，采用未标注数据U'在所述特征提取模型上进行对比学习，包括：
通过所述特征提取模型获取未标注样本的语义特征向量；
将未标注数据与其增强视图视作正例，将未标注数据与batch数据组内其余数据视作负例；
通过式(1)、式(2)计算对比损失，通过最小化损失，实现正样例靠近，负样例远离的效果：
其中，Li是batch内任一未标注样本的对比损失，LU'是batch所有未标注样本对比损失之和；N是一个batch中数据总量，ri指的是batch中第i个文本的语义特征向量，rj指的是ri在batch内的增强视图所对应的语义特征向量，sim是余弦距离函数，τ是温度系数，I是指示函数；
所述构造分类任务，采用标注数据T’在所述分类模型上进行文本分类任务，包括：通过所述分类模型获取标注样本预测类别的概率分布；
采用式(3)所示交叉熵函数作为分类训练的损失函数；
其中，pi指的是batch中第i个文本的真实类别，qi指的是batch中第i个文本的预测值的概率分布；
其中，pi指的是batch中第i个文本的真实类别，qi指的是batch中第i个文本的预测值的概率分布；
所述采用所述batch数据组在分类模型上实现上述两个任务联合训练,更新模型参数，包括：
计算整个模型的总损失函数如式(4)所示，通过最小化总损失，实现分类和对比学习的联合训练，共同更新模型参数：
L＝αLU'+(1-α)LT' (4)
其中，α是超参数。
本实施例还提供了一种基于自监督和有监督联合训练的半监督文本分类的系统，应用于上述的方法，包括：
数据采集模块，用于采集任务相关的数据；
数据增强模块，用于对已采集数据进行数据增强，并扩充数据集；
语义特征提取模型构造模块，用于构造特征提取网络模型；
训练数据采样模块，用于采样batch数据组，为后续模型训练做准备；
分类层构造模块，用于在所述特征提取网络模型上继续搭建分类层，获得分类模型；
分类模型训练模块，用于分类任务和对比学习的联合训练，共同更新模型参数。
本申请所披露的一种基于自监督和有监督联合训练的半监督文本分类方法及系统可能带来的有益效果包括但不限于：使用分类(有监督)和对比学习(自监督)联合训练模型的方法，可以有效避免模型易在标注数据集上过拟合的问题。采用对比学习，将未标注数据分别与正样本和负样本在特征空间进行对比，可以使得模型更好地学习文本语义特征，显著提高模型分类性能。
附图说明
图1为本发明中的一种基于自监督和有监督联合训练的半监督文本分类系统结构框图；
图2为实施例中的一种基于自监督和有监督联合训练的半监督文本分类方法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
相反，本申请涵盖任何由权利要求定义的在本申请的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。
以下将结合图1-2对本申请实施例所涉及的一种基于自监督和有监督联合训练的半监督文本分类方法及系统进行详细说明。值得注意的是，以下实施例仅仅用于解释本申请，并不构成对本申请的限定。
实施例1：
在本申请的实施例中，图1示出了本发明一种基于自监督和有监督联合训练的半监督文本分类方法的实施例一的流程图。
一种基于自监督和有监督联合训练的半监督文本分类方法，包括以下步骤：
A、采集任务相关数据集，所述数据集包括标注数据集T和未标注数据集U；
利用数据采集工具采集任务相关数据集。
从上述数据集中选取部分未标注数据，利用多种标注策略(人工标注，采用辅助工具进行半自动标注，基于规则和词典进行全自动标注)获取其对应的类别标签。
B、对所述数据集进行数据增强处理，将处理后得到的增强视图用于扩充原始数据集，得到新样本数据集，所述新样本数据集包括标注数据集T'和未标注数据集U'；
具体的，原标注数据经过数据增强后得到的增强视图，和原数据拥有相同的类别标签。原未标注数据经过数据增强后得到增强视图，该增强视图依然无类别标签。
数据增强的方法可采用基于字/词的数据增强方法，具体有：回译、同义词替换、随机插入、随机删除、随机打乱句子顺序等；
数据增强的方法还可采用基于Embedding的数据增强方法，具体有：生成对抗样本、Dropout、SpatialDropout1D等。
C、构建文本语义特征提取网络模型，基于文本语义特征提取网络模型获取文本语义特征向量；
文本语义特征提取网络模型包括两大部分:特征提取基础模型和池化层。
具体地，特征提取基础模型采用的是Bert-base,池化层采用的是Max_Pooling。
D、在所述文本语义特征提取网络模型上构建分类层，得到分类模型；
具体地，将特征提取模型的池化层后接两个全连接层以及一个softmax层，实现基于文本语义特征进行分类。两个全连接层的输出空间维度分别为384，192，softmax层的输出空间维度和类别标签个数一致。构造完成的分类模型与所述特征提取模型实现参数共享。
E、从所述新样本数据集中重复采样得到batch数据组，每个batch数据组内均包含标注数据和未标注数据；
具体地，每个batch数据组内标注数据和未标注数据的占比为0.6:0.4；
每个未标注数据在batch数据组内一定存在其增强视图。
F、采用所述batch数据组在分类模型上进行分类(有监督)和对比学习(自监督)的联合训练,更新模型参数；
具体地，首先构建两个训练任务：采用未标注数据U'在所述特征提取模型上进行对比学习；采用标注数据T’在所述分类模型上进行文本分类任务，接着，采用所述batch数据组在分类模型上实现上述两个任务联合训练,更新模型参数。
采用未标注数据U'在所述特征提取模型上进行对比学习，具体地：
通过所述特征提取模型获取未标注样本的语义特征向量；
将未标注数据与其增强视图视作正例，将未标注数据与batch数据组内其余数据视作负例；
通过式(1)、式(2)计算对比损失，通过最小化损失，实现正样例靠近，负样例远离的效果：
其中，Li是batch数据组内任一未标注样本的对比损失，LU'是batch数据组所有未标注样本对比损失之和。N是一个batch中数据总量，ri指的是batch数据组中第i个文本的语义特征向量，rj指的是ri在batch数据组内的增强视图所对应的语义特征向量，sim是余弦距离函数，τ是温度系数，I是指示函数。在本实施例中，N设置为20，τ设置为0.1。
采用标注数据T’在所述分类模型上进行文本分类任务，具体地：
通过所述分类模型获取标注样本预测类别的概率分布；
采用式(3)所示交叉熵函数作为分类训练的损失函数。
其中，pi指的是batch数据组中第i个文本的真实类别，qi指的是batch数据组中第i个文本的预测值的概率分布。
采用所述batch数据组在分类模型上实现上述两个任务联合训练,更新模型参数，具体地：
计算整个模型的总损失函数如式(4)所示，通过最小化总损失，实现分类和对比学习的联合训练，共同更新模型参数：
L＝αLU'+(1-α)LT' (4)
其中，α是超参数，本实施例中设置为0.6，训练轮数epoch为15。
实施例2：
图2示本发明一种基于自监督和有监督联合训练的半监督文本分类系统的结构示意图，包括：
数据采集模块，用于采集任务相关的数据；
数据增强模块，用于对已采集数据进行数据增强，并扩充数据集；
语义特征提取模型构造模块，用于构造特征提取网络模型；
分类层构造模块，用于在所述特征提取网络模型上继续搭建分类层，获得分类模型；
训练数据采样模块，用于采样batch数据组，为后续模型训练做准备；
分类模型训练模块，用于分类任务和对比学习的联合训练，共同更新模型参数。
通过本发明实施例2提供的一种基于自监督和有监督联合训练的半监督文本分类系统，使用分类(有监督)和对比学习(自监督)联合训练模型的方法，可以有效避免模型易在标注数据集上过拟合的问题。采用对比学习，将未标注数据分别与正样本和负样本在特征空间进行对比，可以使得模型更好地学习文本语义特征，显著提高模型分类性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，包括以下步骤：
采集任务相关数据集，所述数据集包括标注数据集T和未标注数据集U；
对所述数据集进行数据增强处理，将处理后得到的增强视图用于扩充原始数据集，得到新样本数据集，所述新样本数据集包括标注数据集T'和未标注数据集U'；
构建文本语义特征提取网络模型，基于文本语义特征提取网络模型获取文本语义特征向量；
在所述文本语义特征提取网络模型上构建分类层，得到分类模型；
从所述新样本数据集中重复采样得到batch数据组，每个batch数据组内均包含标注数据和未标注数据；
采用所述batch数据组在分类模型上进行分类和对比学习的联合训练,更新模型参数。
2.根据权利要求1所述的一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，所述步骤采集任务相关数据集，所述数据集包括标注数据集T和未标注数据集U，包括：利用数据采集工具采集任务相关数据集；标注数据集T采用人工标注的方法、采用辅助工具进行半自动标注的方法、采用基于规则和词典进行全自动标注的方法进行标注。
3.根据权利要求1所述的一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，所述数据增强处理采用基于字/词的数据增强方法，所述基于字/词的数据增强方法包含但不限于：回译、同义词替换、随机插入、随机删除、随机打乱句子顺序。
4.根据权利要求3所述的一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，所述数据增强处理采用基于Embedding的数据增强方法，基于Embedding的数据增强方法包含但不限于：生成对抗样本、Dropout、SpatialDropout1D。
5.根据权利要求1所述的一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，所述文本语义特征提取网络模型包含两大部分：特征提取基础模型和池化层；特征提取基础模型的输出为向量序列；
特征提取基础模型由以下神经网络实现：卷积神经网络、循环神经网络、Attention神经网络以及基于Transformer的各类预训练模型；
将特征提取基础模型的输出进行池化操作，获得样本语义特征向量；
池化操作包含但不限于：最大池化，平均池化。
6.根据权利要求1所述的一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，所述分类层包含多个全连接层和一个softmax层；所述分类模型与所述文本语义特征提取网络模型实现参数共享。
7.根据权利要求1所述的一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，每个batch数据组内标注数据和未标注数据的占比为0.6:0.4；每个未标注数据在batch数据组内存在其增强视图。
8.根据权利要求1所述的一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，所述采用所述batch数据组在分类模型上进行分类和对比学习的联合训练,更新模型参数，包括：
构造自监督任务，采用未标注数据U'在所述特征提取模型上进行对比学习；
构造分类任务，采用标注数据T'在所述分类模型上进行文本分类任务；
采用所述batch数据组在分类模型上实现上述两个任务联合训练,更新模型参数。
9.根据权利要求8所述的一种基于自监督和有监督联合训练的半监督文本分类方法，其特征在于，所述构造自监督任务，采用未标注数据U'在所述特征提取模型上进行对比学习，包括：
通过所述特征提取模型获取未标注样本的语义特征向量；
将未标注数据与其增强视图视作正例，将未标注数据与batch数据组内其余数据视作负例；
通过式(1)、式(2)计算对比损失，通过最小化损失，实现正样例靠近，负样例远离的效果：
其中，Li是batch内任一未标注样本的对比损失，LU'是batch所有未标注样本对比损失之和；N是一个batch中数据总量，ri指的是batch中第i个文本的语义特征向量，rj指的是ri在batch内的增强视图所对应的语义特征向量，sim是余弦距离函数，τ是温度系数，I是指示函数；
所述构造分类任务，采用标注数据T′在所述分类模型上进行文本分类任务，包括：通过所述分类模型获取标注样本预测类别的概率分布；
采用式(3)所示交叉熵函数作为分类训练的损失函数；
其中，pi指的是batch中第i个文本的真实类别，qi指的是batch中第i个文本的预测值的概率分布；
其中，pi指的是batch中第i个文本的真实类别，qi指的是batch中第i个文本的预测值的概率分布；
所述采用所述batch数据组在分类模型上实现上述两个任务联合训练,更新模型参数，包括：
计算整个模型的总损失函数如式(4)所示，通过最小化总损失，实现分类和对比学习的联合训练，共同更新模型参数：
L＝αLU'+(1-α)LT' (4)
其中，α是超参数。
10.一种基于自监督和有监督联合训练的半监督文本分类的系统，其特征在于，应用于权利要求1-9所述的方法，包括：
数据采集模块，用于采集任务相关的数据；
数据增强模块，用于对已采集数据进行数据增强，并扩充数据集；
语义特征提取模型构造模块，用于构造特征提取网络模型；
训练数据采样模块，用于采样batch数据组，为后续模型训练做准备；
分类层构造模块，用于在所述特征提取网络模型上继续搭建分类层，获得分类模型；
分类模型训练模块，用于分类任务和对比学习的联合训练，共同更新模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210087416.6A CN114491036A (zh) | 2022-01-25 | 2022-01-25 | 一种基于自监督和有监督联合训练的半监督文本分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210087416.6A CN114491036A (zh) | 2022-01-25 | 2022-01-25 | 一种基于自监督和有监督联合训练的半监督文本分类方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114491036A true CN114491036A (zh) | 2022-05-13 |
Family
ID=81475043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210087416.6A Pending CN114491036A (zh) | 2022-01-25 | 2022-01-25 | 一种基于自监督和有监督联合训练的半监督文本分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114491036A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114595333A (zh) * | 2022-04-27 | 2022-06-07 | 之江实验室 | 一种用于舆情文本分析的半监督方法和装置 |
| CN115205521A (zh) * | 2022-08-09 | 2022-10-18 | 湖南大学 | 基于神经网络的厨余垃圾检测方法 |
| CN115797732A (zh) * | 2023-02-15 | 2023-03-14 | 杭州实在智能科技有限公司 | 用于开放类别场景下的图像检索模型训练方法及系统 |
-
2022
- 2022-01-25 CN CN202210087416.6A patent/CN114491036A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114595333A (zh) * | 2022-04-27 | 2022-06-07 | 之江实验室 | 一种用于舆情文本分析的半监督方法和装置 |
| CN115205521A (zh) * | 2022-08-09 | 2022-10-18 | 湖南大学 | 基于神经网络的厨余垃圾检测方法 |
| CN115205521B (zh) * | 2022-08-09 | 2024-03-26 | 湖南大学 | 基于神经网络的厨余垃圾检测方法 |
| CN115797732A (zh) * | 2023-02-15 | 2023-03-14 | 杭州实在智能科技有限公司 | 用于开放类别场景下的图像检索模型训练方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110054B (zh) | 一种基于深度学习的从非结构化文本中获取问答对的方法 | |
| CN111222305B (zh) | 一种信息结构化方法和装置 | |
| CN114491036A (zh) | 一种基于自监督和有监督联合训练的半监督文本分类方法及系统 | |
| CN110134946B (zh) | 一种针对复杂数据的机器阅读理解方法 | |
| CN110598203A (zh) | 一种结合词典的军事想定文书实体信息抽取方法及装置 | |
| CN107871158A (zh) | 一种结合序列文本信息的知识图谱表示学习方法及装置 | |
| CN113743119B (zh) | 中文命名实体识别模块、方法、装置及电子设备 | |
| CN108509521B (zh) | 一种自动生成文本索引的图像检索方法 | |
| CN111274814B (zh) | 一种新型的半监督文本实体信息抽取方法 | |
| CN111967267B (zh) | 一种基于XLNet的新闻文本地域提取的方法及系统 | |
| CN115495555A (zh) | 一种基于深度学习的文献检索方法和系统 | |
| CN112860889A (zh) | 一种基于bert的多标签分类方法 | |
| CN114444507A (zh) | 基于水环境知识图谱增强关系的上下文参数中文实体预测方法 | |
| CN112434533A (zh) | 实体消歧方法、装置、电子设备及计算机可读存储介质 | |
| CN110569355B (zh) | 一种基于词块的观点目标抽取和目标情感分类联合方法及系统 | |
| CN111428502A (zh) | 一种面向军事语料的命名实体标注方法 | |
| CN115510245A (zh) | 一种面向非结构化数据的领域知识抽取方法 | |
| CN115048539A (zh) | 基于动态记忆力的社交媒体数据在线检索方法及系统 | |
| CN115017335A (zh) | 知识图谱构建方法和系统 | |
| CN116680420B (zh) | 基于知识表示增强的低资源跨语言文本检索方法及装置 | |
| CN117610658A (zh) | 一种基于人工智能的知识图谱数据动态更新方法及系统 | |
| CN117407532A (zh) | 一种利用大模型与协同训练进行数据增强的方法 | |
| CN116701665A (zh) | 基于深度学习的中医古籍知识图谱构建方法 | |
| CN116384379A (zh) | 一种基于深度学习的中文临床术语标准化方法 | |
| CN114842301A (zh) | 一种图像注释模型的半监督训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |