CN111680160A - 一种用于文本情感分类的深度迁移学习方法 - Google Patents
一种用于文本情感分类的深度迁移学习方法 Download PDFInfo
- Publication number
- CN111680160A CN111680160A CN202010550138.4A CN202010550138A CN111680160A CN 111680160 A CN111680160 A CN 111680160A CN 202010550138 A CN202010550138 A CN 202010550138A CN 111680160 A CN111680160 A CN 111680160A
- Authority
- CN
- China
- Prior art keywords
- training
- text
- target
- emotion classification
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于文本情感分类的深度迁移学习方法,包括:源域预训练,选取较大规模的数据作为源域训练样本,针对目标识别任务进行有监督地训练卷积神经网络,得到预训练模型;特征信息迁移,构建与预训练模型具有相同结构的卷积神经网络,将较小规模的文本数据作为目标域的目标任务,利用上一步获得的预训练模型中除全连接层以外的所有层参数初始化该网络对应层的参数,采用目标数据作为训练样本对网络进行微调。本发明的方法实现源域到目标域的特征信息迁移,在情感分类任务中有着显著的效果,获得较高的分类准确率,提高模型的适应性。
Description
技术领域
本发明涉及文本学习方法,具体涉及一种用于文本情感分类的深度迁移学习方法。
背景技术
随着移动互联网、社交网络、电子商务等信息技术的蓬勃发展,网站评论区、微博以及各大电商平台成为互联网用户的重要载体。如何将此类平台上的文本评论信息高效、合理的处理、分析并加以利用,是研究人员广泛关注的课题。情感分类是指根据文本所表达的含义和情感信息将文本划分成正向或负向类型,是对文本作者倾向性和观点、态度的划分。因此,对于舆情监控有着重要的研究意义。
传统的情感分类方法有基于词典的方法和基于机器学习方法。基于词典的方法主要依赖于词典 数据集,通过点互信息量 ( Pointwise Mutual Information,PMI)等方法来判断新词的情感倾向, 进而对文本进行情感分类。基于机器学习方法通常使用词袋 (Bag of Words,BOW) 模型将文本表示成定长向量,然后使用监督学习方法对文本情感进行分类。2013年,Google公布了一款可以将文本有效地表示为低维且连续形式的词向量工具Word2Vec,这成为在自然语言处理( Natural Language Processing,NLP) 领域引入深度学习技术的基础。
深度学习(Deep Learning,DL)是一种受大脑结构和功能启发的人工神经网络,是一种新的分类方法。该方法可以从海量数据中学习高级特征,通过无监督或半监督特征学习算法和分层特征提取来自动提取数据特征,被广泛应用于图像、文本和语音识别等高维特征数据处理中。目前,用于文本分类问题的深度学习方法之一是卷积神经网络(Convolutional Neural Network, CNN),且大量研究表明,CNN在文本分类问题中显示出良好的效果。通常,深度学习依赖大规模训练数据,需要大量标注数据去理解潜在的数据模式。然而,在一些特殊领域,数据收集复杂且昂贵,构建大规模、高质量的标注数据集非常困难,训练数据不足不可避免。这就导致在训练数据不足情况下深度学习造成过拟合现象。迁移学习(Transfer Learning,TL)有效地解决了这一问题。迁移学习是一种机器学习方法,可以把经验知识“迁移”到新的学习中,将已经广泛使用的大数据“挪用”到小数据领域,以攻克小数据领域里数据和经验知识匮乏的问题。该方法既不要求训练数据必须与测试数据独立同分布(i.i.d.),也不必有大量的标记数据。
深度学习与迁移学习的结合称为深度迁移学习(Deep Transfer Learning,DTL)。深度迁移学习是一种将其他领域训练到的深度模型重用于目标领域的方法,能够有效降低模型的训练时间,使现有数据得到更充分的利用,提高深度网络在实际应用中的泛化能力。目前,深度迁移学习在计算机视觉领域应用极为广泛,而在自然语言处理(NaturalLanguage Processing,NLP)领域却用途寥寥。在NLP领域现有的迁移学习方法大部分都是基于传统统计机器学习算法。
深度学习方法被广泛应用于文本情感分类问题,采用分层自动提取文本特征,有效解决了文本情感分类中特征提取困难问题。然而,深度学习依赖大规模训练数据,需要大量标注数据去理解潜在的数据模式。当没有足够标记数据来训练网络模型时,深度学习用于文本情感分类的准确率极低。
发明内容
本发明的主要目的在于提供一种用于文本情感分类的深度迁移学习方法,实现源域到目标域的特征信息迁移,在情感分类任务中有着显著的效果,获得较高的分类准确率,提高模型的适应性。
本发明采用的技术方案是:一种用于文本情感分类的深度迁移学习方法,包括:
源域预训练,选取较大规模的数据作为源域训练样本,针对目标识别任务进行有监督地训练卷积神经网络,得到预训练模型;
特征信息迁移,构建与预训练模型具有相同结构的卷积神经网络,将较小规模的文本数据作为目标域的目标任务,利用上一步获得的预训练模型中除全连接层以外的所有层参数初始化该网络对应层的参数,采用目标数据作为训练样本对网络进行微调。
进一步地,所述特征信息迁移包括前馈网络处理和误差反向传播处理。
更进一步地,所述前馈网络处理包括:
S1,计算卷积,提取句子矩阵Sj 的局部特征,得到卷积层的输出特征图Ci;
S2,对特征图Ci进行最大值池化,得到池化层的输出特征图;
S3,将先前层提取到的特征图通过全连接层连接并输出对应各类的特征图,最后利用Softmax 回归模型,得到分类结果。
更进一步地,所述步骤S1包括:
其中: 代表 的滤波器,b代表偏置量;代表通过Relu进行非线性操作的函数; 代表 中从到共行向量;代表通过卷积操作得到的局部特征;随着滤波器依靠步长为 1从上往下进行滑动,走过整个Sj最终得到局部特征向量集合C:
更进一步地,所述步骤S2包括:
对卷积操作得到的局部特征采用最大池化的方法提取值最大的特征代替整个局部特征,通过池化操作大幅降低特征向量的大小;对特征图Ci进行最大值池化,得到池化层的输出特征图:
更进一步地,所述误差反向传播处理包括:
根据交叉熵损失函数计算梯度,采用误差反向传播的方法调整网络的权值和偏置参数,直到误差收敛。
本发明的优点:
本发明的一种用于文本情感分类的深度迁移学习方法,实现源域到目标域的特征信息迁移,在情感分类任务中有着显著的效果,获得较高的分类准确率,提高模型的适应性。
该方法将源领域中获得的预训练模型参数除全连接层以外的所有层参数迁移至目标网络的对应层,并将小规模数据作为目标域的训练样本进行网络微调,通过这种基于特征选择的迁移学习方法,实现源域到目标域的特征信息迁移,在情感分类任务中有着显著的效果。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明的一种用于文本情感分类的深度迁移学习方法模型图;
图2是本发明的方法与textCNN运行时间比较图;
图3 是本发明的方法与textCNN错误率比较图;
图4是目标域D数量对实验的影响图;
图5是目标域E数量对实验的影响图;
图6是目标域B数量对实验的影响图;
图7是目标域K数量对实验的影响图;
图8是 textCNN实验图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明的算法思想:
卷积神经网络中包含大量的待训练参数,训练开始阶段这些参数通常采用随机初始化的方式,这使得网络的初始误差较大,容易导致网络收敛效果差和过拟合问题。针对这一问题,提出一种基于特征选择的迁移学习监督式预训练方式,目的是为了得到源域和目标域中共有的特征表示,然后基于这些特征表示来实现知识迁移。
首先,采用大规模数据集作为源域的训练样本,针对源域中源任务进行监督式训练得到预训练模型。预训练代价非常高,但它只需要执行一次,并且能够提高下游模型的性能和收敛性。
然后,构建一个相同的卷积神经网络作为目标域中目标任务的待训练网络,将源域中获得的预训练模型作为该网络的参数。得出结论,NLP神经网络模型的可迁移性在很大程度上取决于源任务和目标任务的相关性,并且神经网络模型的嵌入层和隐藏层通常提取一般特征,具有良好的可迁移性,最后一层即全连接层通常是特定于域的特征,容易造成负迁移。因此,本发明将训练好的预模型中除全连接层以外的所有层的参数迁移到目标模型对应层上。
最后,用目标域的训练样本进行网络微调,微调指将经过预训练的卷积神经网络模型在新的目标任务数据集上进行再次训练。此时,预训练模型的全连接层以外的层参数保留不变,仅对全连接层的参数进行调整。
卷积神经网络使用随机梯度下降法进行有监督的网络训练,其中所有滤波器的权重都通过训练过程进行迭代更新以使损失函数最小化。
参考图1,如图1所示,一种用于文本情感分类的深度迁移学习方法,包括:
源域预训练,选取较大规模的数据作为源域训练样本,针对目标识别任务进行有监督地训练卷积神经网络,得到预训练模型;
特征信息迁移,构建与预训练模型具有相同结构的卷积神经网络,将较小规模的文本数据作为目标域的目标任务,利用上一步获得的预训练模型中除全连接层以外的所有层参数初始化该网络对应层的参数,采用目标数据作为训练样本对网络进行微调。
所述特征信息迁移包括前馈网络处理和误差反向传播处理。
所述前馈网络处理包括:
S1,计算卷积,提取句子矩阵Sj 的局部特征,得到卷积层的输出特征图Ci;
S2,对特征图Ci进行最大值池化,得到池化层的输出特征图;
S3,将先前层提取到的特征图通过全连接层连接并输出对应各类的特征图,最后利用Softmax 回归模型,得到分类结果。
本发明的一种用于文本情感分类的深度迁移学习方法,实现源域到目标域的特征信息迁移,在情感分类任务中有着显著的效果,获得较高的分类准确率,提高模型的适应性。
该方法将源领域中获得的预训练模型参数除全连接层以外的所有层参数迁移至目标网络的对应层,并将小规模数据作为目标域的训练样本进行网络微调,通过这种基于特征选择的迁移学习方法,实现源域到目标域的特征信息迁移,在情感分类任务中有着显著的效果。
所述步骤S1包括:
其中: 代表 的滤波器,b代表偏置量;代表通过Relu进行非线性操作的函数; 代表 中从到共行向量;代表通过卷积操作得到的局部特征;随着滤波器依靠步长为 1从上往下进行滑动,走过整个Sj最终得到局部特征向量集合C:
所述步骤S2包括:
对卷积操作得到的局部特征采用最大池化的方法提取值最大的特征代替整个局部特征,通过池化操作大幅降低特征向量的大小;对特征图Ci进行最大值池化,得到池化层的输出特征图:
所述误差反向传播处理包括:
根据交叉熵损失函数计算梯度,采用误差反向传播的方法调整网络的权值和偏置参数,直到误差收敛。
实验设计与结果分析:
本实验在Windows10操作系统下使用 Python程序设计语言编写,运行环境是Anaconda3中的Spyder,使用开源深度学习框架Tensorflow作为开发环境。
数据集说明:
采用来自亚马逊产品评论公开数据集来验证情感分类任务中本发明算法的有效性。如表1所示,该数据集包含Book(B)、DVDs(D)、Electronic(E)、 Kitchen(K)四个商品的评价,每个商品的评论分为积极和消极。定义源领域的源任务T(s)为随机抽取每类评论2000条,目标域的目标任务T(t)为随机抽取每类评论200条。用商品的英文首字母大写表示对应商品的简称,并构造12组迁移任务:B->D,E->D, K->D,B->E,
K->E,D->E,K->B,E->B,D->B,E->K B->K和
D->K,其中箭头前的数据为源领域数据,箭头后的数据为目标领域数据。
表1 亚马逊产品评论数据集
实验设置:
为了验证本发明方法TrTCnn的有效性,本发明进行如下对比实验:
SVM:该方法采用词袋模型和线性核,以SVM为分类器。该方法将在源领域训练得到的模型直接应用到目标领域进行预测,没有采用任何迁移学习方法。
TrAdaBoost:该方法是戴文渊在2007年提出的,由Adaboost算法演变而来,是经典的迁移学习方法。
TR-TrAdaBoost:TR-TrAdaBoost是2017 AAAI人工智能会议上提出的对TrAdaBoost的改进的方法,其中讨论文档的主题分布。
textCNN: 该方法是2014年由Kim Y提出的一种卷积神经网络模型。该方法将在源领域训练得到的模型直接应用到目标领域进行预测,没有采用任何迁移学习方法。
TrTCnn:本发明提出的一种深度迁移文本分类方法。
实验中,对卷积神经网络中参数和函数设置如表2所示。
表2 参数和函数设置
评估标准:
文本情感分类可以视为一种文本分类任务,人们提出了多种文本分类器性能评估方法,正确率(accuracy)是一个重要地度量。对于二分类问题,一般采用统计数据来评估分类性能。如表3所示,TP指分类器将预测为正例的样本正确地分类到正例的个数;FP指分类器将预测为正例的样本错误地分类到负例的个数;TN指分类器将预测为负例的样本错误地分类到正例的个数;FN指分类器将预测为负例的样本正确地分类到负例地个数。正确率公式如式10所示,即分类正确的实例所占的比例。错误率公式如式11所示,即分类错误的实例所占的比例。
表3 文本分类器的输出结果
表4 DVDs的相似度
表5 Electronic的相似度
表6 Book的相似度
表7 Kitchen的相似度研究
有效性验证:
采用SVM、TrAdaBoost、TR-TrAdaBoost 以及本发明算法TrTCnn进行实验,对比四种方法下12组跨域情感分类的准确率,实验结果如表8所示。
表8 准确率实验结果
由表8可知,与SVM算法相比,在K->D迁移时,使用经典TrAdaBoost迁移学习方法准确率下降了0.29%,其余11组迁移任务在三种迁移学习方法下准确率均有明显的提高,验证了相关或相近领域知识迁移的有效性。
本发明算法TrTCnn与TrAdaBoost相比,准确率提高了1.19%-6.26%;本发明算法TrTCnn与当前较新的迁移学习方法TR-TrAdaBoost相比,准确率提高了0.95%-4.85%,验证了本发明方法的优越性。
以DVD为目标域的迁移任务:B->D、E->D和K->D,观察表4和表8发现B与D域相似度最高,此时B->D准确率最高;以电子产品为目标域的迁移任务:D->E、B->E和K->E,观察表5和表8可知K与E域相似度最高,此时K->E准确率最高;以书籍为目标域的任务D->B、E->B和K->B,通过观察表6和表8得知D与B的域相似度最高,此时D->B准确率最高;以厨房用具为目标域的任务:D->K、E->K和B->K,观察表7和表8发现同样的结论,E与K的域相似度最高,此时E->K准确率最高。因此,得出结论:当两个域的相关性越高时,通常迁移后的准确率更高。
通过对比本发明方法TrTCnn与未迁移卷积神经网络方法textCnn两种方法下12组跨域情感分类的运行时间和错误率,来分析本发明算法的优越性。实验参数设置如表2不变,两种方法均迭代20次,得出TrTCnn和textCnn算法的运行时间如图2所示,分类错误率如图3所示。
由图2可以看出,TrTCnn在12组迁移任务中都节约了大约1267s-2905s的时间。由图3可以看出,与textCNN方法相比,TrTCnn在12组迁移任务中错误率也下降了8.31%-13.12%。
得出结论:迁移学习方法能够提高迁移后模型的性能和收敛性。
参数对TrTCnn算法的影响:
通常,参数的设置对实验的结果产生影响。因此研究TrTCnn参数的敏感性和准确性,主要对fiter区域大小、fiter的数量、激活函数和dropout进行研究。给出TrTCnn的基准参数如表9所示。
表9 CNN基准参数设置
通过实验,得出fiter区域大小、fiter的数量、激活函数和dropout参数对算法性能的影响结果如表10-表13所示。由表10可知,当滑动窗口选择(6,7,8)时,在B->D 、D->E、 E->K和 K->B四项迁移任务中,文本情感分类的准确率最高。由表11所知,fiter数量设置为512时,文本情感分类的准确率最高。由表12所知,当选取激活函数为ReLu时,文本情感分类的准确最高。由表13所知,Droupout值设置为0.6时,文本情感分类的准确率最高。
通过优化以上参数后,得到最优参数结果如表14所示。
表10 源领域设置fiter区域的影响
表11 fiter数量对算法的影响
表12 不同激活函数对算法的影响
表13 Droupout Rate对算法的影响
表14 TrTCnn最优参数
训练数据量分析:
在迁移学习任务中,通常目标数据量的高低对算法的学习效果和性能都会有一定的影响。因此,对12组数据进行试验,并设置目标领域数据为50,100,200,400,800,1000,来测试目标数据量增加时TrTCnn的分类正确率的变化。四组数据集上的测试结果如图4-图7所示。此外验证迁移学习卷积神经网络算法和数据下相对充足情况下传统卷积神经网络算法的优越性,图8为采用textCNN算法,在1000条数据集上不进行跨域的实验结果。
从图4-图7可以观察到当目标数据量增加时,算法准确率有所提高,当目标域数据大于400时,算法准确率增加缓慢。图4-图7与图8相比,可以观察到迁移学习文本情感分类地准确率不如未迁移情感分类的准确率。得出结论:迁移学习的目标数据量越大,迁移学习的效果越好,但当目标数据足够充足时,迁移学习不如在目标数据集上训练得到的结果好。
为解决标签数据不足和领域适应性问题,本发明构建迁移学习卷积神经网络模型(Transfer Text CNN,TrTCnn)
该模型基于经典textCNN 建立文本分类模型,引入迁移学习的思想,将经过预训练学习得到的文本分类的共性知识迁移到目标域文本分类,再在目标域上训练模型并微调参数,在目标任务数据不足的情况下,通过这种机制提高文本分类的准确率。
将本发明的方法用于亚马逊产品评论跨域情感分类中,模型训练效率与分类准确率显著提高。
将该方法用于跨域情感分类任务,实验表明在目标数据集训练样本不足的情况下,获得了较高的分类准确率,提高了模型的适应性。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种用于文本情感分类的深度迁移学习方法,其特征在于,包括:
源域预训练,选取较大规模的数据作为源域训练样本,针对目标识别任务进行有监督地训练卷积神经网络,得到预训练模型;
特征信息迁移,构建与预训练模型具有相同结构的卷积神经网络,将较小规模的文本数据作为目标域的目标任务,利用上一步获得的预训练模型中除全连接层以外的所有层参数初始化该网络对应层的参数,采用目标数据作为训练样本对网络进行微调。
2.根据权利要求1所述的用于文本情感分类的深度迁移学习方法,其
特征在于,所述特征信息迁移包括前馈网络处理和误差反向传播处理。
3.根据权利要求2所述的用于文本情感分类的深度迁移学习方法,其
特征在于,所述前馈网络处理包括:
S1,计算卷积,提取句子矩阵Sj 的局部特征,得到卷积层的输出特征图Ci;
S2,对特征图Ci进行最大值池化,得到池化层的输出特征图;
S3,将先前层提取到的特征图通过全连接层连接并输出对应各类的特征图,最后利用Softmax 回归模型,得到分类结果。
6.根据权利要求2所述的用于文本情感分类的深度迁移学习方法,其
特征在于,所述误差反向传播处理包括:
根据交叉熵损失函数计算梯度,采用误差反向传播的方法调整网络的权值和偏置参数,直到误差收敛。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010550138.4A CN111680160A (zh) | 2020-06-16 | 2020-06-16 | 一种用于文本情感分类的深度迁移学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010550138.4A CN111680160A (zh) | 2020-06-16 | 2020-06-16 | 一种用于文本情感分类的深度迁移学习方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111680160A true CN111680160A (zh) | 2020-09-18 |
Family
ID=72436393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010550138.4A Pending CN111680160A (zh) | 2020-06-16 | 2020-06-16 | 一种用于文本情感分类的深度迁移学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111680160A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112328785A (zh) * | 2020-10-09 | 2021-02-05 | 福建亿榕信息技术有限公司 | 一种电力领域文本分类的方法和存储设备 |
CN112365993A (zh) * | 2020-12-03 | 2021-02-12 | 四川长虹电器股份有限公司 | 一种针对少样本公众健康问句的分类方法及系统 |
CN112699966A (zh) * | 2021-01-14 | 2021-04-23 | 中国人民解放军海军航空大学 | 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法 |
CN112989702A (zh) * | 2021-03-25 | 2021-06-18 | 河北工业大学 | 一种装备性能分析与预测的自学习方法 |
CN113157871A (zh) * | 2021-05-27 | 2021-07-23 | 东莞心启航联贸网络科技有限公司 | 应用人工智能的新闻舆情文本处理方法、服务器及介质 |
CN113204645A (zh) * | 2021-04-01 | 2021-08-03 | 武汉大学 | 一种基于知识引导的方面级情感分析模型训练方法 |
CN113392881A (zh) * | 2021-05-27 | 2021-09-14 | 重庆大学 | 一种基于迁移学习的旋转机械故障诊断方法 |
CN113590748A (zh) * | 2021-07-27 | 2021-11-02 | 中国科学院深圳先进技术研究院 | 基于迭代网络组合的情感分类持续学习方法及存储介质 |
CN114121161A (zh) * | 2021-06-04 | 2022-03-01 | 东莞太力生物工程有限公司 | 一种基于迁移学习的培养基配方开发方法及系统 |
CN115169543A (zh) * | 2022-09-05 | 2022-10-11 | 广东工业大学 | 一种基于迁移学习的短期光伏功率预测方法及系统 |
CN115396831A (zh) * | 2021-05-08 | 2022-11-25 | 中国移动通信集团浙江有限公司 | 交互模型生成方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
CN109753566A (zh) * | 2019-01-09 | 2019-05-14 | 大连民族大学 | 基于卷积神经网络的跨领域情感分析的模型训练方法 |
-
2020
- 2020-06-16 CN CN202010550138.4A patent/CN111680160A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271522A (zh) * | 2018-11-20 | 2019-01-25 | 深圳大学 | 基于深度混合模型迁移学习的评论情感分类方法及系统 |
CN109753566A (zh) * | 2019-01-09 | 2019-05-14 | 大连民族大学 | 基于卷积神经网络的跨领域情感分析的模型训练方法 |
Non-Patent Citations (3)
Title |
---|
SEMWAL T 等: "A practitioners" guide to transfer learning for text classification using convolutional neural networks", 《PROCEEDINGS OF THE 2018 SIAM INTERNATIONAL CONFERENCE ON DATA MINING》 * |
TAN C 等: "A survey on deep transfer learning", 《INTERNATIONAL CONFERENCE ON ARTIFICIAL NEURAL NETWORKS》 * |
徐满意 等: "粒子群算法改进策略研究", 《甘肃科技》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112328785A (zh) * | 2020-10-09 | 2021-02-05 | 福建亿榕信息技术有限公司 | 一种电力领域文本分类的方法和存储设备 |
CN112365993A (zh) * | 2020-12-03 | 2021-02-12 | 四川长虹电器股份有限公司 | 一种针对少样本公众健康问句的分类方法及系统 |
CN112699966B (zh) * | 2021-01-14 | 2022-10-11 | 中国人民解放军海军航空大学 | 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法 |
CN112699966A (zh) * | 2021-01-14 | 2021-04-23 | 中国人民解放军海军航空大学 | 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法 |
CN112989702A (zh) * | 2021-03-25 | 2021-06-18 | 河北工业大学 | 一种装备性能分析与预测的自学习方法 |
CN113204645A (zh) * | 2021-04-01 | 2021-08-03 | 武汉大学 | 一种基于知识引导的方面级情感分析模型训练方法 |
CN115396831A (zh) * | 2021-05-08 | 2022-11-25 | 中国移动通信集团浙江有限公司 | 交互模型生成方法、装置、设备及存储介质 |
CN113392881A (zh) * | 2021-05-27 | 2021-09-14 | 重庆大学 | 一种基于迁移学习的旋转机械故障诊断方法 |
CN113157871B (zh) * | 2021-05-27 | 2021-12-21 | 宿迁硅基智能科技有限公司 | 应用人工智能的新闻舆情文本处理方法、服务器及介质 |
CN113157871A (zh) * | 2021-05-27 | 2021-07-23 | 东莞心启航联贸网络科技有限公司 | 应用人工智能的新闻舆情文本处理方法、服务器及介质 |
CN113392881B (zh) * | 2021-05-27 | 2023-04-18 | 重庆大学 | 一种基于迁移学习的旋转机械故障诊断方法 |
CN114121161A (zh) * | 2021-06-04 | 2022-03-01 | 东莞太力生物工程有限公司 | 一种基于迁移学习的培养基配方开发方法及系统 |
CN113590748A (zh) * | 2021-07-27 | 2021-11-02 | 中国科学院深圳先进技术研究院 | 基于迭代网络组合的情感分类持续学习方法及存储介质 |
CN113590748B (zh) * | 2021-07-27 | 2024-03-26 | 中国科学院深圳先进技术研究院 | 基于迭代网络组合的情感分类持续学习方法及存储介质 |
CN115169543A (zh) * | 2022-09-05 | 2022-10-11 | 广东工业大学 | 一种基于迁移学习的短期光伏功率预测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111680160A (zh) | 一种用于文本情感分类的深度迁移学习方法 | |
CN109145112B (zh) | 一种基于全局信息注意力机制的商品评论分类方法 | |
CN110609897B (zh) | 一种融合全局和局部特征的多类别中文文本分类方法 | |
Vateekul et al. | A study of sentiment analysis using deep learning techniques on Thai Twitter data | |
CN109325112B (zh) | 一种基于emoji的跨语言情感分析方法和装置 | |
CN109670039B (zh) | 基于三部图和聚类分析的半监督电商评论情感分析方法 | |
CN107247702A (zh) | 一种文本情感分析处理方法和系统 | |
CN104965822B (zh) | 一种基于计算机信息处理技术的中文文本情感分析方法 | |
Mohammadi et al. | Ensemble deep learning for aspect-based sentiment analysis | |
CN111160037A (zh) | 一种支持跨语言迁移的细粒度情感分析方法 | |
Sari et al. | Text classification using long short-term memory with glove | |
CN110543242A (zh) | 基于bert技术的表情输入法及其装置 | |
CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
Aurangzeb et al. | Aspect based multi-labeling using SVM based ensembler | |
Kandhro et al. | Sentiment analysis of students’ comment using long-short term model | |
CN113360659B (zh) | 一种基于半监督学习的跨领域情感分类方法及系统 | |
CN109062958B (zh) | 一种基于TextRank和卷积神经网络的小学作文自动分类方法 | |
CN114925205B (zh) | 基于对比学习的gcn-gru文本分类方法 | |
Guo et al. | A data fusion framework for multi-domain morality learning | |
CN111813939A (zh) | 一种基于表征增强与融合的文本分类方法 | |
Wang et al. | Joint Learning on Relevant User Attributes in Micro-blog. | |
Hsiao et al. | [Retracted] Construction of an Artificial Intelligence Writing Model for English Based on Fusion Neural Network Model | |
Fayyaz et al. | CNN and traditional classifiers performance for sign language recognition | |
Song | Distilling knowledge from user information for document level sentiment classification | |
CN113032558B (zh) | 融合维基知识的变分半监督百度百科分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200918 |
|
RJ01 | Rejection of invention patent application after publication |