CN113360659A - 一种基于半监督学习的跨领域情感分类方法及系统 - Google Patents
一种基于半监督学习的跨领域情感分类方法及系统 Download PDFInfo
- Publication number
- CN113360659A CN113360659A CN202110812100.4A CN202110812100A CN113360659A CN 113360659 A CN113360659 A CN 113360659A CN 202110812100 A CN202110812100 A CN 202110812100A CN 113360659 A CN113360659 A CN 113360659A
- Authority
- CN
- China
- Prior art keywords
- domain data
- target domain
- data set
- data
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008451 emotion Effects 0.000 title claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims abstract description 72
- 238000000605 extraction Methods 0.000 claims description 138
- 238000012549 training Methods 0.000 claims description 46
- 230000010354 integration Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及了一种基于半监督学习的跨领域情感分类方法,所述分类方法,首先,利用源域数据,采用卷积层、注意力层和多层KL散度计算公式对目标域数据进行打伪标签,然后,利用源域数据和带有伪标签的目标域数据对卷积层、注意力层和多层KL散度计算公式进行训练,一直重复上述步骤,直到完成目标域数据的分类,本发明使用半监督跨领域方法,实现在无需对目标域数据进行标记的条件下,对目标域数据的有效分类,有效的解决某些新的领域存在标记数据不足的问题,提高了分类的准确性。
Description
技术领域
本发明涉及情感分类技术领域,特别是涉及一种基于半监督学习的跨领域情感分类方法及系统。
背景技术
跨领域情感分类旨在通过源领域的标注数据对目标领域的无标注数据进行情感分类,如从电子领域(源领域)到餐饮领域(目标领域)。这是现在一个很有挑战性且引起了各方面广泛关注的任务。
为了尽可能的最小化源域和目标域之间的向量空间距离,减少领域间的差异,提高情感分类的准确率,跨领域的情感分类分析显得尤为重要。情感分类领域包含众多研究任务,而这其中,进行准确的跨领域情感分类显得尤为突出和重要,这一研究任务已经成为自然语言处理在社区发展中日益重要的应用,受到在线评论网站和社交媒体的广泛研究。跨领域情感分类的研究一方面可以降低因数据标记所要消耗的成本,另一方面可以提高在线网站和社交媒体用户的满意度。
情感分类问题的本质是根据文本所表达的含义和情感信息将文本数据划分成积极、中性、消极三种类型或者其它的自定义的几种类型,是方法研究者倾向性和观点、态度的划分。针对这类问题,研究者做了大量的研究,这些研究可以依据不同的分类方法进行分析,这里主要讨论基于机器学习的分类方法。
基于机器学习的分类方法:(1)2002年首次将有监督的学习方法应用到情感分类中,此后的二十年有监督学习的情感分类方法多次大量标注样本的训练;(2)从2009年起,聚类方法、集成学习多种机器学习方法融入到基于半监督学习的情感分类中;(3)基于无监督学习的情感分类方法是指仅使用非标注样本进行情感分类建模,以往的大多数研究都是通过情感分类标注的种子词集来实现无监督分类的。
当前某些新的领域存在标记数据不足的问题,而且人工标注成本过高。
发明内容
本发明的目的是提供一种基于半监督学习的跨领域情感分类方法及系统,以克服新的领域存在标记数据不足的问题。
为实现上述目的,本发明提供了如下方案:
本发明提供一种基于半监督学习的跨领域情感分类方法,所述分类方法包括如下步骤:
获取带有标签的源域数据集和不带标签的目标域数据集;
将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果;
根据每个源域数据的特征提取结果和每个目标域数据的特征提取结果,利用多层KL散度计算公式,计算每个目标域数据与每个源域数据的多层KL散度;
依次比较每个目标域数据与源域数据集中每个源域数据的多层KL散度的最小值与差异阈值的大小,当目标域数据与源域数据集中每个源域数据的多层KL散度的最小值小于差异阈值时,将所述目标域数据的伪标签确定为多层KL散度的最小值对应的源域数据的标签;
判断所述目标域数据中带有伪标签的目标域数据的数量是否大于分类数量阈值,获得第一判断结果;
若所述第一判断结果表示否,则利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,返回步骤“将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果”;
若所述第一判断结果表示是,则输出带有伪标签的目标域数据集。
可选的,所述多层KL散度计算公式为:
loss_kl=αKatt+(1-α)Kcnn+γK+Ks+Kt;
其中,loss_kl表示目标域数据与源域数据的多层KL散度,Katt表示源域数据的卷积层特征提取结果与目标域数据的卷积层特征提取结果的KL散度,Kcnn表示源域数据的注意力层特征提取结果与目标域数据的注意力层特征提取结果的KL散度,Ks表示源域数据的卷积层特征提取结果与注意力层提取结果的KL散度,Kt表示目标域数据的卷积层特征提取结果和注意力层提取结果的KL散度,K表示源域数据的卷积层特征提取结果和注意力层提取结果的融合特征与目标域数据的卷积层特征提取结果和注意力层提取结果的融合特征的KL散度,α和γ分别表示第一权重系数和第二权重系数。
可选的,利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,具体包括:
从所述源域数据集和目标域数据集的带有伪标签的目标域数据中获取置信度较高的前n个源域数据构建标准数据集;
根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果;
根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失;
判断所述源域数据损失、所述目标域数据损失和所述集成损失是否均小于损失阈值,获得第二判断结果;
若所述第二判断结果表示否,则更新所述卷积层和所述注意力层的参数,及所述多层KL散度计算公式中的权重系数,返回步骤“根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果”;
若所述第二判断结果表示是,则结束训练。
可选的,所述根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果,具体包括:
将标准数据集中的每个标准数据分别输入所述卷积层和所述注意力层进行特征提取,获得所述标准数据集中每个标准数据的特征提取结果;
选取源域数据集中的任意一个源域数据或目标域数据集中任意一个带有伪标签的目标域数据,作为待分类数据;
将所述待分类数据输入所述卷积层和所述注意力层进行特征提取,获得所述待分类数据的特征提取结果;
根据所述标准数据集中每个标准数据的特征提取结果与所述待分类数据的特征提取结果,利用所述多层KL散度计算公式,计算所述待分类数据与所述标准数据集中每个标准数据的多层KL散度;
获取多层KL散度的最小值对应的所述标准数据集中的标准数据的标签,作为所述待分类数据的分类结果。
可选的,所述根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失,具体包括:
根据所述分类结果,采用交叉熵损失函数,分别计算源域数据损失、目标域数据损失和集成损失。
一种基于半监督学习的跨领域情感分类系统,所述分类系统包括:
数据集获取模块,用于获取带有标签的源域数据集和不带标签的目标域数据集;
特征提取模块,用于将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果;
多层KL散度计算模块,用于根据每个源域数据的特征提取结果和每个目标域数据的特征提取结果,利用多层KL散度计算公式,计算每个目标域数据与每个源域数据的多层KL散度;
伪标签确定模块,用于依次比较每个目标域数据与源域数据集中每个源域数据的多层KL散度的最小值与差异阈值的大小,当目标域数据与源域数据集中每个源域数据的多层KL散度的最小值小于差异阈值时,将所述目标域数据的伪标签确定为多层KL散度的最小值对应的源域数据的标签;
第一判断模块,用于判断所述目标域数据中带有伪标签的目标域数据的数量是否大于分类数量阈值,获得第一判断结果;
训练模块,用于若所述第一判断结果表示否,则利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,返回步骤“将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果”;
分类结果输出模块,用于若所述第一判断结果表示是,则输出带有伪标签的目标域数据集。
可选的,所述多层KL散度计算公式为:
loss_kl=αKatt+(1-α)Kcnn+γK+Ks+Kt;
其中,loss_kl表示目标域数据与源域数据的多层KL散度,Katt表示源域数据的卷积层特征提取结果与目标域数据的卷积层特征提取结果的KL散度,Kcnn表示源域数据的注意力层特征提取结果与目标域数据的注意力层特征提取结果的KL散度,Ks表示源域数据的卷积层特征提取结果与注意力层提取结果的KL散度,Kt表示目标域数据的卷积层特征提取结果和注意力层提取结果的KL散度,K表示源域数据的卷积层特征提取结果和注意力层提取结果的融合特征与目标域数据的卷积层特征提取结果和注意力层提取结果的融合特征的KL散度,α和γ分别表示第一权重系数和第二权重系数。
可选的,所述训练模块,具体包括:
标准数据集构建子模块,用于从所述源域数据集和目标域数据集的带有伪标签的目标域数据中获取置信度较高的前n个源域数据构建标准数据集;
分类子模块,用于根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果;
损失计算子模块,用于根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失;
第二判断子模块,用于判断所述源域数据损失、所述目标域数据损失和所述集成损失是否均小于损失阈值,获得第二判断结果;
参数更新子模块,用于若所述第二判断结果表示否,则更新所述卷积层和所述注意力层的参数,及所述多层KL散度计算公式中的权重系数,返回步骤“根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果”;
结束训练子模块,用于若所述第二判断结果表示是,则结束训练。
可选的,所述分类子模块,具体包括:
第一特征提取单元,用于将标准数据集中的每个标准数据分别输入所述卷积层和所述注意力层进行特征提取,获得所述标准数据集中每个标准数据的特征提取结果;
待分类数据选取单元,用于选取源域数据集中的任意一个源域数据或目标域数据集中任意一个带有伪标签的目标域数据,作为待分类数据;
第二特征提取单元,用于将所述待分类数据输入所述卷积层和所述注意力层进行特征提取,获得所述待分类数据的特征提取结果;
多层KL散度计算单元,用于根据所述标准数据集中每个标准数据的特征提取结果与所述待分类数据的特征提取结果,利用所述多层KL散度计算公式,计算所述待分类数据与所述标准数据集中每个标准数据的多层KL散度;
分类结果确定单元,用于获取多层KL散度的最小值对应的所述标准数据集中的标准数据的标签,作为所述待分类数据的分类结果。
可选的,所述损失计算子模块,具体包括:
损失计算单元,用于根据所述分类结果,采用交叉熵损失函数,分别计算源域数据损失、目标域数据损失和集成损失。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种基于半监督学习的跨领域情感分类方法,所述分类方法,首先,利用源域数据,采用卷积层、注意力层和多层KL散度计算公式对目标域数据进行打伪标签,然后,利用源域数据和带有伪标签的目标域数据对卷积层、注意力层和多层KL散度计算公式进行训练,一直重复上述步骤,直到完成目标域数据的分类,本发明使用半监督跨领域方法,实现在无需对目标域数据进行标记的条件下,对目标域数据的有效分类,有效的解决某些新的领域存在标记数据不足的问题,提高了分类的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于半监督学习的跨领域情感分类方法的流程图;
图2为本发明提供的种基于半监督学习的跨领域情感分类方法的原理图;
图3为本发明提供的多层KL散度计算公式的原理图;
图4为本发明具体实施例提供的实验1中不同算法的分类结果对比图;
图5为本发明具体实施例提供的实验2中不同算法的分类结果对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于半监督学习的跨领域情感分类方法及系统,以克服新的领域存在标记数据不足的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明利用自训练方法结合神经网络模型训练出跨领域情感分类器,训练数据包括源域中标记的数据和目标域中置信度高的打伪标签的数据。
如图1和2所示,本发明提供本发明提供一种基于半监督学习的跨领域情感分类方法,所述分类方法包括如下步骤:
步骤101,获取带有标签的源域数据集和不带标签的目标域数据集。
对跨领域的文本数据进行情感分类标签等特征处理,具体包括:
S11:源域数据与目标域数据输入,使用有标记的源域数据和无标记的目标域数据。首先Ds表示源域数据集,Dt表示目标域数据集,假设有标记的数据ns训练数据来自目标域中无标签数据集合记为其中nt表示目标域中无标签数据集个数;
S12:数据形式转换,将源域数据和未标记的目标域数据的文本形式通过分词、过滤停用词、word2vec转换为向量形式;
S13:情感分类标签处理,将文本数据对应的不同等级统一处理分为积极、消极、中性三个等级。
以上方法,文本评论的数据集,通过将数据集的标签信息将其划分为源域数据集和目标域数据集,根据分词、过滤停用词等操作将评论数据集转换为向量表示;将数据集中的五个等级按照>3、<3、=3将情感分类为积极、消极、中性;或者从数据集设置中选取积极和消极两类数据,以便于评估在二分类任务中的效果。
步骤102,将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果。
本发明利用卷积神经网络模型和注意力层的融合作为特征自适应模块的文本特征提取部分,并且在特征编码过程中使用同一层共享空间,从而更加准确的提取源域和目标域之间的共有特征部分和特有特征部分。
步骤103,根据每个源域数据的特征提取结果和每个目标域数据的特征提取结果,利用多层KL散度计算公式,计算每个目标域数据与每个源域数据的多层KL散度。
所述多层KL散度计算公式为:
loss_kl=αKatt+(1-α)Kcnn+γK+Ks+Kt;
其中,如图3所示,loss_kl表示目标域数据与源域数据的多层KL散度,Katt表示源域数据的卷积层特征提取结果与目标域数据的卷积层特征提取结果的KL散度,Kcnn表示源域数据的注意力层特征提取结果与目标域数据的注意力层特征提取结果的KL散度,Ks表示源域数据的卷积层特征提取结果与注意力层提取结果的KL散度,Kt表示目标域数据的卷积层特征提取结果和注意力层提取结果的KL散度,K表示源域数据的卷积层特征提取结果和注意力层提取结果的融合特征与目标域数据的卷积层特征提取结果和注意力层提取结果的融合特征的KL散度,α和γ分别表示第一权重系数和第二权重系数,在(0,1]之间取值。
以Katt为例说明KL散度的计算公式:
KL=2*(KL(ds||dt)+KL(dt||ds));
其中,表示源域数据的卷积层特征提取结果,表示目标域数据的卷积层特征提取结果,d′s表示源域数据的卷积层特征提取结果的平均表示(mean representations),d′t代表目标域数据的卷积层特征提取结果的平均表示(mean representations),ds表示源域数据的卷积层特征提取结果的正则化表示,dt表示目标域数据的卷积层特征提取结果的正则化表示;
本发明利用KL散度不对称的特点用公式对源域和目标域之间的差异进行计算,然后进行特征空间分布的多层计算,促进跨领域之间的自适应性。
KL散度是衡量不同领域分布的差异的计算函数,利用多层KL散度将源域和目标域之间的分布差异缩小,尽可能将源域和目标域分布尽可能相似,更加准确提取源域和目标域的文本特征。
本发明将源域和目标域处理好的数据同时输入卷积层和注意力层,将二者提取出来的特征进行拼接融合,作为特征自适应模块的文本特征提取部分,目的是提取源域和目标域的文本特征,并且在特征编码过程中使用同一层共享空间,利用多层KL散度计算,减少领域之间的差异,从而更加准确的提取源域和目标域的文本特征。
步骤104,依次比较每个目标域数据与源域数据集中每个源域数据的多层KL散度的最小值与差异阈值的大小,当目标域数据与源域数据集中每个源域数据的多层KL散度的最小值小于差异阈值时,将所述目标域数据的伪标签确定为多层KL散度的最小值对应的源域数据的标签;
步骤105,判断所述目标域数据中带有伪标签的目标域数据的数量是否大于分类数量阈值,获得第一判断结果;
步骤106,若所述第一判断结果表示否,则利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,返回步骤“将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果”。
利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,具体包括:从所述源域数据集和目标域数据集的带有伪标签的目标域数据中获取置信度较高的前n个源域数据构建标准数据集;根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果;根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失;判断所述源域数据损失、所述目标域数据损失和所述集成损失是否均小于损失阈值,获得第二判断结果;若所述第二判断结果表示否,则更新所述卷积层和所述注意力层的参数,及所述多层KL散度计算公式中的权重系数,返回步骤“根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果”;若所述第二判断结果表示是,则结束训练。
利用置信度评价方法将目标域中部分标记的置信度高的数据加入到训练集中,即将本方法每一轮的结果进行比较,若该文本所对应的20轮结果相同,则被认为是置信度高的。利用源域中标记的所有数据结合神经网络模型共同训练分类器,从而对跨领域的情感文本进行更为准确的分类。
其中,所述根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果,具体包括:将标准数据集中的每个标准数据分别输入所述卷积层和所述注意力层进行特征提取,获得所述标准数据集中每个标准数据的特征提取结果;选取源域数据集中的任意一个源域数据或目标域数据集中任意一个带有伪标签的目标域数据,作为待分类数据;将所述待分类数据输入所述卷积层和所述注意力层进行特征提取,获得所述待分类数据的特征提取结果;根据所述标准数据集中每个标准数据的特征提取结果与所述待分类数据的特征提取结果,利用所述多层KL散度计算公式,计算所述待分类数据与所述标准数据集中每个标准数据的多层KL散度;获取多层KL散度的最小值对应的所述标准数据集中的标准数据的标签,作为所述待分类数据的分类结果。
以上方法,使用半监督分类方法中常用的自训练方法,结合神经网络模型更好的学习领域特征,从而对目标域中的无标签数据进行标记;然后根据目标域中标记无标签数据的置信度,从目标域中置信度高的数据进行采样,放入训练集中,和源域中标记的数据一起训练分类器。
具体包括如下步骤:
S321:训练方式Single-Source Self-Training DomainAdapation(SSTDA),只使用一个源域和一个目标域进行self-training训练,从本目标域中进行采样,从单源域和单目标域上进行提取置信度高的数据,将选取的置信度高的数据和伪标签放入训练集中,然后进行再次重新开始训练分类器,得到一个效果较优的分类器。
S322:训练方式Multi-Source Self-Training DomainAdapation(MSTDA),使用多个源域和一个目标域进行self-training训练,然后进行优化情感分类器,高置信度数据是从多个源域和同一个单目标域进行self-training训练提取,将选取的置信度高的数据和伪标签放入训练集中,然后进行再次重新开始训练分类器,得到一个效果较优的分类器。
本发明训练出来的分类器在接收提取出来的文本特征之后,根据设定的阈值输出分类器预测出的该文本表示的情感分类类别。
所述根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失,具体包括:根据所述分类结果,采用交叉熵损失函数,分别计算源域数据损失、目标域数据损失和集成损失。
利用交叉熵损失函数来减少分类的错误,提高情感分类的准确率,损失函数L的值越小,其两个分布概率越接近,准确率越高。
根据投票法选取置信度高的数据,与集成学习的投票法不同,但其思想是相同的,投票法一般遵循“少数服从多数”原则,将目标域中部分标记的置信度高的文本特征加入到训练集中进行训练分类器,,将高置信度的数据和打好的伪标签加入训练集中进行训练。
本发明使用yi表示每一轮的集成预测结果,α表示权重,然后进行多轮的预测,其集成损失函数为C2,:
源域利用交叉熵损失函数来减少分类的错误,提高情感分类的准确率,交叉熵损失函数的表示如下,L的值越小,其两个分布概率越接近,准确率越高。
目标域同样采用交叉熵损失函数:
步骤107,若所述第一判断结果表示是,则输出带有伪标签的目标域数据集。
本发明用卷积神经网络模型和注意力层将文本特征在同一层共享空间进行编码,使得源域和目标域可以提取相同部分和域独有部分,使用交叉熵损失函数减少分类的错误率;多层KL散度设计减小领域之间的差异。
本发明还提供一种基于半监督学习的跨领域情感分类系统,所述分类系统包括:
数据集获取模块,用于获取带有标签的源域数据集和不带标签的目标域数据集。
特征提取模块,用于将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果。
多层KL散度计算模块,用于根据每个源域数据的特征提取结果和每个目标域数据的特征提取结果,利用多层KL散度计算公式,计算每个目标域数据与每个源域数据的多层KL散度。
所述多层KL散度计算公式为:
loss_kl=αKatt+(1-α)Kcnn+γK+Ks+Kt;
其中,loss_kl表示目标域数据与源域数据的多层KL散度,Katt表示源域数据的卷积层特征提取结果与目标域数据的卷积层特征提取结果的KL散度,Kcnn表示源域数据的注意力层特征提取结果与目标域数据的注意力层特征提取结果的KL散度,Ks表示源域数据的卷积层特征提取结果与注意力层提取结果的KL散度,Kt表示目标域数据的卷积层特征提取结果和注意力层提取结果的KL散度,K表示源域数据的卷积层特征提取结果和注意力层提取结果的融合特征与目标域数据的卷积层特征提取结果和注意力层提取结果的融合特征的KL散度,α和γ分别表示第一权重系数和第二权重系数。
伪标签确定模块,用于依次比较每个目标域数据与源域数据集中每个源域数据的多层KL散度的最小值与差异阈值的大小,当目标域数据与源域数据集中每个源域数据的多层KL散度的最小值小于差异阈值时,将所述目标域数据的伪标签确定为多层KL散度的最小值对应的源域数据的标签。
第一判断模块,用于判断所述目标域数据中带有伪标签的目标域数据的数量是否大于分类数量阈值,获得第一判断结果。
训练模块,用于若所述第一判断结果表示否,则利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,返回步骤“将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果”。
所述训练模块,具体包括:标准数据集构建子模块,用于从所述源域数据集和目标域数据集的带有伪标签的目标域数据中获取置信度较高的前n个源域数据构建标准数据集;分类子模块,用于根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果;损失计算子模块,用于根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失;第二判断子模块,用于判断所述源域数据损失、所述目标域数据损失和所述集成损失是否均小于损失阈值,获得第二判断结果;参数更新子模块,用于若所述第二判断结果表示否,则更新所述卷积层和所述注意力层的参数,及所述多层KL散度计算公式中的权重系数,返回步骤“根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果”;结束训练子模块,用于若所述第二判断结果表示是,则结束训练。
其中,所述分类子模块,具体包括:第一特征提取单元,用于将标准数据集中的每个标准数据分别输入所述卷积层和所述注意力层进行特征提取,获得所述标准数据集中每个标准数据的特征提取结果;待分类数据选取单元,用于选取源域数据集中的任意一个源域数据或目标域数据集中任意一个带有伪标签的目标域数据,作为待分类数据;第二特征提取单元,用于将所述待分类数据输入所述卷积层和所述注意力层进行特征提取,获得所述待分类数据的特征提取结果;多层KL散度计算单元,用于根据所述标准数据集中每个标准数据的特征提取结果与所述待分类数据的特征提取结果,利用所述多层KL散度计算公式,计算所述待分类数据与所述标准数据集中每个标准数据的多层KL散度;分类结果确定单元,用于获取多层KL散度的最小值对应的所述标准数据集中的标准数据的标签,作为所述待分类数据的分类结果。
所述损失计算子模块,具体包括:损失计算单元,用于根据所述分类结果,采用交叉熵损失函数,分别计算源域数据损失、目标域数据损失和集成损失。
分类结果输出模块,用于若所述第一判断结果表示是,则输出带有伪标签的目标域数据集。
为了说明本发明的技术效果,本发明还提供了如下具体的实施例:
1、数据集
本发明实施例选取的是Amazon评论数据集;本发明在原有Amazon评论数据集基础上做了处理,删除数据中不确定的标签,选取易区分的样例,按照评分等级,将其分为积极情感、消极情感以及中性情感,考虑到实际情感分类情况,这里使用了二分类和三分类的数据集设置,实验设置数据集1为三分类,主要包括四个领域:Book(BK),Electronics(E),Beauty(BT),Music(M),每个领域有2000条带有标记的数据,测试集有2000条,实验设置2数据集为二分类,主要包括四个领域:Book(B),DVDs(D),Electronics(E)以及Kitchen(K),每个领域有1000条带有标记的数据,测试集数据有400条。
2、评价指标
本发明以分类准确率Accuracy作为评价指标,是指正确分类的条数占总测试条数的百分比,计算公式表示如下:
3、实验结果和分析
实验分为两部分,分别如下:
本发明实施例以分类准确率为评价指标选取了几种常用的跨领域情感分类方法与提出的方法进行对比验证来评估有效性。
实验1:实验结果主要从两个模块分析:特征自适应模块和Self-training模块。在特征自适应中,采用的两种模块进行提取共同特征,如图4所示,使用卷积层和注意力层分别提取源域和目标域的特征,注意力层提取出的特征普遍低于卷积层提取的特征的准确度,但当两者共同使用并计算多层KL散度时,在实验设置1中75%的结果超过了二者之间的最高值,25%的结果处于二者中间,在实验2中,如图5所示,83.33%的结果超过了二者之间的最高值,16.67%的结果处于二者中间,结果表明,无论是二分类还是三分类,本发明在特征自适应模块所提出的方法,有效的提取了源域和目标域之间的特征,能够为下一环节做了很好的准备。在Self-Training模块中,本发明将从SSTDA和MSTDA两种方法上分析。如表1、表2所示,在实验设置1中,其提取的置信度高的数据所占原数据百分比Coverage(%)在(20,32)之间,提取出置信度高的数据的标记的准确率(%)在(71,89)之间。在实验设置2中,其Coverage(%)在(56,75)之间,提取出置信度高的数据的标记的准确率(%)在(89,100)之间。
表1实验1中不同算法对比表
表2实验2中不同算法对比表
通过仿真实验,本发明所提出的方法能够很好的减小源域和目标域之间的差异,提升文本在跨领域之间迁移的效果,有效的解决实际生活中无标记数据过多的问题,进而提高跨领域情感分类的准确性。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
1、有效解决情感分类任务中的文本特征学习,利用多层KL散度设计方法将源域和目标域之间的分布差异缩小;
2、充分利用目标域中未标记的数据集,使用单源域和多源域的方法进行采样,将假设标记正确的目标域数据集加入到训练数据集中进行训练,并能有效进行领域自适应;
3、提高分类结果的准确性,提出一种基于半监督学习的跨领域情感分类方法,较好的标记目标域中无标签的数据,优化情感分类器。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于半监督学习的跨领域情感分类方法,其特征在于,所述分类方法包括如下步骤:
获取带有标签的源域数据集和不带标签的目标域数据集;
将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果;
根据每个源域数据的特征提取结果和每个目标域数据的特征提取结果,利用多层KL散度计算公式,计算每个目标域数据与每个源域数据的多层KL散度;
依次比较每个目标域数据与源域数据集中每个源域数据的多层KL散度的最小值与差异阈值的大小,当目标域数据与源域数据集中每个源域数据的多层KL散度的最小值小于差异阈值时,将所述目标域数据的伪标签确定为多层KL散度的最小值对应的源域数据的标签;
判断所述目标域数据中带有伪标签的目标域数据的数量是否大于分类数量阈值,获得第一判断结果;
若所述第一判断结果表示否,则利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,返回步骤“将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果”;
若所述第一判断结果表示是,则输出带有伪标签的目标域数据集。
2.根据权利要求1所述的基于半监督学习的跨领域情感分类方法,其特征在于,所述多层KL散度计算公式为:
loss_kl=αKatt+(1-α)Kcnn+γK+Ks+Kt;
其中,loss_kl表示目标域数据与源域数据的多层KL散度,Katt表示源域数据的卷积层特征提取结果与目标域数据的卷积层特征提取结果的KL散度,Kcnn表示源域数据的注意力层特征提取结果与目标域数据的注意力层特征提取结果的KL散度,Ks表示源域数据的卷积层特征提取结果与注意力层提取结果的KL散度,Kt表示目标域数据的卷积层特征提取结果和注意力层提取结果的KL散度,K表示源域数据的卷积层特征提取结果和注意力层提取结果的融合特征与目标域数据的卷积层特征提取结果和注意力层提取结果的融合特征的KL散度,α和γ分别表示第一权重系数和第二权重系数。
3.根据权利要求1所述的基于半监督学习的跨领域情感分类方法,其特征在于,利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,具体包括:
从所述源域数据集和目标域数据集的带有伪标签的目标域数据中获取置信度较高的前n个源域数据构建标准数据集;
根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果;
根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失;
判断所述源域数据损失、所述目标域数据损失和所述集成损失是否均小于损失阈值,获得第二判断结果;
若所述第二判断结果表示否,则更新所述卷积层和所述注意力层的参数,及所述多层KL散度计算公式中的权重系数,返回步骤“根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果”;
若所述第二判断结果表示是,则结束训练。
4.根据权利要求3所述的基于半监督学习的跨领域情感分类方法,其特征在于,所述根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果,具体包括:
将标准数据集中的每个标准数据分别输入所述卷积层和所述注意力层进行特征提取,获得所述标准数据集中每个标准数据的特征提取结果;
选取源域数据集中的任意一个源域数据或目标域数据集中任意一个带有伪标签的目标域数据,作为待分类数据;
将所述待分类数据输入所述卷积层和所述注意力层进行特征提取,获得所述待分类数据的特征提取结果;
根据所述标准数据集中每个标准数据的特征提取结果与所述待分类数据的特征提取结果,利用所述多层KL散度计算公式,计算所述待分类数据与所述标准数据集中每个标准数据的多层KL散度;
获取多层KL散度的最小值对应的所述标准数据集中的标准数据的标签,作为所述待分类数据的分类结果。
5.根据权利要求3所述的基于半监督学习的跨领域情感分类方法,其特征在于,所述根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失,具体包括:
根据所述分类结果,采用交叉熵损失函数,分别计算源域数据损失、目标域数据损失和集成损失。
6.一种基于半监督学习的跨领域情感分类系统,其特征在于,所述分类系统包括:
数据集获取模块,用于获取带有标签的源域数据集和不带标签的目标域数据集;
特征提取模块,用于将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果;
多层KL散度计算模块,用于根据每个源域数据的特征提取结果和每个目标域数据的特征提取结果,利用多层KL散度计算公式,计算每个目标域数据与每个源域数据的多层KL散度;
伪标签确定模块,用于依次比较每个目标域数据与源域数据集中每个源域数据的多层KL散度的最小值与差异阈值的大小,当目标域数据与源域数据集中每个源域数据的多层KL散度的最小值小于差异阈值时,将所述目标域数据的伪标签确定为多层KL散度的最小值对应的源域数据的标签;
第一判断模块,用于判断所述目标域数据中带有伪标签的目标域数据的数量是否大于分类数量阈值,获得第一判断结果;
训练模块,用于若所述第一判断结果表示否,则利用所述源域数据集和所述目标域数据集中的带有伪标签的目标域数据训练所述卷积层、所述注意力层和多层KL散度计算公式中的权重系数,返回步骤“将源域数据集中的每个源域数据和目标域数据集中的每个目标域数据分别输入卷积层和注意力层进行特征提取,获得每个源域数据的特征提取结果和每个目标域数据的特征提取结果”;
分类结果输出模块,用于若所述第一判断结果表示是,则输出带有伪标签的目标域数据集。
7.根据权利要求6所述的基于半监督学习的跨领域情感分类系统,其特征在于,所述多层KL散度计算公式为:
loss_kl=αKatt+(1-α)Kcnn+γK+Ks+Kt;
其中,loss_kl表示目标域数据与源域数据的多层KL散度,Katt表示源域数据的卷积层特征提取结果与目标域数据的卷积层特征提取结果的KL散度,Kcnn表示源域数据的注意力层特征提取结果与目标域数据的注意力层特征提取结果的KL散度,Ks表示源域数据的卷积层特征提取结果与注意力层提取结果的KL散度,Kt表示目标域数据的卷积层特征提取结果和注意力层提取结果的KL散度,K表示源域数据的卷积层特征提取结果和注意力层提取结果的融合特征与目标域数据的卷积层特征提取结果和注意力层提取结果的融合特征的KL散度,α和γ分别表示第一权重系数和第二权重系数。
8.根据权利要求6所述的基于半监督学习的跨领域情感分类系统,其特征在于,所述训练模块,具体包括:
标准数据集构建子模块,用于从所述源域数据集和目标域数据集的带有伪标签的目标域数据中获取置信度较高的前n个源域数据构建标准数据集;
分类子模块,用于根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果;
损失计算子模块,用于根据所述分类结果,分别计算源域数据损失、目标域数据损失和集成损失;
第二判断子模块,用于判断所述源域数据损失、所述目标域数据损失和所述集成损失是否均小于损失阈值,获得第二判断结果;
参数更新子模块,用于若所述第二判断结果表示否,则更新所述卷积层和所述注意力层的参数,及所述多层KL散度计算公式中的权重系数,返回步骤“根据所述标准数据集,利用所述卷积层、所述注意力层和多层KL散度计算公式,对源域数据集中的源域数据和目标域数据集中带有伪标签的目标域数据进行分类,获得分类结果”;
结束训练子模块,用于若所述第二判断结果表示是,则结束训练。
9.根据权利要求8所述的基于半监督学习的跨领域情感分类系统,其特征在于,所述分类子模块,具体包括:
第一特征提取单元,用于将标准数据集中的每个标准数据分别输入所述卷积层和所述注意力层进行特征提取,获得所述标准数据集中每个标准数据的特征提取结果;
待分类数据选取单元,用于选取源域数据集中的任意一个源域数据或目标域数据集中任意一个带有伪标签的目标域数据,作为待分类数据;
第二特征提取单元,用于将所述待分类数据输入所述卷积层和所述注意力层进行特征提取,获得所述待分类数据的特征提取结果;
多层KL散度计算单元,用于根据所述标准数据集中每个标准数据的特征提取结果与所述待分类数据的特征提取结果,利用所述多层KL散度计算公式,计算所述待分类数据与所述标准数据集中每个标准数据的多层KL散度;
分类结果确定单元,用于获取多层KL散度的最小值对应的所述标准数据集中的标准数据的标签,作为所述待分类数据的分类结果。
10.根据权利要求8所述的基于半监督学习的跨领域情感分类系统,其特征在于,所述损失计算子模块,具体包括:
损失计算单元,用于根据所述分类结果,采用交叉熵损失函数,分别计算源域数据损失、目标域数据损失和集成损失。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110812100.4A CN113360659B (zh) | 2021-07-19 | 2021-07-19 | 一种基于半监督学习的跨领域情感分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110812100.4A CN113360659B (zh) | 2021-07-19 | 2021-07-19 | 一种基于半监督学习的跨领域情感分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113360659A true CN113360659A (zh) | 2021-09-07 |
CN113360659B CN113360659B (zh) | 2022-11-22 |
Family
ID=77539777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110812100.4A Active CN113360659B (zh) | 2021-07-19 | 2021-07-19 | 一种基于半监督学习的跨领域情感分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113360659B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114724012A (zh) * | 2022-06-10 | 2022-07-08 | 天津大学 | 基于时空跨尺度注意力融合热带不稳定波预警方法及装置 |
CN116932852A (zh) * | 2023-06-21 | 2023-10-24 | 江西中唐产业互联网有限公司 | 互联网信息监控系统及其方法 |
CN117436446A (zh) * | 2023-12-21 | 2024-01-23 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909101A (zh) * | 2017-11-10 | 2018-04-13 | 清华大学 | 基于卷积神经网络的半监督迁移学习字符识别方法及系统 |
US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
CN110348579A (zh) * | 2019-05-28 | 2019-10-18 | 北京理工大学 | 一种领域自适应迁移特征方法及系统 |
CN111428039A (zh) * | 2020-03-31 | 2020-07-17 | 中国科学技术大学 | 一种方面级别的跨领域情感分类方法及系统 |
CN111709315A (zh) * | 2020-05-27 | 2020-09-25 | 西安交通大学 | 一种基于领域适配的水声目标辐射噪声识别方法 |
CN112639828A (zh) * | 2019-08-07 | 2021-04-09 | 华为技术有限公司 | 数据处理的方法、训练神经网络模型的方法及设备 |
CN112684891A (zh) * | 2020-12-30 | 2021-04-20 | 杭州电子科技大学 | 基于多源流形嵌入迁移的脑电信号分类方法 |
CN112861929A (zh) * | 2021-01-20 | 2021-05-28 | 河南科技大学 | 一种基于半监督加权迁移判别分析的图像分类方法 |
-
2021
- 2021-07-19 CN CN202110812100.4A patent/CN113360659B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
CN107909101A (zh) * | 2017-11-10 | 2018-04-13 | 清华大学 | 基于卷积神经网络的半监督迁移学习字符识别方法及系统 |
CN110348579A (zh) * | 2019-05-28 | 2019-10-18 | 北京理工大学 | 一种领域自适应迁移特征方法及系统 |
CN112639828A (zh) * | 2019-08-07 | 2021-04-09 | 华为技术有限公司 | 数据处理的方法、训练神经网络模型的方法及设备 |
CN111428039A (zh) * | 2020-03-31 | 2020-07-17 | 中国科学技术大学 | 一种方面级别的跨领域情感分类方法及系统 |
CN111709315A (zh) * | 2020-05-27 | 2020-09-25 | 西安交通大学 | 一种基于领域适配的水声目标辐射噪声识别方法 |
CN112684891A (zh) * | 2020-12-30 | 2021-04-20 | 杭州电子科技大学 | 基于多源流形嵌入迁移的脑电信号分类方法 |
CN112861929A (zh) * | 2021-01-20 | 2021-05-28 | 河南科技大学 | 一种基于半监督加权迁移判别分析的图像分类方法 |
Non-Patent Citations (5)
Title |
---|
DONG ZHANG 等: "Multi-Modal Sentiment Classification With Independent and Interactive Knowledge via Semi-Supervised Learning", 《IEEE ACCESS》 * |
吕昊远 等: "半监督深度学习图像分类方法研究综述", 《计算机科学与探索》 * |
曲昭伟 等: "半监督自训练的方面提取", 《智能系统学报》 * |
李晋源 等: "面向方面记忆网络的IT产品细粒度情感分析", 《计算机工程与应用》 * |
王丹: "基于无监督与半监督框架的医学图像分类关键技术研究", 《中国优秀博硕士学位论文全文数据库(博士)医药卫生科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114724012A (zh) * | 2022-06-10 | 2022-07-08 | 天津大学 | 基于时空跨尺度注意力融合热带不稳定波预警方法及装置 |
CN114724012B (zh) * | 2022-06-10 | 2022-08-23 | 天津大学 | 基于时空跨尺度注意力融合热带不稳定波预警方法及装置 |
CN116932852A (zh) * | 2023-06-21 | 2023-10-24 | 江西中唐产业互联网有限公司 | 互联网信息监控系统及其方法 |
CN117436446A (zh) * | 2023-12-21 | 2024-01-23 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
CN117436446B (zh) * | 2023-12-21 | 2024-03-22 | 江西农业大学 | 基于弱监督的农业社会化销售服务用户评价数据分析方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113360659B (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110019839B (zh) | 基于神经网络和远程监督的医学知识图谱构建方法和系统 | |
CN113360659B (zh) | 一种基于半监督学习的跨领域情感分类方法及系统 | |
CN107608956B (zh) | 一种基于cnn-grnn的读者情绪分布预测算法 | |
CN109492101B (zh) | 基于标签信息与文本特征的文本分类方法、系统及介质 | |
CN106096004B (zh) | 一种建立大规模跨领域文本情感倾向性分析框架的方法 | |
CN109685056B (zh) | 获取文档信息的方法及装置 | |
CN111881262B (zh) | 基于多通道神经网络的文本情感分析方法 | |
CN106599032B (zh) | 一种结合稀疏编码和结构感知机的文本事件抽取方法 | |
CN103207855B (zh) | 针对产品评论信息的细粒度情感分析系统及方法 | |
CN111160037A (zh) | 一种支持跨语言迁移的细粒度情感分析方法 | |
CN111680160A (zh) | 一种用于文本情感分类的深度迁移学习方法 | |
CN112241626A (zh) | 一种语义匹配、语义相似度模型训练方法及装置 | |
CN108563638A (zh) | 一种基于主题识别和集成学习的微博情感分析方法 | |
CN105740382A (zh) | 一种对短评论文本进行方面分类方法 | |
CN107818173B (zh) | 一种基于向量空间模型的中文虚假评论过滤方法 | |
CN114998602B (zh) | 基于低置信度样本对比损失的域适应学习方法及系统 | |
CN111881671A (zh) | 一种属性词提取方法 | |
CN116629275A (zh) | 一种基于大数据的智能决策支持系统及方法 | |
CN117390141B (zh) | 一种农业社会化服务质量用户评价数据分析方法 | |
US20230289528A1 (en) | Method for constructing sentiment classification model based on metaphor identification | |
CN116245110A (zh) | 基于图注意力网络的多维度信息融合用户立场检测方法 | |
CN114091469B (zh) | 基于样本扩充的网络舆情分析方法 | |
CN111813939A (zh) | 一种基于表征增强与融合的文本分类方法 | |
CN114757183A (zh) | 一种基于对比对齐网络的跨领域情感分类方法 | |
Maree et al. | Optimizing machine learning-based sentiment analysis accuracy in bilingual sentences via preprocessing techniques. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |