CN112199505A - 一种基于特征表示学习的跨领域情感分类方法及系统 - Google Patents

一种基于特征表示学习的跨领域情感分类方法及系统 Download PDF

Info

Publication number
CN112199505A
CN112199505A CN202011185607.3A CN202011185607A CN112199505A CN 112199505 A CN112199505 A CN 112199505A CN 202011185607 A CN202011185607 A CN 202011185607A CN 112199505 A CN112199505 A CN 112199505A
Authority
CN
China
Prior art keywords
feature
sample
representing
domain
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011185607.3A
Other languages
English (en)
Other versions
CN112199505B (zh
Inventor
廖祥文
林诚燕
鲍亮
张艳茹
徐庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202011185607.3A priority Critical patent/CN112199505B/zh
Publication of CN112199505A publication Critical patent/CN112199505A/zh
Application granted granted Critical
Publication of CN112199505B publication Critical patent/CN112199505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于特征表示学习的跨领域情感分类方法及系统，包括步骤：对源领域文本与目标领域文本进行特征化处理，得到源领域初始文本向量与目标领域初始文本向量；将源领域初始文本向量与目标领域初始文本向量分别特征表示学习模块中，得到源领域文本特征向量与目标领域文本特征向量；将源领域文本特征向量与目标领域文本特征向量送入特征表示强化模块中，并进行训练；利用训练好的特征表示强化模块对目标领域的文本特征向量进行分类预测。本发明能够提升目标领域文本情感分类的效果。

Description

一种基于特征表示学习的跨领域情感分类方法及系统
技术领域
本发明涉及数据处理技术领域，特别是一种基于特征表示学习的跨领域情感分类方法及系统。
背景技术
目前，存在许多基于深度学习的方法可用于文本情感分类，并且取得了一定的成效，但是这些方法高度依赖人工标记数据，尤其要求训练语料与测试语料需具有相同特征分布。对于一些新兴领域，存在稀缺的标注训练语料，而人工标注语料需要耗费大量时间和精力。因此，跨领域文本情感分析方法顺势而生。通过迁移学习，在具有丰富语料的领域中学习知识，并将学习到的知识迁移到新的领域，从而减少对新领域标注语料的依赖，提高新领域学习的性能。但是，由于领域之间对情感倾向的表达存在差异性，在具有丰富标记语料的源领域中训练得到的情感分类器直接应用到稀缺标注语料的目标域中，目标领域情感分类或许达不到理想的效果。因此，如何学习到领域通用情感特征的同时保留领域特定信息，引起许多研究人员的关注并提出各种跨领域文本情感分类的方法。
根据学习方法不同，基于迁移学习情感分析研究主要分为基于实例加权的跨领域情感分类方法、基于特征选择的跨领域情感分类方法、基于生成对抗网络的跨领域情感分类方法等。
基于实例加权的跨领域情感分类方法，主要是通过调整源领域数据的训练权重，使源领域数据尽可能地满足目标领域的数据分布，研究者提出TrAdaBoost算法，扩展了AdaBoost算法，从源领域中提取可用的标注数据，与少量标记目标数据相结合，以构建比仅使用标记目标数据更为准确的模型。但是在迁移过程不可避免出现负面迁移的问题，反而会降低目标领域情感分类的性能。
基于特征选择的跨领域情感分类方法，通过挖掘源领域与目标领域中枢轴特征和非枢轴特征，构建领域特征之间的映射关系，寻找不同领域间通用的特征空间，在此通用空间上进行情感分类。研究人员提出一种结构对应学习方法，通过对不同领域与枢轴特征的相关性进行建模，以识别特征间的对应关系。之后研究人员还提出结合源领域标签的互信息更高效地挑选枢轴特征，大幅改善了结构对应学习方法的情感分类性能。但是这些方法在进行领域适应之前，需要人工选择领域的枢轴特征，然而人工选择过程中存在主观性，得到的枢轴并不都是准确的。基于生成对抗网络的跨领域情感分析研究是将生成对抗网络应用在跨领域场景下，学习领域间共同情感特征和共享参数。研究人员利用梯度反转层，通过最小化情感标签分类器的损失和最大化领域分类器的损失，使得分类算法无法判断输入样本的领域来源，从而学习一种领域适应的特征表示学习方法。然而该方法缺乏了可解释性，无法充分证明网络是否充分学习到了领域适应的文本特征，仍有很大的探索空间。因此人们希望找到一种更加高效的跨领域情感分类方法，进而提高跨领域情感分类的精度和减少人工时间精力的消耗。
发明内容
有鉴于此，本发明的目的是提出一种基于特征表示学习的跨领域情感分类方法及系统，通过最大化两个情感分类差异，能够检测出处于源领域边界附近的目标域样本，然后通过不同卷积核大小的CNN捕获文本关键信息，最小化源域和目标域之间的差异，使目标域样本更接近于源域样本，最终提升目标领域文本情感分类的效果。
本发明采用以下方案实现：一种基于特征表示学习的跨领域情感分类方法，具体包括以下步骤：
对源领域文本与目标领域文本进行特征化处理，得到源领域初始文本向量与目标领域初始文本向量；
将源领域初始文本向量与目标领域初始文本向量分别特征表示学习模块中，得到源领域文本特征向量与目标领域文本特征向量；
将源领域文本特征向量与目标领域文本特征向量送入特征表示强化模块中，并进行训练；
利用训练好的特征表示强化模块对目标领域的文本特征向量进行分类预测。
进一步地，所述特征表示学习模块包括三个并行的CNN网络，将源领域初始文本向量与目标领域初始文本分别送入三个CNN网络中，分别得到两组三个不同的特征图，分别将两组三个不同的特征图进行拼接，对应得到源领域文本特征向量与目标领域文本特征向量。
进一步地，所述特征表示强化模块为由两个分类器组成的对抗型网络，所述训练的过程包括三个阶段：
阶段一：同时训练特征表示学习模块与特征表示强化模块，采用源领域的样本数据进行训练，采用目标领域的样本数据进行测试；
阶段二：固定特征表示学习模块的参数，对特征表示强化模块进行优化训练；训练特征表示强化模块中的两个分类器F1、F2，将目标领域的样本数据经过预处理后送入特征表示学习模块得到文本特征表示后分别输入到两个分类器，得到两个分类概率，通过最大化分类器的分类差异，即最大化分类概率的差异，检测出源领域边界之外的目标域样本；同时使用源领域带情感极性标注的样本对两个分类器进行情感分类训练，以在检测出源域边界之外的目标域样本的同时保证分类器正确情感分类的性能；
阶段三：固定特征表示强化模块的参数，对特征表示学习模块进行优化训练，采用源领域的样本数据进行训练，采用目标领域的样本数据进行测试，使得目标域样本特征与源领域样本之间的差异最小化，实现领域的对齐。
进一步地，阶段一的损失函数如下：
L1＝Lcls+λ1Lk1；
其中，
Figure BDA0002751318820000041
Figure BDA0002751318820000042
式中，λ1表示KL散度损失权重系数，ns表示源领域中已标记样本的数量，K表示情感类别数，本发明主要进行情感二分类，因此K取值为2，
Figure BDA0002751318820000043
表示样本i对应的真实情感结果，
Figure BDA0002751318820000051
表示模型分类器F1对样本i预测的情感结果，
Figure BDA0002751318820000052
表示模型分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure BDA0002751318820000053
表示源领域样本，
Figure BDA0002751318820000054
表示目标领域样本，gs(i)表示源领域样本特征分布，gt(i)表示目标领域样本特征分布，nt表示目标领域样本数，g′s表示源领域样本均值特征分布，g′t表示目标领域均值特征分布。
进一步地，阶段二的损失函数如下：
L2＝Lcls-λ2Ldis；
其中，
Figure BDA0002751318820000055
Figure BDA0002751318820000056
Figure BDA0002751318820000057
式中，λ2表示概率差异损失的权重系数，ns表示源领域样本数，K表示情感类别数，本发明主要进行情感二分类，因此K取值为2，
Figure BDA0002751318820000058
表示样本i对应的真实情感结果，
Figure BDA0002751318820000059
表示模型分类器F1对样本i预测的情感结果，
Figure BDA00027513188200000510
表示模型分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure BDA00027513188200000511
表示源领域样本，Ex～Dt[*]表示样本在目标领域上的期望误差，d(*)表示二分类平均绝对概率差，p1(y|x)表示样本x在分类器F1上分类概率，p2(y|x)表示分类器F2的条件概率，
Figure BDA00027513188200000512
表示样本x在分类器F1上分类概率，
Figure BDA00027513188200000513
表示样本x在分类器F2上分类概率。
进一步地，阶段三的损失函数如下：
L3＝Lcls+λ3Ldis；
其中，
Figure BDA0002751318820000061
Figure BDA0002751318820000062
Figure BDA0002751318820000063
式中，λ3表示概率差异损失的权重系数，ns表示源领域样本数，K表示情感类别数，本发明主要进行情感二分类，因此K取值为2，
Figure BDA0002751318820000064
表示样本i对应的真实情感结果，
Figure BDA0002751318820000065
表示模型分类器F1对样本i预测的情感结果，
Figure BDA0002751318820000066
表示分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure BDA0002751318820000067
表示源领域样本，Ex～Dt[*]表示样本在目标领域上的期望误差，d(*)表示二分类平均绝对概率差，p1(y|x)表示分类器F1的条件概率，p2(y|x)表示分类器F2的条件概率，
Figure BDA0002751318820000068
表示样本x在分类器F1上分类概率，
Figure BDA0002751318820000069
表示样本x在分类器F2上分类概率。
进一步地，所述利用训练好的特征表示强化模块对目标领域的文本特征向量进行分类预测具体为：采用特征表示强化模块中的两个分类器分别对输入的目标领域文本特征向量进行预测，分别得到两个分类结果，将这两个分类结果求均值作为最后的分类结果。
本发明还提供了一种基于特征表示学习的跨领域情感分类系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。
与现有技术相比，本发明有以下有益效果：本发明通过最大化两个情感分类差异，能够检测出处于源领域边界附近的目标域样本，然后通过不同卷积核大小的CNN捕获文本关键信息，最小化源域和目标域之间的差异，使目标域样本更接近于源域样本，最终提升目标领域文本情感分类的效果。
附图说明
图1为本发明实施例的原理示意图
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于特征表示学习的跨领域情感分类方法，具体包括以下步骤：
步骤S1：对源领域文本与目标领域文本进行特征化处理，得到源领域初始文本向量与目标领域初始文本向量；由于神经网络的输入数据一般为向量，以便模型的端到端训练，因此需要对文本数据进行向量化表示。为了便于数据的处理和分析，本实施例首先对源领域和目标领域的文本进行分词并过滤停用词；接着，通过Glove将文本数据从文本形式转换成向量形式。
步骤S2：将源领域初始文本向量与目标领域初始文本向量分别特征表示学习模块中，得到源领域文本特征向量与目标领域文本特征向量；
步骤S3：将源领域文本特征向量与目标领域文本特征向量送入特征表示强化模块中，并进行训练；
步骤S4：利用训练好的特征表示强化模块对目标领域的文本特征向量进行分类预测。
在本实施例中，所述特征表示学习模块包括三个并行的CNN网络，将源领域初始文本向量与目标领域初始文本分别送入三个CNN网络中，分别得到两组三个不同的特征图，分别将两组三个不同的特征图进行拼接，对应得到源领域文本特征向量与目标领域文本特征向量。本实施例采用的是卷积核大小分别为3、4、5的CNN并行而成的，解决了CNN单个卷积核只能提取一种类型的特征的问题，提高特征的多样性。将步骤S1得到的文本向量分别输入到该三个并行的CNN中，得到三个不同的特征图，通过最大池化操作以及直接顺序拼接得到最后的文本特征表示
在本实施例中，所述特征表示强化模块为由两个分类器组成的对抗型网络，所述训练的过程包括三个阶段：
阶段一：同时训练特征表示学习模块与特征表示强化模块，采用源领域的样本数据进行训练，采用目标领域的样本数据进行测试；
阶段二：固定特征表示学习模块的参数，对特征表示强化模块进行优化训练；训练特征表示强化模块中的两个分类器F1、F2，将目标领域的样本数据经过预处理后送入特征表示学习模块得到文本特征表示后分别输入到两个分类器，得到两个分类概率，通过最大化分类器的分类差异，即最大化分类概率的差异，检测出源领域边界之外的目标域样本；同时使用源领域带情感极性标注的样本对两个分类器进行情感分类训练，以在检测出源域边界之外的目标域样本的同时保证分类器正确情感分类的性能；
阶段三：固定特征表示强化模块的参数，对特征表示学习模块进行优化训练，采用源领域的样本数据进行训练，采用目标领域的样本数据进行测试，使得目标域样本特征与源领域样本之间的差异最小化，实现领域的对齐。
在本实施例中，阶段一的损失函数如下：
L1＝Lcls+λ1Lk1；
其中，
Figure BDA0002751318820000101
Figure BDA0002751318820000102
式中，λ1表示KL散度损失权重系数，ns表示源领域中已标记样本的数量，K表示情感类别数，
Figure BDA0002751318820000103
表示样本i对应的真实情感结果，
Figure BDA0002751318820000104
表示模型分类器F1对样本i预测的情感结果，
Figure BDA0002751318820000105
表示模型分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure BDA0002751318820000106
表示源领域样本，
Figure BDA0002751318820000107
表示目标领域样本，gs(i)表示源领域样本特征分布，gt(i)表示目标领域样本特征分布，nt表示目标领域样本数，g′s表示源领域样本均值特征分布，g′t表示目标领域均值特征分布。
在本实施例中，阶段二的损失函数为情感分类损失与分类器差异损失之和，如下：
L2＝Lcls-λ2Ldis；
其中，
Figure BDA0002751318820000108
Figure BDA0002751318820000111
Figure BDA0002751318820000112
式中，λ2表示概率差异损失的权重系数，ns表示源领域样本数，K表示情感类别数，
Figure BDA0002751318820000113
表示样本i对应的真实情感结果，
Figure BDA0002751318820000114
表示模型分类器F1对样本i预测的情感结果，
Figure BDA0002751318820000115
表示模型分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure BDA0002751318820000116
表示源领域样本，Ex～Dt[*]表示样本在目标领域上的期望误差，d(*)表示二分类平均绝对概率差，p1(y|x)表示分类器F1的条件概率，p2(y|x)表示分类器F2的条件概率，
Figure BDA0002751318820000117
表示样本x在分类器F1上分类概率，
Figure BDA0002751318820000118
表示样本x在分类器F2上分类概率。
在本实施例中，阶段三的损失函数如下：
L3＝Lcls+λ3Ldis；
其中，
Figure BDA0002751318820000119
Figure BDA00027513188200001110
Figure BDA00027513188200001111
式中，λ3表示概率差异损失的权重系数，ns表示源领域样本数，K表示情感类别数，
Figure BDA00027513188200001112
表示样本i对应的真实情感结果，
Figure BDA00027513188200001113
表示模型分类器F1对样本i预测的情感结果，
Figure BDA0002751318820000121
表示模型分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure BDA0002751318820000122
表示，Ex～Dt[*]表示样本在目标领域上的期望误差，d(*)表示二分类平均绝对概率差，p1(y|x)表示分类器F1的条件概率，p2(y|x)表示分类器F2的条件概率，
Figure BDA0002751318820000123
表示样本x在分类器F1上分类概率，
Figure BDA0002751318820000124
表示样本x在分类器F2上分类概率。
在本实施例中，所述利用训练好的特征表示强化模块对目标领域的文本特征向量进行分类预测具体为：采用特征表示强化模块中的两个分类器分别对输入的目标领域文本特征向量进行预测，分别得到两个分类结果，将这两个分类结果求均值作为最后的分类结果。
较佳的，本实施例在训练阶段根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。
本实施例还提供了一种基于特征表示学习的跨领域情感分类系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，当处理器运行该计算机程序指令时，实现如上文所述的方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种基于特征表示学习的跨领域情感分类方法，其特征在于，包括以下步骤：
对源领域文本与目标领域文本进行特征化处理，得到源领域初始文本向量与目标领域初始文本向量；
将源领域初始文本向量与目标领域初始文本向量分别特征表示学习模块中，得到源领域文本特征向量与目标领域文本特征向量；
将源领域文本特征向量与目标领域文本特征向量送入特征表示强化模块中，并进行训练；
利用训练好的特征表示强化模块对目标领域的文本特征向量进行分类预测。
2.根据权利要求1所述的一种基于特征表示学习的跨领域情感分类方法，其特征在于，所述特征表示学习模块包括三个并行的CNN网络，将源领域初始文本向量与目标领域初始文本分别送入三个CNN网络中，分别得到两组三个不同的特征图，分别将两组三个不同的特征图进行拼接，对应得到源领域文本特征向量与目标领域文本特征向量。
3.根据权利要求1所述的一种基于特征表示学习的跨领域情感分类方法，其特征在于，所述特征表示强化模块为由两个分类器组成的对抗型网络，所述训练的过程包括三个阶段：
阶段一：同时训练特征表示学习模块与特征表示强化模块，采用源领域的样本数据进行训练，采用目标领域的样本数据进行测试；
阶段二：固定特征表示学习模块的参数，对特征表示强化模块进行优化训练；训练特征表示强化模块中的两个分类器F1、F2，将目标领域的样本数据经过预处理后送入特征表示学习模块得到文本特征表示后分别输入到两个分类器，得到两个分类概率，通过最大化分类器的分类差异，即最大化分类概率的差异，检测出源领域边界之外的目标域样本；同时使用源领域带情感极性标注的样本对两个分类器进行情感分类训练，以在检测出源域边界之外的目标域样本的同时保证分类器正确情感分类的性能；
阶段三：固定特征表示强化模块的参数，对特征表示学习模块进行优化训练，采用源领域的样本数据进行训练，采用目标领域的样本数据进行测试，使得目标域样本特征与源领域样本之间的差异最小化，实现领域的对齐。
4.根据权利要求3所述的一种基于特征表示学习的跨领域情感分类方法，其特征在于，阶段一的损失函数如下：
L1＝Lcls+λ1Lk1；
其中，
Figure FDA0002751318810000021
Figure FDA0002751318810000022
式中，λ1表示KL散度损失权重系数，ns表示源领域中已标记样本的数量，K表示情感类别数，
Figure FDA0002751318810000031
表示样本i对应的真实情感结果，
Figure FDA0002751318810000032
表示模型分类器F1对样本i预测的情感结果，
Figure FDA0002751318810000033
表示模型分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure FDA0002751318810000034
表示源领域样本，
Figure FDA0002751318810000035
表示目标领域样本，gs(i)表示源领域样本特征分布，gt(i)表示目标领域样本特征分布，nt表示目标领域样本数，g′s表示源领域样本均值特征分布，g′t表示目标领域均值特征分布。
5.根据权利要求3所述的一种基于特征表示学习的跨领域情感分类方法，其特征在于，阶段二的损失函数如下：
L2＝Lcls-λ2Ldis；
其中，
Figure FDA0002751318810000036
Figure FDA0002751318810000037
Figure FDA0002751318810000038
式中，λ2表示概率差异损失的权重系数，ns表示源领域样本数，K表示情感类别数，
Figure FDA0002751318810000039
表示样本i对应的真实情感结果，
Figure FDA00027513188100000310
表示模型分类器F1对样本i预测的情感结果，
Figure FDA00027513188100000311
表示模型分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure FDA00027513188100000312
表示源领域样本，Ex～Dt[*]表示样本在目标领域上的期望误差，d(*)表示二分类平均绝对概率差，p1(y|x)表示分类器F1的条件概率，p2(y|x)表示分类器F2的条件概率，
Figure FDA00027513188100000410
表示样本x在分类器F1上分类概率，
Figure FDA00027513188100000411
表示样本x在分类器F2上分类概率。
6.根据权利要求3所述的一种基于特征表示学习的跨领域情感分类方法，其特征在于，阶段三的损失函数如下：
L3＝Lcls+λ3Ldis；
其中，
Figure FDA0002751318810000041
Figure FDA0002751318810000042
Figure FDA0002751318810000043
式中，λ3表示概率差异损失的权重系数，ns表示源领域样本数，K表示情感类别数，
Figure FDA0002751318810000044
表示样本i对应的真实情感结果，
Figure FDA0002751318810000045
表示模型分类器F1对样本i预测的情感结果，
Figure FDA0002751318810000046
表示模型分类器F2对样本i预测的情感结果，G(*)表示特征学习模块的特征映射函数，
Figure FDA0002751318810000047
表示，Ex～Dt[*]表示样本在目标领域上的期望误差，d(*)表示二分类平均绝对概率差，p1(y|x)表示分类器F1的条件概率，p2(y|x)表示分类器F2的条件概率，
Figure FDA0002751318810000048
表示样本x在分类器F1上分类概率，
Figure FDA0002751318810000049
表示样本x在分类器F2上分类概率。
7.根据权利要求3所述的一种基于特征表示学习的跨领域情感分类方法，其特征在于，所述利用训练好的特征表示强化模块对目标领域的文本特征向量进行分类预测具体为：采用特征表示强化模块中的两个分类器分别对输入的目标领域文本特征向量进行预测，分别得到两个分类结果，将这两个分类结果求均值作为最后的分类结果。
8.一种基于特征表示学习的跨领域情感分类系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，实现如权利要求1-7任一项所述的方法步骤。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序指令，当处理器运行该计算机程序指令时，实现如权利要求1-7任一项所述的方法步骤。
CN202011185607.3A 2020-10-30 2020-10-30 一种基于特征表示学习的跨领域情感分类方法及系统 Active CN112199505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011185607.3A CN112199505B (zh) 2020-10-30 2020-10-30 一种基于特征表示学习的跨领域情感分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011185607.3A CN112199505B (zh) 2020-10-30 2020-10-30 一种基于特征表示学习的跨领域情感分类方法及系统

Publications (2)

Publication Number Publication Date
CN112199505A true CN112199505A (zh) 2021-01-08
CN112199505B CN112199505B (zh) 2022-06-03

Family

ID=74012030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011185607.3A Active CN112199505B (zh) 2020-10-30 2020-10-30 一种基于特征表示学习的跨领域情感分类方法及系统

Country Status (1)

Country Link
CN (1) CN112199505B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860901A (zh) * 2021-03-31 2021-05-28 中国工商银行股份有限公司 一种融合情感词典的情感分析方法及装置
CN114443849A (zh) * 2022-02-09 2022-05-06 北京百度网讯科技有限公司 一种标注样本选取方法、装置、电子设备和存储介质
CN114647724A (zh) * 2022-02-22 2022-06-21 广东外语外贸大学 一种基于MPNet、Bi-LSTM和宽度学习的多源跨领域情绪分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN109308318A (zh) * 2018-08-14 2019-02-05 深圳大学 跨领域文本情感分类模型的训练方法、装置、设备及介质
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN109783644A (zh) * 2019-01-18 2019-05-21 福州大学 一种基于文本表示学习的跨领域情感分类系统及方法
CN110008338A (zh) * 2019-03-04 2019-07-12 华南理工大学 一种融合gan和迁移学习的电商评价情感分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
CN109308318A (zh) * 2018-08-14 2019-02-05 深圳大学 跨领域文本情感分类模型的训练方法、装置、设备及介质
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN109783644A (zh) * 2019-01-18 2019-05-21 福州大学 一种基于文本表示学习的跨领域情感分类系统及方法
CN110008338A (zh) * 2019-03-04 2019-07-12 华南理工大学 一种融合gan和迁移学习的电商评价情感分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOSSEIN SADR 等: ""A Robust Sentiment Analysis Method Based on Sequential Combination of Convolutional and Recursive Neural Networks"", 《NEURAL PROCESSING LETTERS》 *
龚琴 等: ""基于注意力机制的卷积-双向长短期记忆模型跨领域情感分类方法"", 《计算机应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860901A (zh) * 2021-03-31 2021-05-28 中国工商银行股份有限公司 一种融合情感词典的情感分析方法及装置
CN114443849A (zh) * 2022-02-09 2022-05-06 北京百度网讯科技有限公司 一种标注样本选取方法、装置、电子设备和存储介质
CN114443849B (zh) * 2022-02-09 2023-10-27 北京百度网讯科技有限公司 一种标注样本选取方法、装置、电子设备和存储介质
US11907668B2 (en) 2022-02-09 2024-02-20 Beijing Baidu Netcom Science Technology Co., Ltd. Method for selecting annotated sample, apparatus, electronic device and storage medium
CN114647724A (zh) * 2022-02-22 2022-06-21 广东外语外贸大学 一种基于MPNet、Bi-LSTM和宽度学习的多源跨领域情绪分类方法

Also Published As

Publication number Publication date
CN112199505B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN107506799B (zh) 一种基于深度神经网络的开集类别发掘与扩展方法与装置
CN109753566B (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
CN112199505B (zh) 一种基于特征表示学习的跨领域情感分类方法及系统
CN108170736B (zh) 一种基于循环注意力机制的文档快速扫描定性方法
CN110609897A (zh) 一种融合全局和局部特征的多类别中文文本分类方法
US11625540B2 (en) Encoder, system and method for metaphor detection in natural language processing
CN108846413B (zh) 一种基于全局语义一致网络的零样本学习方法
CN111460157B (zh) 用于多领域文本分类的循环卷积多任务学习方法
CN113344206A (zh) 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN109344399A (zh) 一种基于堆叠双向lstm神经网络的文本相似度计算方法
CN113516198B (zh) 一种基于记忆网络和图神经网络的文化资源文本分类方法
CN112395393A (zh) 一种基于多任务多示例的远程监督关系抽取方法
CN110851594A (zh) 一种基于多通道深度学习模型的文本分类方法及其装置
CN111858878B (zh) 从自然语言文本中自动提取答案的方法、系统及存储介质
CN112925904B (zh) 一种基于Tucker分解的轻量级文本分类方法
CN112507114A (zh) 一种基于词注意力机制的多输入lstm_cnn文本分类方法及系统
CN114722805B (zh) 基于大小导师知识蒸馏的少样本情感分类方法
CN113220865B (zh) 一种文本相似词汇检索方法、系统、介质及电子设备
CN113722439B (zh) 基于对抗性类别对齐网络的跨领域情感分类方法及系统
CN112100377A (zh) 文本分类方法、装置、计算机设备和存储介质
CN113988079A (zh) 一种面向低数据的动态增强多跳文本阅读识别处理方法
Sharma et al. Automatic identification of bird species using audio/video processing
CN115270797A (zh) 一种基于自训练半监督学习的文本实体抽取方法及系统
CN115687610A (zh) 文本意图分类模型训练方法、识别方法、装置、电子设备及存储介质
CN113688621B (zh) 一种长短不一的文本在不同粒度下的文本匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant