CN111428039A - 一种方面级别的跨领域情感分类方法及系统 - Google Patents

一种方面级别的跨领域情感分类方法及系统 Download PDF

Info

Publication number
CN111428039A
CN111428039A CN202010243478.2A CN202010243478A CN111428039A CN 111428039 A CN111428039 A CN 111428039A CN 202010243478 A CN202010243478 A CN 202010243478A CN 111428039 A CN111428039 A CN 111428039A
Authority
CN
China
Prior art keywords
domain
emotion
data
training
comment data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010243478.2A
Other languages
English (en)
Other versions
CN111428039B (zh
Inventor
陈恩红
刘淇
张凯
王俊
潘镇
金斌斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202010243478.2A priority Critical patent/CN111428039B/zh
Publication of CN111428039A publication Critical patent/CN111428039A/zh
Application granted granted Critical
Publication of CN111428039B publication Critical patent/CN111428039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种方面级别的跨领域情感分类方法及系统，根据评论文本数据(多领域)和Aspect信息数据，用多头注意力机制与迁移神经网络相结合的方法得到领域之间的共享特征，然后利用学习到的特征进行跨领域的方面级情感迁移，对目标域无标签数据进行分类预测，相比于现有技术而言，极大的提高了方面级情感分类结果的准确性。

Description

一种方面级别的跨领域情感分类方法及系统
技术领域
本发明涉及机器学习和文本数据挖掘技术领域，尤其涉及一种方面级别跨领域情感分类方法及系统。
背景技术
情感分析或意见挖掘是对人们对诸如产品，服务，组织等实体所表达的观点，情绪，态度的挖掘与评估。该领域的发展和快速起步得益于网络上的社交媒体，例如产品评论、短文本描述等。近年来，情感分析已经成长为自然语言处理中最活跃的研究领域之一，在数据挖掘，Web挖掘，文本挖掘和信息检索方面有着广泛的研究。如今，如果一个人想购买消费产品，其不再局限于问一个人的朋友和家人的意见，因为有很多用户评论和对产品讨论在网络上的公共论坛，我们可以在评论中找出我们想知道的问题，可能还会有令人意想不到的收获。然而，互联网中的多数评论还是没有标签的，这就使得传统有监督的机器学习方法无法很好地被运用。为了解决这种大数据与少标签之间的矛盾，跨领域的方面级情感分类被提出并被广泛研究。
跨领域的方面级别情感分类主要是针对某个领域(目标域)内缺少有标签的数据的情况，由此引入一个有足够标签信息的领域(源域)来训练模型，通过领域之间的知识学习与迁移，从而能够有效地将无标签的目标域中数据进行情感的正负分类。
在目前的研究工作和专利中，关于跨领域方面级别情感分类的方法主要有以下方法：
1)基于传统机器学习方法的共享特征手动提取分析。
目前，基于传统机器学习的工作旨在挖掘出领域之间的关系，并将这种关系形式化为共享特征，在文本领域，为了使其更具有解释性，研究者通常称这种共享特征为领域间共有的情感词汇。经过先前工作的分析与研究，验证了不同领域之间共享的一些知识确实能够帮助提高跨领域情感迁移的效果。
2)基于神经网络的共享特征自动识别及提取分析。
基于神经网络的跨领域情感分类结合了传统方法中常用的特征提取方式，同时发挥深度学习的性能，利用不同神经网络结构(记忆网络，对抗网络)自动提取出领域之间的共享特征。这种方法不仅能够更加充分地提取出域之间的共享特征，还能够增强领域间情感迁移的解释性。
上述两种方法虽然认识到不同领域之间具有一些共享的特征，并能够有效提取出领域之间的共享特征，从而完成跨领域的情感迁移。但却没有充分考虑到文本具有的一些更多特征问题，因此，分类准确性还有待提高。例如：对某件产品的评论中可能包含该产品的多个方面的描述，而产品的不同方面对产品的影响必然是不同的，若将这些不同方面的特征赋予相同的权重，则会大大降低对该产品评论所包含情感倾向的判断准确度。同理，对于不同领域来说，必然存在一些相似的方面信息(例如：不同类别的商品评论中会存在对于其’外观’的评价)，而这些方面信息因领域不同也必然有着不同的影响。
发明内容
本发明的目的是提供一种方面级别的跨领域情感分类方法及系统，可以提高跨领域方面级别情感分类的准确性。
本发明的目的是通过以下技术方案实现的：
一种方面级别的跨领域情感分类方法，包括：
建立神经网络模型，依次包含嵌入层、多头注意力机制模块、以及域适应模块；
训练阶段，对于每一商品，获取不同领域的评论数据，并提取出每条评论数据的Aspect信息，即方面信息；将不同领域的相关数据两两组合为源域数据与目标域数据，作为训练数据；；对于每一源域数据与目标域数据，通过嵌入层将评论数据以及Aspect信息转化为文本的向量表征，通过多头注意机制模块提取Aspect信息与评论数据的语义信息，获得对应的隐向量，并输入至域适应模块中；在域适应模块中通过域分类任务以及情感分类任务进行训练，使得神经网络模型具备跨领域方面级别情感预测能力；
测试阶段，对于无标签的评论数据，通过训练好神经网络模型，对各评论数据进行方面级情感的分类预测。
由上述本发明提供的技术方案可以看出，根据评论文本数据(多领域)和Aspect信息(方面信息)数据，用多头注意力机制与迁移神经网络相结合的方法得到领域之间的共享特征，然后利用学习到的特征进行跨领域的方面级情感迁移，对目标域无标签数据进行分类预测，相比于现有技术而言，极大的提高了方面级情感分类结果的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种方面级别的跨领域情感分类方法的流程图；
图2为本发明实施例提供的一种跨领域情感分类方法的模型结构示意图；
图3为本发明实施例提供的域适应模块的与原理图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种跨领域情感分类方法，传统的情感分类是对整个句子进行情感的分析，本发明提供的是一种方面级别的情感分类方法，该方法是对句子中的某个Aspect的情感进行分析预测，可以看作是是更细粒度的情感分析任务。
如图1所示，其主要包括：建立如图2所示的神经网络模型，依次包含嵌入层(Embedding)、多头注意力机制模块(Multi-head Attention)、以及域适应模块(DomainAdaptationModule)，训练与测试阶段主要如下：
一、训练阶段。
1、对于每一商品，获取不同领域的评论数据，并提取出每条评论数据的Aspect信息。
本发明实施例中，不同领域的评论数据均可以通过互联网平台获取，例如，获取亚马逊平台与twitter的评论数据。
在得到充足的商品评论数据后，提取出每条评论数据中的Aspect信息，即方面信息，使这些Aspects信息与评论一一对应，每条文本中只包含一个Aspect信息。然后，根据商品ID将评论分为不同的领域，例如，可以划分为(restaurant,laptop,twitter)三个领域，并将其两两组成一组训练任务(源域-目标域)，例如，将restaurant作为源域，将laptop作为目标域，从而构成一组训练数据；所获取的各领域的评论数据都带有相应的标签(即情感类别)，在训练阶段，假定作为目标域的相关数据为无标签数据。。
本领域技术人员可以理解，Aspect信息就是代指一个评论中的某些方面，例如：笔记本电脑的外观，电池，屏幕等都是具体的Aspect信息。
2、对于每一领域，通过嵌入层将评论数据以及Aspect信息转化为文本的向量表征。
本发明实施例中，使用统一的数学形式表示两个领域数据。
对于每一条评论数据，假设其包含n个单词，记为
Figure BDA0002433307790000041
如图2所示，context是指评论数据的上下文信息，比如一条评论中，除开某个Aspect单词的一个句子。对于Aspect信息，假设其包含m个单词，记为
Figure BDA0002433307790000042
在嵌入层中，使用BERT预训练方法并将每个单词作为输入来获得句子嵌入向量，从而得到评论数据对应的语义向量表征
Figure BDA0002433307790000043
以及Aspect信息对应的向量表征
Figure BDA0002433307790000044
对于源域Ds与目标域Dt，将ec与ea分别记为
Figure BDA0002433307790000045
与
Figure BDA0002433307790000046
与
Figure BDA0002433307790000047
3、通过多头注意机制模块提取Aspect信息与评论数据的语义信息，获得对应的隐向量，并输入至域适应模块中。
将嵌入层输出的Aspect信息与Sentence的向量表征拼接：
Figure BDA0002433307790000048
再输入至多头注意机制模块进行隐向量的学习表征，表示为：
Q,K,V＝HWQ,HWK,HWV
其中，Q,K,V分别表示由输入向量H生成的Query、Key和Value；
Figure BDA0002433307790000049
表示评论数据对应的语义向量表征，n为评论数据的单词数目；
Figure BDA00024333077900000410
表示Aspect信息对应的向量表征，m表示Aspect信息的单词数目；
通过多头注意力机制得到在每个子空间下的输出向量，具体表达如下：
Figure BDA00024333077900000411
Qi,Ki,Vi＝HWi Q,HWi K,HWi V
Zi＝Attention(Qi,Ki,Vi)
每个子空间下输出的向量Zi后，进行拼接：
Figure BDA00024333077900000412
其中，L表示子空间数目；
对于源域Ds与目标域Dt，将通过上述方式得到对应的隐向量分别记为Os与Ot。
本发明实施例中，得到Os与Ot输入至域适应模块(DomainAdaptationModule，DAM)中进行领域迁移知识的学习。
4、在域适应模块中通过域分类任务以及情感分类任务进行训练，使得神经网络模型具备跨领域方面级别情感预测能力。
如图3所示，为DAM的原理。通过使用Multiple-Kernel Maximum MeanDiscrepancy(多核最大平均差，MK-MMD)方法去拉近两个领域的分布距离。众所周知，当深度网络在学习数据的深层表征的时候，学到的特征会随着网络层数的增加而变得越来越个性化，也就是说学到的知识会变得更加领域特殊化。而这与本发明想要学习到领域之间共享知识，共存特征的目的是相反的。所以，在深度神经网络层(如图2中的MLP)的每层之间增加了MK-MMD的操作，使得每层之间学到的特征都能尽可能的相近，将源域Ds与目标域Dt对应的隐向量Os与Ot分别通过深度神经网络进行特征提取，深度神经网络的操作如下：
Figure BDA0002433307790000051
其中，R表示深度神经网络相应层的输出，W、b表示相应层的权重矩阵、偏置矩阵，h为深度神经网络的总层数，下标为层数序号；O为Os或者Ot。
经过深度神经网络的处理，最终得到源域Ds与目标域Dt对应的深度表征向量
Figure BDA0002433307790000052
与
Figure BDA0002433307790000053
并以此作为两个任务的输入进行域分类以及情感分类。
对于情感分类任务，如下式所示，由情感分类器利用源域Ds得到的深度表征向量
Figure BDA0002433307790000054
进行方面级别的情感分类预测，这样可以更好更充分利用的有情感标签的数据信息，从而使模型学习到一些情感表征知识，提高方面级情感分类准确率。
Figure BDA0002433307790000055
其中，Ws与bs分别为情感分类器的权重矩阵与偏置矩阵。
对于域分类任务，如下式所示，由域分类器利用源域Ds与目标域Dt对应的深度表征向量
Figure BDA0002433307790000056
与
Figure BDA0002433307790000057
分别进行域的分类预测，即预测样本数据来自哪个领域(目标域或者源域)。
Figure BDA0002433307790000061
其中，Wd与bd分别为域分类器的权重矩阵与偏置矩阵；
Figure BDA0002433307790000062
为
Figure BDA0002433307790000063
或者
Figure BDA0002433307790000064
由于模型具有多任务的性质，训练时采用独立训练和联合训练相结合的方法；对于独立模型训练，域分类器需要去学习到领域之间共享的一些特征；而情感分类器需要去学习到一些对情感分类比较重要的特征。
首先进行独立训练，通过最小化如下损失函数的方式独立训练情感分类器与域分类器：
Figure BDA0002433307790000065
Figure BDA0002433307790000066
其中，
Figure BDA0002433307790000067
为第i个样本的真实情感标签，
Figure BDA0002433307790000068
为通过情感分类器得到的第i个样本的情感标签，ns为训练阶段源域的数据量；
Figure BDA00024333077900000611
为第j个样本的真实领域标签，
Figure BDA00024333077900000610
为通过域分类器得到的第j个样本的域标签，N为训练阶段源域与目标域的总数据量；
然后，进行联合训练，使神经网络模型能够同时学得两个领域之间共享且对情感分类比较重要的一些特征，从而使得神经网络模型具备跨领域方面级别情感预测能力。
二、测试阶段，对于无标签的评论数据，通过训练好神经网络模型，对各评论数据进行方面级情感的分类预测。
在整个训练过程中的目标就是最小化损失函数，使模型达到较优的收敛效果。到目前为止，已经介绍了神经网络模型的整个训练以及计算流程。在测试阶段，给定一些目标域的无标签的评论数据，我们可以通过模型良好的情感迁移能力，对这些评论进行方面级情感的分类预测，测试的过程与训练过程相同，区别在于，对无标签的评论数据得到对应的深度表征向量后，直接进行情感分类，无需进行域分类。
在得到评论数据方面级情感的分类预测结果后，可以用来判断顾客对商品的评价以及态度，从而帮助平台或者厂家更好的了解商品在市场上的受欢迎程度，也可以为厂家提供商品的改进方向。
本发明主要解决了在一些领域中，某些商品评论信息缺乏情感标签，从而无法对顾客所表达的情感属性进行精准预测的问题。应用上述方案，可以有效联合相关领域的有标签评论数据，用来更加精确地指导目标域评论的情感信息挖掘。例如：假设有用户对一个电脑进行了评论，对人类来说很容易理解其所表达出的情感态度。但是如果这个评论没有对应具体的情感打分的话，那么这条评论数据就是一个无标签数据，对于机器学习模型来说，很难去预测这个评论的情感属性。而通过本发明提出的方案，可以对这种无标签的评论信息进行更为准确的情感分析，从而更准确的挖掘出用户对物品所表达的评价与态度。
本发明实施例上述方案，基于不同领域的商品评论信息以及相关Aspect信息进行多交互式学习，考虑了不同领域甚至相同领域之间的Aspect关联(通过多头注意力机制部分实现)，从而对于跨领域方面级别情感分类预测结果的精度上有一定的提高，可以准确的为缺少标签的目标域数据打上情感标签。
本发明另一实施例还提供一种方面级别的跨领域情感分类系统，该系统用于实现前述实施例提供的方法，系统主要包括：模型构建单元，用于建立神经网络模型，依次包含嵌入层、多头注意力机制模块、以及域适应模块；
训练阶段，对于每一商品，获取不同领域的评论数据，并分别处理为aspect与Sentence一一对应的数据形式；其中，将评论数据是否包含对应标签将数据划分为源域与目标域；对于每一领域，通过嵌入层将评论数据以及Aspect信息转化为文本的向量表征，通过多头注意机制模块提取Aspect信息与Sentence之间的语义信息，获得对应的隐向量，并输入至域适应模块中；在域适应模块中通过域分类任务以及情感分类任务进行训练，使得神经网络模型具备跨领域方面级别情感预测能力；
测试阶段，对于无标签的评论数据，通过训练好神经网络模型，对各评论数据进行方面级情感的分类预测。
此外，为了直观显示分类结果，系统中还可以设置一个显示模块，以图形界面的形式来显示训练阶段各商品的情感分类结果与域分类结果，以及测试阶段各个商品的情感分类结果。
该系统具体实现过程中所涉及的技术细节在前述方法实施例中已经进行了详细的介绍，故不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种方面级别的跨领域情感分类方法，其特征在于，包括：
建立神经网络模型，依次包含嵌入层、多头注意力机制模块、以及域适应模块；
训练阶段，对于每一商品，获取不同领域的评论数据，并提取出每条评论数据的Aspect信息，即方面信息；将不同领域的相关数据两两组合为源域数据与目标域数据，作为训练数据；对于每一源域数据与目标域数据，通过嵌入层将评论数据以及Aspect信息转化为文本的向量表征，通过多头注意机制模块提取Aspect信息与评论数据的语义信息，获得对应的隐向量，并输入至域适应模块中；在域适应模块中通过域分类任务以及情感分类任务进行训练，使得神经网络模型具备跨领域方面级别情感预测能力；
测试阶段，对于无标签的评论数据，通过训练好神经网络模型，对各评论数据进行方面级情感的分类预测。
2.根据权利要求1所述的一种方面级别的跨领域情感分类方法，其特征在于，所述对于源域数据与目标域数据，通过嵌入层将评论数据以及Aspect信息转化为文本的向量表征包括：
对于每一条评论数据，假设其包含n个单词，记为
Figure FDA0002433307780000011
对于Aspect，假设其包含m个单词，记为
Figure FDA0002433307780000012
在嵌入层中，使用BERT预训练方法并将每个单词作为输入来获得句子嵌入向量，从而得到评论数据对应的语义向量表征
Figure FDA0002433307780000013
以及Aspect对应的向量表征
Figure FDA0002433307780000014
对于源域Ds与目标域Dt，将ec与ea分别记为
Figure FDA0002433307780000015
与
Figure FDA0002433307780000016
与
Figure FDA0002433307780000017
3.根据权利要求1所述的一种方面级别的跨领域情感分类方法，其特征在于，通过多头注意机制模块提取Aspect信息与评论数据之间的语义信息，获得对应的隐向量包括：
将嵌入层输出的Aspect信息与评论数据的向量表征拼接：
Figure FDA0002433307780000018
再输入至多头注意机制模块进行隐向量的学习表征，表示为：
Q,K,V＝HWQ,HWK,HWV
其中，Q,K,V分别表示由输入向量H生成的Query、Key和Value；
Figure FDA0002433307780000019
表示评论数据对应的语义向量表征，n为评论数据的单词数目；
Figure FDA00024333077800000110
表示Aspect信息对应的向量表征，m表示Aspect信息的单词数目；
通过多头注意力机制得到在每个子空间下的输出向量，具体表达如下：
Figure FDA0002433307780000021
Qi,Ki,Vi＝HWi Q,HWi K,HWi V
Zi＝Attention(Qi,Ki,Vi)
每个子空间下输出的向量Zi后，进行拼接：
Figure FDA0002433307780000022
其中，L表示子空间数目；
对于源域Ds与目标域Dt，将通过上述方式得到对应的隐向量分别记为Os与Ot。
4.根据权利要求1所述的一种方面级别的跨领域情感分类方法，其特征在于，所述在域适应模块中通过域分类任务以及情感分类任务进行训练包括：
首先，将源域Ds与目标域Dt对应的隐向量Os与Ot分别通过深度神经网络进行特征提取，获得对应的深度表征向量
Figure FDA0002433307780000023
与
Figure FDA0002433307780000024
其中，深度神经网络层的每层之间增加了MK-MMD的操作；
对于情感分类任务，由情感分类器利用源域Ds得到的深度表征向量
Figure FDA0002433307780000025
进行方面级别的情感分类预测，表示为：
Figure FDA0002433307780000026
其中，Ws与bs分别为情感分类器的权重矩阵与偏置矩阵；
对于域分类任务，由域分类器利用源域Ds与目标域Dt对应的深度表征向量
Figure FDA0002433307780000027
与
Figure FDA0002433307780000028
分别进行域的分类预测，表示为：
Figure FDA0002433307780000029
其中，Wd与bd分别为域分类器的权重矩阵与偏置矩阵；
Figure FDA00024333077800000210
为
Figure FDA00024333077800000211
或者
Figure FDA00024333077800000212
5.根据权利要求4所述的一种方面级别的跨领域情感分类方法，其特征在于，训练时采用独立训练和联合训练相结合的方法；
首先进行独立训练，通过最小化如下损失函数的方式独立训练情感分类器与域分类器：
Figure FDA00024333077800000213
Figure FDA0002433307780000031
其中，
Figure FDA0002433307780000032
为第i个样本的真实情感标签，
Figure FDA0002433307780000033
为通过情感分类器得到的第i个样本的情感标签，ns为训练阶段源域的数据量；
Figure FDA0002433307780000034
为第j个样本的真实领域标签，
Figure FDA0002433307780000035
为通过域分类器得到的第j个样本的域标签，N为训练阶段源域与目标域的总数据量；
然后，进行联合训练，从而使得神经网络模型具备跨领域方面级别情感预测能力。
6.一种方面级别的跨领域情感分类系统，其特征在于，包括：模型构建单元，用于建立神经网络模型，依次包含嵌入层、多头注意力机制模块、以及域适应模块；
训练阶段，对于每一商品，获取不同领域的评论数据，并提取出每条评论数据的Aspect信息；其中，将评论数据是否包含对应标签将数据划分为源域与目标域；对于每一领域，通过嵌入层将评论数据以及Aspect信息转化为文本的向量表征，通过多头注意机制模块提取Aspect信息与评论数据的语义信息，获得对应的隐向量，并输入至域适应模块中；在域适应模块中通过域分类任务以及情感分类任务进行训练，使得神经网络模型具备跨领域方面级别情感预测能力；
测试阶段，对于无标签的评论数据，通过训练好神经网络模型，对各评论数据进行方面级情感的分类预测。
CN202010243478.2A 2020-03-31 2020-03-31 一种方面级别的跨领域情感分类方法及系统 Active CN111428039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010243478.2A CN111428039B (zh) 2020-03-31 2020-03-31 一种方面级别的跨领域情感分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010243478.2A CN111428039B (zh) 2020-03-31 2020-03-31 一种方面级别的跨领域情感分类方法及系统

Publications (2)

Publication Number Publication Date
CN111428039A true CN111428039A (zh) 2020-07-17
CN111428039B CN111428039B (zh) 2023-06-20

Family

ID=71550115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010243478.2A Active CN111428039B (zh) 2020-03-31 2020-03-31 一种方面级别的跨领域情感分类方法及系统

Country Status (1)

Country Link
CN (1) CN111428039B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069402A (zh) * 2020-08-28 2020-12-11 山东省人工智能研究院 一种基于情感和图卷积神经网络的个性化评论推荐方法
CN112231478A (zh) * 2020-10-22 2021-01-15 电子科技大学 基于bert和多层注意力机制的方面级情感分类方法
CN113312479A (zh) * 2021-05-13 2021-08-27 杭州中科睿鉴科技有限公司 跨领域虚假新闻检测方法
CN113326378A (zh) * 2021-06-16 2021-08-31 山西财经大学 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法
CN113360659A (zh) * 2021-07-19 2021-09-07 云南大学 一种基于半监督学习的跨领域情感分类方法及系统
CN113505240A (zh) * 2021-07-09 2021-10-15 吉林大学 一种基于注意力引导图lstm关系提取方法及装置
CN113723518A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于迁移学习的任务分级部署方法、装置及计算机设备
CN113849592A (zh) * 2021-11-30 2021-12-28 之江实验室 文本情感分类方法及装置、电子设备、存储介质
CN114020879A (zh) * 2022-01-04 2022-02-08 深圳佑驾创新科技有限公司 多源跨领域的文本情感分类网络的训练方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080249764A1 (en) * 2007-03-01 2008-10-09 Microsoft Corporation Smart Sentiment Classifier for Product Reviews
US20180260860A1 (en) * 2015-09-23 2018-09-13 Giridhari Devanathan A computer-implemented method and system for analyzing and evaluating user reviews
US20190005027A1 (en) * 2017-06-29 2019-01-03 Robert Bosch Gmbh System and Method For Domain-Independent Aspect Level Sentiment Detection
CN109492229A (zh) * 2018-11-23 2019-03-19 中国科学技术大学 一种跨领域情感分类方法和相关装置
CN110489753A (zh) * 2019-08-15 2019-11-22 昆明理工大学 改进特征选择的神经结构对应学习跨领域情感分类方法
CN110517121A (zh) * 2019-09-23 2019-11-29 重庆邮电大学 基于评论文本情感分析的商品推荐方法及商品推荐装置
CN110674849A (zh) * 2019-09-02 2020-01-10 昆明理工大学 基于多源域集成迁移的跨领域情感分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080249764A1 (en) * 2007-03-01 2008-10-09 Microsoft Corporation Smart Sentiment Classifier for Product Reviews
US20180260860A1 (en) * 2015-09-23 2018-09-13 Giridhari Devanathan A computer-implemented method and system for analyzing and evaluating user reviews
US20190005027A1 (en) * 2017-06-29 2019-01-03 Robert Bosch Gmbh System and Method For Domain-Independent Aspect Level Sentiment Detection
CN109492229A (zh) * 2018-11-23 2019-03-19 中国科学技术大学 一种跨领域情感分类方法和相关装置
CN110489753A (zh) * 2019-08-15 2019-11-22 昆明理工大学 改进特征选择的神经结构对应学习跨领域情感分类方法
CN110674849A (zh) * 2019-09-02 2020-01-10 昆明理工大学 基于多源域集成迁移的跨领域情感分类方法
CN110517121A (zh) * 2019-09-23 2019-11-29 重庆邮电大学 基于评论文本情感分析的商品推荐方法及商品推荐装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张志武;: "跨领域迁移学习产品评论情感分析" *
赵传君;王素格;李德玉;: "基于集成深度迁移学习的多源跨领域情感分类" *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069402A (zh) * 2020-08-28 2020-12-11 山东省人工智能研究院 一种基于情感和图卷积神经网络的个性化评论推荐方法
CN112231478B (zh) * 2020-10-22 2022-06-24 电子科技大学 基于bert和多层注意力机制的方面级情感分类方法
CN112231478A (zh) * 2020-10-22 2021-01-15 电子科技大学 基于bert和多层注意力机制的方面级情感分类方法
CN113312479A (zh) * 2021-05-13 2021-08-27 杭州中科睿鉴科技有限公司 跨领域虚假新闻检测方法
CN113326378A (zh) * 2021-06-16 2021-08-31 山西财经大学 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法
CN113326378B (zh) * 2021-06-16 2022-09-06 山西财经大学 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法
CN113505240A (zh) * 2021-07-09 2021-10-15 吉林大学 一种基于注意力引导图lstm关系提取方法及装置
CN113360659A (zh) * 2021-07-19 2021-09-07 云南大学 一种基于半监督学习的跨领域情感分类方法及系统
CN113723518A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 基于迁移学习的任务分级部署方法、装置及计算机设备
CN113723518B (zh) * 2021-08-31 2024-03-19 平安科技（深圳）有限公司 基于迁移学习的任务分级部署方法、装置及计算机设备
CN113849592B (zh) * 2021-11-30 2022-04-08 之江实验室 文本情感分类方法及装置、电子设备、存储介质
CN113849592A (zh) * 2021-11-30 2021-12-28 之江实验室 文本情感分类方法及装置、电子设备、存储介质
CN114020879A (zh) * 2022-01-04 2022-02-08 深圳佑驾创新科技有限公司 多源跨领域的文本情感分类网络的训练方法

Also Published As

Publication number Publication date
CN111428039B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111428039B (zh) 一种方面级别的跨领域情感分类方法及系统
CN109492229B (zh) 一种跨领域情感分类方法和相关装置
Mitra et al. Helpfulness of online consumer reviews: A multi-perspective approach
CN111339415A (zh) 一种基于多交互式注意力网络的点击率预测方法与装置
Oraby et al. " How May I Help You?" Modeling Twitter Customer ServiceConversations Using Fine-Grained Dialogue Acts
KR102100214B1 (ko) 음성 인식 기반의 세일즈 대화 분석 방법 및 장치
US11599927B1 (en) Artificial intelligence system using deep neural networks for pairwise character-level text analysis and recommendations
CN112214601A (zh) 一种社交短文本情感分类方法、装置及存储介质
Lofi et al. Design patterns for hybrid algorithmic-crowdsourcing workflows
CN110826315B (zh) 使用神经网络系统识别短文本时效性的方法
Gramyak et al. Intelligent Method of a Competitive Product Choosing based on the Emotional Feedbacks Coloring.
Akram et al. ChoseAmobile: A web-based recommendation system for mobile phone products
Bitto et al. Sentiment analysis from Bangladeshi food delivery startup based on user reviews using machine learning and deep learning
Kousik et al. An E-Commerce Product Feedback Review Using Sentimental Analysis
Fang et al. Multi-layer adversarial domain adaptation with feature joint distribution constraint
Sandhu et al. Managing E-Reviews: A Performance Enhancement Technique Using Deep Learning
US11416682B2 (en) Evaluating chatbots for knowledge gaps
Jayawickrama et al. Seeking sinhala sentiment: Predicting facebook reactions of sinhala posts
Nagavelli et al. Amazon Reviews Sentiment Analysis, Segmentation, Classification and Prediction leveraging Multi-Class Multi-Output Classification
Kandepu et al. THE RISE OF AI IN CONTENT MANAGEMENT: REIMAGINING INTELLIGENT WORKFLOWS
Kumar et al. Sentiment Analysis on Amazon Alexa Reviews Using NLP & Classification
Rao et al. Sarcasm Detection for Sentiment Analysis: A RNN-Based Approach Using Machine Learning
Fugini et al. A text analytics architecture for smart companies
Lawson-Body et al. Impact of natural language processing on CRM and trust: An integrated framework.
Agarwal et al. Sentiment Analysis Dashboard for Socia Media comments using BERT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant