CN111581966A - 一种融合上下文特征方面级情感分类方法和装置 - Google Patents

一种融合上下文特征方面级情感分类方法和装置 Download PDF

Info

Publication number
CN111581966A
CN111581966A CN202010362569.8A CN202010362569A CN111581966A CN 111581966 A CN111581966 A CN 111581966A CN 202010362569 A CN202010362569 A CN 202010362569A CN 111581966 A CN111581966 A CN 111581966A
Authority
CN
China
Prior art keywords
feature
layer
local
mhsa
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010362569.8A
Other languages
English (en)
Other versions
CN111581966B (zh
Inventor
曾碧卿
杨恒
裴枫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202010362569.8A priority Critical patent/CN111581966B/zh
Publication of CN111581966A publication Critical patent/CN111581966A/zh
Application granted granted Critical
Publication of CN111581966B publication Critical patent/CN111581966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种融合上下文特征方面级情感分类方法和装置，对待预测方面级情感分析文本进行弱相关方面词静态屏蔽和分词处理，得到第一全局上下文，将其输入到构建的MHSA‑LCF模型，使得第一BERT嵌入层和第二BERT嵌入层分别提取第一全局上下文特征和第一局部上下文特征，局部特征学习层提取混合局部上下文特征，MHSA层提取第二全局上下文特征；交互学习层对第二全局上下文特征和混合局部上下文特征融合后的融合特征进行处理，最终输出层输出情感极性结果，解决了现有技术中忽略了方面词的局部上下文与方面词的强语义关联特性以及弱相关方面词对情感分类的干扰，使得情感极性预测存在准确率不高的技术问题。

Description

一种融合上下文特征方面级情感分类方法和装置
技术领域
本申请涉及情感分类技术领域，尤其涉及一种融合上下文特征方面级情感分类方法和装置。
背景技术
方面级情感分类是指在评论文本中或其他文本中针对给出的方面词，预测其情感极性，不同于句子级情感分类，方面级情感分类是一种细粒度的情感分类任务。
目前，方面级情感分类方法主要基于深度学习，其集中在循环神经网络和卷积神经网络领域。同大多数自然语言处理任务一样，方面级情感分类也采用了序列到序列编码的模型。现有的方面级情感分类方法只考虑了方面词与句子级上下文的语义关联，没有考虑方面词的局部上下文与方面词的强语义关联特性，存在不能充分利用挖掘方面词的局部上下文对预测情感极性的作用的优点，使得情感极性预测存在准确率不高的问题；并且，现有技术没有考虑到当同一个句子中存在多个方面词时，分析一个方面词时，与该方面词弱相关或不相关的方面词对其情感分类产生干扰，从而影响情感极性预测准确率。
发明内容
本申请提供了一种融合上下文特征方面级情感分类方法和装置，用于解决现有技术中忽略了方面词的局部上下文与方面词的强语义关联特性以及弱相关或不相关的方面词对情感分类的干扰，使得情感极性预测存在准确率不高的技术问题。
有鉴于此，本申请第一方面提供了一种融合上下文特征方面级情感分类方法，包括：
构建MHSA-LCF模型，所述MHSA-LCF模型包括第一BERT嵌入层、第二BERT嵌入层、局部特征学习层、MHSA层、交互学习层和输出层，所述局部特征学习层包括CDW层和CDM层；
将第一全局上下文输入到所述MHSA-LCF模型，使得所述第一BERT嵌入层和所述第二BERT嵌入层分别对所述第一全局上下文进行处理，分别输出第一全局上下文特征和第一局部上下文特征，所述MHSA层对所述第一全局上下文特征进行处理，输出第二全局上下文特征，所述局部特征学习层对所述第一局部上下文特征进行处理，输出混合局部上下文特征，所述交互学习层对所述第二全局上下文特征和所述混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，所述输出层对所述联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果；
其中，所述第一全局上下文通过对所述待预测方面级情感分析文本进行弱相关方面词静态屏蔽和分词处理得到。
可选的，所述局部特征学习层对所述第一局部上下文特征进行处理，输出混合局部上下文特征，包括：
所述局部特征学习层的所述CDM层对非局部上下文单词对应的所述第一局部上下文特征进行清零，得到第二局部上下文特征；
所述局部特征学习层的所述CDW层对非局部上下文单词对应的所述第一局部上下文特征进行赋权，得到第三局部上下文特征；
所述局部特征学习层对所述第二局部上下文特征和所述第三局部上下文特征进行特征融合，并对融合后的特征进行线性变换，得到混合局部上下文特征。
可选的，所述交互学习层对所述第二全局上下文特征和所述混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，包括：
所述交互学习层对所述第二全局上下文特征和所述混合局部上下文特征进行特征融合，得到融合特征；
所述交互学习层对线性变换后的所述融合特征进行MHSA编码，输出联合特征表示。
可选的，所述将第一全局上下文输入到所述MHSA-LCF模型，之前还包括：
获取待训练方面级情感分析文本；
对所述待训练方面级情感分析文本进行弱相关方面词静态屏蔽处理；
对屏蔽处理后的所述待训练方面级情感分析文本进行分词处理，得到第二全局上下文；
将所述第二全局上下文输入到所述MHSA-LCF模型，对所述MHSA-LCF模型进行训练，得到训练好的所述MHSA-LCF模型。
可选的，所述对所述待训练方面级情感分析文本进行弱相关方面词静态屏蔽处理，包括：
对所述训练方面级情感分析文本中的非目标方面词采用预置标记进行代替。
可选的，所述将所述第二全局上下文输入到所述MHSA-LCF模型，对所述MHSA-LCF模型进行训练，得到训练好的所述MHSA-LCF模型，之前还包括：
对所述MHSA-LCF模型中的所述第一BERT嵌入层和所述第二BERT嵌入层进行预训练。
可选的，所述输出层对所述联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果，包括：
所述输出层对所述联合特征表示进行池化处理，得到降维联合特征向量；
所述输出层对所述降维联合特征向量进行softmax运算，输出待预测方面级情感分析文本中的情感极性结果。
本申请第二方面提供了一种融合上下文特征方面级情感分类装置，包括：
模型构建单元，用于构建MHSA-LCF模型，所述MHSA-LCF模型包括第一BERT嵌入层、第二BERT嵌入层、局部特征学习层、MHSA层、交互学习层和输出层，所述局部特征学习层包括CDW层和CDM层；
情感极性预测单元，用于将第一全局上下文输入到所述MHSA-LCF模型，使得所述第一BERT嵌入层和所述第二BERT嵌入层分别对所述第一全局上下文进行处理，分别输出第一全局上下文特征和第一局部上下文特征，所述MHSA层对所述第一全局上下文特征进行处理，输出第二全局上下文特征，所述局部特征学习层对所述第一局部上下文特征进行处理，输出混合局部上下文特征，所述交互学习层对所述第二全局上下文特征和所述混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，所述输出层对所述联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果；
其中，所述第一全局上下文通过对所述待预测方面级情感分析文本进行弱相关方面词静态屏蔽和分词处理得到。
可选的，还包括：
获取单元，用于获取待训练方面级情感分析文本；
屏蔽处理单元，用于对所述待训练方面级情感分析文本进行弱相关方面词静态屏蔽处理；
分词处理单元，用于对屏蔽处理后的所述待训练方面级情感分析文本进行分词处理，得到第二全局上下文；
训练单元，用于将所述第二全局上下文输入到所述MHSA-LCF模型，对所述MHSA-LCF模型进行训练，得到训练好的所述MHSA-LCF模型。
可选的，还包括：
预训练单元，用于对所述MHSA-LCF模型中的所述第一BERT嵌入层和所述第二BERT嵌入层进行预训练。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种融合上下文特征方面级情感分类方法，包括：构建MHSA-LCF模型，MHSA-LCF模型包括第一BERT嵌入层、第二BERT嵌入层、局部特征学习层、MHSA层、交互学习层和输出层，局部特征学习层包括CDW层和CDM层；将第一全局上下文输入到MHSA-LCF模型，使得第一BERT嵌入层和第二BERT嵌入层分别对第一全局上下文进行处理，分别输出第一全局上下文特征和第一局部上下文特征，MHSA层对第一全局上下文特征进行处理，输出第二全局上下文特征，局部特征学习层对第一局部上下文特征进行处理，输出混合局部上下文特征，交互学习层对第二全局上下文特征和混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，输出层对联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果；其中，第一全局上下文通过对待预测方面级情感分析文本进行弱相关方面词静态屏蔽和分词处理得到。
本申请中的融合上下文特征方面级情感分类方法，通过对待预测方面级情感分析文本进行弱相关方面词静态屏蔽，减少弱相关或不相关的方面词对情感分类的干扰；将分词处理后得到的第一全局上下文输入到构建的MHSA-LCF模型，通过MHSA-LCF模型中的第一BERT嵌入层和第二BERT嵌入层分别提取第一全局上下文特征和第一局部上下文特征，通过局部特征学习层对第一局部上下文特征进行处理，挖掘方面词的局部上下文与方面词的强语义关联关系，通过局部特征学习层的CDW层和CDM层来学习两种局部上下文特征，并将这两种局部上下文特征进行结合，得到混合局部上下文特征；通过MHSA层对第一全局上下文特征进行处理，加强特征的刻画能力；通过交互学习层对第二全局上下文特征和混合局部上下文特征进行融合，并对融合后的融合特征进行处理，增强特征表示，从而提高情感预测的准确率，解决了现有技术中忽略了方面词的局部上下文与方面词的强语义关联特性以及弱相关或不相关的方面词对情感分类的干扰，使得情感极性预测存在准确率不高的技术问题。
附图说明
图1为本申请实施例提供的一种融合上下文特征方面级情感分类方法的一个流程示意图；
图2为本申请实施例提供的一种融合上下文特征方面级情感分类方法的另一个流程示意图；
图3为本申请实施例提供的一种融合上下文特征方面级情感分类装置的一个结构示意图；
图4为本申请实施例提供的分词处理后的餐厅评论文本的示意图；
图5为本申请实施例中提供的MHSA-LCF模型的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，对相关的术语进行解释：
SMIA：Static Mask on IrrelevantAspect，弱相关方面词静态屏蔽；
MHSA：Multi-Head Self-Attention，多头自注意力编码；
LCF：Local ContextFocus Mechanism，局部上下文专注机制；
CDM：Context-features Dynamic Mask，上下文特征动态掩盖；
CDW：Context-features Dynamic Weighted，上下文特征动态赋权法；
Fusion：Fusion ofLocal ContextFeatures，混合局部上下文特征；
局部上下文：局部上下文依赖方面词而存在，可以参考图4，其中“菜品”和“服务”为需要预测情感极性的方面词，每个方面词的情感极性可以是正向、负向或中性，定义整数阈值α，当词语与方面词相隔单词数小于α时，该词语就为该方面词的局部上下文单词，局部上下文单词的顺序集合为该方面词的局部上下文，当词语与方面词相隔单词数大于或等于α时，该词语就为该方面词的非局部上下文单词。假设α＝3，图4中的“这家”、“餐厅”、“的”、“都”、“很”以及“可口”是方面词“菜品”的局部上下文单词，该上下文单词的顺序集合为方面词“菜品”的局部上下文；而“反映”、“他们”、“的”、“比较”以及“差”是方面词“服务”的局部上下文单词，该上下文单词的顺序集合为方面词“服务”的局部上下文。
全局上下文：局部上下文与全局上下文相对，全局上下文指整个评论单词构成的顺序集合。
为了便于理解，请参阅图1和图5，本申请提供的一种融合上下文特征方面级情感分类方法的一个实施例，包括：
步骤101、构建MHSA-LCF模型，MHSA-LCF模型包括第一BERT嵌入层、第二BERT嵌入层、局部特征学习层、MHSA层、交互学习层和输出层，局部特征学习层包括CDW层和CDM层。
需要说明的是，本申请实施例中的MHSA-LCF模型可以参考图5，本申请实施例中的MHSA-LCF模型主要有两个分支，一个分支是第一BERT嵌入层及与第一BERT嵌入层相连的MHSA层，另一个分支是第二BERT嵌入层以及与其相连的局部特征学习层，最终汇合在交互学习层，通过输出层输出预测结果。
步骤102、将第一全局上下文输入到MHSA-LCF模型，使得第一BERT嵌入层和第二BERT嵌入层分别对第一全局上下文进行处理，分别输出第一全局上下文特征和第一局部上下文特征，MHSA层对第一全局上下文特征进行处理，输出第二全局上下文特征，局部特征学习层对第一局部上下文特征进行处理，输出混合局部上下文特征，交互学习层对第二全局上下文特征和混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，输出层对联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果。
需要说明的是，对待预测方面级情感分析文本进行弱相关方面词静态屏蔽，然后对屏蔽处理后的待预测方面级情感分析文本进行分词处理，得到第一全局上下文，将第一全局上下文输入到构建的MHSA-LCF模型中，通过该模型中的第一BERT嵌入层提取第一全局上下文的第一全局上下文特征，通过第二BERT嵌入层提取第一全局上下文的第一局部上下文特征，通过MHSA层对第一全局上下文特征进行处理，输出第二全局上下文特征，局部特征学习层对第一局部上下文特征进行处理，输出混合局部上下文特征，交互学习层对第二全局上下文特征和混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，通过融合局部上下文特征和全局上下文特征，可以增强特征表示，提取更丰富的特征，有助于提高最终的情感极性预测准确率；最终通过输出层输出待预测方面级情感分析文本中方面词的情感极性结果，其中，情感极性的划分方式有多种，实际应用中一般多采用三分类，得到的三类情感极性包括正向、中性和负向。
情感极性与意见信息息息相关，例如，从电商评论中预测出情感极性可以帮助卖家和电商平台更好的监控产品口碑，从而制定销售计划；从电影评论中预测出情感极性，可以用推测出其受欢迎程度，从而帮助影院合理安排放映场次；从微博文本中预测出情感极性可以帮助官方掌控舆论，公司或团体组织也可以从微博等社交平台上的情感极性走向确定产品口碑。
本申请实施例中的融合上下文特征方面级情感分类方法，通过对待预测方面级情感分析文本进行弱相关方面词静态屏蔽，减少弱相关或不相关的方面词对情感分类的干扰；将分词处理后得到的第一全局上下文输入到构建的MHSA-LCF模型，通过MHSA-LCF模型中的第一BERT嵌入层和第二BERT嵌入层分别提取第一全局上下文特征和第一局部上下文特征，通过局部特征学习层对第一局部上下文特征进行处理，挖掘方面词的局部上下文与方面词的强语义关联关系，通过局部特征学习层的CDW层和CDM层来学习两种局部上下文特征，并将这两种局部上下文特征进行结合，得到混合局部上下文特征；通过MHSA层对第一全局上下文特征进行处理，加强特征的刻画能力；通过交互学习层对第二全局上下文特征和混合局部上下文特征进行融合，并对融合后的融合特征进行处理，增强特征表示，从而提高情感预测的准确率，解决了现有技术中忽略了方面词的局部上下文与方面词的强语义关联特性以及弱相关或不相关的方面词对情感分类的干扰，使得情感极性预测存在准确率不高的技术问题。
为了便于理解，请参阅图2，本申请提供的一种融合上下文特征方面级情感分类方法的一个实施例，包括：
步骤201、构建MHSA-LCF模型，MHSA-LCF模型包括第一BERT嵌入层、第二BERT嵌入层、局部特征学习层、MHSA层、交互学习层和输出层，局部特征学习层包括CDW层和CDM层。
需要说明的是，本申请实施例中的MHSA-LCF模型可以参考图5，本申请实施例中的MHSA-LCF模型主要有两个分支，一个分支是第一BERT嵌入层及与第一BERT嵌入层相连的MHSA层，另一个分支是第二BERT嵌入层以及与其相连的局部特征学习层，最终汇合在交互学习层，通过输出层输出预测结果。
步骤202、获取待训练方面级情感分析文本。
需要说明的是，待训练方面级情感分析文本可以从网络上获取，也可以从公开的文本数据库中获取，其中，待训练方面级情感分析文本中的方面词都有相应的情感极性标签，用于MHSA-LCF模型训练。
步骤203、对待训练方面级情感分析文本进行弱相关方面词静态屏蔽处理。
需要说明的是，可以对训练方面级情感分析文本中的非目标方面词采用预置标记进行代替，从而达到静态屏蔽处理的目的。例如，一个待训练方面级情感分析文本含有两个待评价的方面词A和B，其中，方面词A和B之间弱相关或不相关，那么在分析方面词A(目标方面词)的情感极性时，会屏蔽方面词B(非目标方面词)，此时，可以采用“[MASK]”代替方面词B，从而可以减少弱相关或不相关的方面词对情感极性分类的干扰。
步骤204、对屏蔽处理后的待训练方面级情感分析文本进行分词处理，得到第二全局上下文。
需要说明的是，对待训练方面级情感分析文本进行分词处理，属于现有技术，在此不再对待训练方面级情感分析文本进行分词处理，得到第二全局上下文的具体过程进行赘述。
步骤205、将第二全局上下文输入到MHSA-LCF模型，对MHSA-LCF模型进行训练，得到训练好的MHSA-LCF模型。
需要说明的是，将第二全局上下文输入到MHSA-LCF模型，对MHSA-LCF模型进行训练，当MHSA-LCF模型达到收敛条件时，得到训练好的MHSA-LCF模型，通过训练好的MHSA-LCF模型进行方面级情感预测。
为了进一步提高预测准确率，可以在将第二全局上下文输入到MHSA-LCF模型，对MHSA-LCF模型进行训练之前，对MHSA-LCF模型中的第一BERT嵌入层和第二BERT嵌入层进行预训练。
步骤206、将第一全局上下文输入到MHSA-LCF模型，使得第一BERT嵌入层和第二BERT嵌入层分别对第一全局上下文进行处理，分别输出第一全局上下文特征和第一局部上下文特征，MHSA层对第一全局上下文特征进行处理，输出第二全局上下文特征，局部特征学习层对第一局部上下文特征进行处理，输出混合局部上下文特征，交互学习层对第二全局上下文特征和混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，输出层对联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果。
需要说明的是，对获取的待预测方面级情感分析文本进行弱相关方面词静态屏蔽处理，对屏蔽处理后的待预测方面级情感分析文本进行分词处理得到第一全局上下文
Figure BDA0002475609220000091
Figure BDA0002475609220000092
为第一全局上下文单词的输入序列，n为第一全局上下文单词个数。
将第一全局上下文wg输入到训练好的MHSA-LCF模型中，MHSA-LCF模型中的第一BERT嵌入层和第二BERT嵌入层分别作为全局上下文特征提取器和局部上下文特征提取器，第一BERT嵌入层和第二BERT嵌入层的输入为第一全局上下文wg，输出分别为第一全局上下文特征
Figure BDA0002475609220000101
和第一局部上下文特征
Figure BDA0002475609220000102
第一BERT嵌入层和第二BERT嵌入层初始化时是一致的，其输入也相同，但是在第二BERT嵌入层输出特征后，局部特征学习层中的CDM层和CDW层会对输出的第一局部上下文特征进一步处理，分别得到第二局部上下文特征和第三局部上下文特征，MHSA-LCF模型在训练时，会根据输出的结果判断该模型效果并优化模型中的参数，通过损失函数和优化器计算梯度并反向传播，更新模型参数。由于第一BERT嵌入层和第二BERT嵌入层之后的处理不同，所以，经过梯度的反向传播后，第一BERT嵌入层和第二BERT嵌入层的参数更新就不同，虽然第一BERT嵌入层和第二BERT嵌入层的结构相同，但其参数不同，因此，提取的特征也就不同了。
将提取的第一全局上下文特征
Figure BDA0002475609220000103
输入到MHSA层，通过MHSA层对第一全局上下文特征
Figure BDA0002475609220000104
进行进一步的学习，加强特征的刻画能力，其中，MHSA层的计算方式为：
Figure BDA0002475609220000105
Q,K,V＝fx(X)；
Figure BDA0002475609220000106
MHSA(X)＝Tanh([H1；H2；…；Hi；…；Hh]·WWH)；
其中，SDA()为单头自注意力编码单元(Scaled-DotAttention)，dk为第一BERT嵌入层维度，X为MHSA层的输入，Wq、Wk、Wv分别为参数矩阵，用于计算Q、K、V这三个矩阵，Tanh()为激活函数，Hi为第i个单头自注意力的特征输出，即SDA()的输出，[H1；H2；…；Hi；…；Hh]为拼接后的特征，WWH参数矩阵，用于计算多头自注意力(MHSA)的最终输出。
MHSA层对第一全局上下文特征
Figure BDA0002475609220000107
进行处理，得到第二全局上下文特征Og可以表示为：
Figure BDA0002475609220000111
第一局部上下文特征
Figure BDA0002475609220000112
输入到局部特征学习层，局部特征学习层的CDM层对非局部上下文单词对应的第一局部上下文特征进行清零，得到第二局部上下文特征
Figure BDA0002475609220000113
其计算过程为：
Figure BDA0002475609220000114
Figure BDA0002475609220000115
M＝[V1,V2,…,Vi,…,Vn]；
Figure BDA0002475609220000116
其中，E为单位向量，第一局部上下文特征乘以E可以保留完整的局部上下文单词的语义特征，O为零向量，第一局部上下文特征乘以O会清零非局部上下文单词的语义特征，Vi为第i个词语特征对应的操作向量，用于清零或保留特征，α为语义相关距离阈值，SRDi为第i个词语相对于方面词的语义相关距离，Pa为方面词的最中间的词语在全局上下文中的位置，xi为第i个词语在全局上下文中的位置，m为方面词包含的词语数，分词处理时可能会将方面词拆开，对
Figure BDA0002475609220000117
和M进行点乘，可以快速计算得到第二局部上下文特征
Figure BDA0002475609220000118
局部特征学习层的CDW层对非局部上下文单词对应的第一局部上下文特征
Figure BDA0002475609220000119
进行赋权，得到第三局部上下文特征
Figure BDA00024756092200001110
其计算过程为：
Figure BDA00024756092200001111
W＝[V1,V2,…,Vi,…,Vn]；
Figure BDA00024756092200001112
其中，Vi为第i个词语特征对应的操作向量，用于赋权或保留特征，E为单位向量，第一局部上下文特征乘以E可以保留完整的局部上下文单词的语义特征，
Figure BDA00024756092200001113
为第i个词语的赋予的权重，第一局部上下文特征乘以
Figure BDA00024756092200001114
会对非局部上下文单词的语义特征进行赋权，对
Figure BDA00024756092200001115
和W进行点乘，可以快速计算得到第三局部上下文特征
Figure BDA00024756092200001116
局部特征学习层对第二局部上下文特征
Figure BDA0002475609220000121
和第三局部上下文特征
Figure BDA0002475609220000122
进行特征融合，并对融合后的特征进行线性变换，得到混合局部上下文特征，其计算过程为：
Figure BDA0002475609220000123
Ol＝Wf·OFusion+bf；
其中，OFusion为第二局部上下文特征
Figure BDA0002475609220000124
和第三局部上下文特征
Figure BDA0002475609220000125
进行特征融合的特征，Ol为混合局部上下文特征，Wf、bf为模型训练好的参数矩阵。
交互学习层对第二全局上下文特征Og和混合局部上下文特征Ol进行特征融合，得到融合特征，即：
Olg＝[Ol；Og]；
交互学习层对线性变换后的融合特征进行MHSA编码，交互的学习到局部上下文特征、全局上下文特征与方面词的语义联系，输出联合特征表示
Figure BDA0002475609220000126
即：
Figure BDA0002475609220000127
Figure BDA0002475609220000128
其中，
Figure BDA0002475609220000129
为线性变换后的融合特征，Wlg、blg为模型训练好的参数矩阵。
将联合特征表示
Figure BDA00024756092200001210
作为输出层的输入，输出层对联合特征表示进行池化处理，得到降维联合特征向量；
输出层对降维联合特征向量进行softmax运算，输出待预测方面级情感分析文本中的情感极性结果Y，其具体计算过程为：
Figure BDA00024756092200001211
Figure BDA00024756092200001212
其中，通过池化操作可以达到输出降维的目的，通过softmax函数可以计算出预测的情感极性Y。本申请实施例中的融合上下文特征方面级情感分类方法，考虑到了弱相关方面词静态屏蔽机制、多头自注意力和局部上下文专注机制，通过MHSA-LCF模型可以分别学习输入文本的混合局部上下文特征和全局上下文特征，再将这两种特征进行拼接处理，结合这两种特征学习方面词的情感极性，提高了情感极性的预测准确率。
为了便于理解，请参阅图3，本申请提供的一种融合上下文特征方面级情感分类装置的一个实施例，包括：
模型构建单元301，用于构建MHSA-LCF模型，MHSA-LCF模型包括第一BERT嵌入层、第二BERT嵌入层、局部特征学习层、MHSA层、交互学习层和输出层，局部特征学习层包括CDW层和CDM层。
情感极性预测单元302，用于将第一全局上下文输入到MHSA-LCF模型，使得第一BERT嵌入层和第二BERT嵌入层分别对第一全局上下文进行处理，分别输出第一全局上下文特征和第一局部上下文特征，MHSA层对第一全局上下文特征进行处理，输出第二全局上下文特征，局部特征学习层对第一局部上下文特征进行处理，输出混合局部上下文特征，交互学习层对第二全局上下文特征和混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，输出层对联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果；
其中，第一全局上下文通过对待预测方面级情感分析文本进行弱相关方面词静态屏蔽和分词处理得到。
进一步地，还包括：
获取单元303，用于获取待训练方面级情感分析文本。
屏蔽处理单元304，用于对待训练方面级情感分析文本进行弱相关方面词静态屏蔽处理。
分词处理单元305，用于对屏蔽处理后的待训练方面级情感分析文本进行分词处理，得到第二全局上下文。
训练单元306，用于将第二全局上下文输入到MHSA-LCF模型，对MHSA-LCF模型进行训练，得到训练好的MHSA-LCF模型。
进一步地，还包括：
预训练单元307，用于对MHSA-LCF模型中的第一BERT嵌入层和第二BERT嵌入层进行预训练。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种融合上下文特征方面级情感分类方法，其特征在于，包括：
构建MHSA-LCF模型，所述MHSA-LCF模型包括第一BERT嵌入层、第二BERT嵌入层、局部特征学习层、MHSA层、交互学习层和输出层，所述局部特征学习层包括CDW层和CDM层；
将第一全局上下文输入到所述MHSA-LCF模型，使得所述第一BERT嵌入层和所述第二BERT嵌入层分别对所述第一全局上下文进行处理，分别输出第一全局上下文特征和第一局部上下文特征，所述MHSA层对所述第一全局上下文特征进行处理，输出第二全局上下文特征，所述局部特征学习层对所述第一局部上下文特征进行处理，输出混合局部上下文特征，所述交互学习层对所述第二全局上下文特征和所述混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，所述输出层对所述联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果；
其中，所述第一全局上下文通过对所述待预测方面级情感分析文本进行弱相关方面词静态屏蔽和分词处理得到。
2.根据权利要求1所述的融合上下文特征方面级情感分类方法，其特征在于，所述局部特征学习层对所述第一局部上下文特征进行处理，输出混合局部上下文特征，包括：
所述局部特征学习层的所述CDM层对非局部上下文单词对应的所述第一局部上下文特征进行清零，得到第二局部上下文特征；
所述局部特征学习层的所述CDW层对非局部上下文单词对应的所述第一局部上下文特征进行赋权，得到第三局部上下文特征；
所述局部特征学习层对所述第二局部上下文特征和所述第三局部上下文特征进行特征融合，并对融合后的特征进行线性变换，得到混合局部上下文特征。
3.根据权利要求1所述的融合上下文特征方面级情感分类方法，其特征在于，所述交互学习层对所述第二全局上下文特征和所述混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，包括：
所述交互学习层对所述第二全局上下文特征和所述混合局部上下文特征进行特征融合，得到融合特征；
所述交互学习层对线性变换后的所述融合特征进行MHSA编码，输出联合特征表示。
4.根据权利要求1所述的融合上下文特征方面级情感分类方法，其特征在于，所述将第一全局上下文输入到所述MHSA-LCF模型，之前还包括：
获取待训练方面级情感分析文本；
对所述待训练方面级情感分析文本进行弱相关方面词静态屏蔽处理；
对屏蔽处理后的所述待训练方面级情感分析文本进行分词处理，得到第二全局上下文；
将所述第二全局上下文输入到所述MHSA-LCF模型，对所述MHSA-LCF模型进行训练，得到训练好的所述MHSA-LCF模型。
5.根据权利要求4所述的融合上下文特征方面级情感分类方法，其特征在于，所述对所述待训练方面级情感分析文本进行弱相关方面词静态屏蔽处理，包括：
对所述训练方面级情感分析文本中的非目标方面词采用预置标记进行代替。
6.根据权利要求4所述的融合上下文特征方面级情感分类方法，其特征在于，所述将所述第二全局上下文输入到所述MHSA-LCF模型，对所述MHSA-LCF模型进行训练，得到训练好的所述MHSA-LCF模型，之前还包括：
对所述MHSA-LCF模型中的所述第一BERT嵌入层和所述第二BERT嵌入层进行预训练。
7.根据权利要求1所述的融合上下文特征方面级情感分类方法，其特征在于，所述输出层对所述联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果，包括：
所述输出层对所述联合特征表示进行池化处理，得到降维联合特征向量；
所述输出层对所述降维联合特征向量进行softmax运算，输出待预测方面级情感分析文本中的情感极性结果。
8.一种融合上下文特征方面级情感分类装置，其特征在于，包括：
模型构建单元，用于构建MHSA-LCF模型，所述MHSA-LCF模型包括第一BERT嵌入层、第二BERT嵌入层、局部特征学习层、MHSA层、交互学习层和输出层，所述局部特征学习层包括CDW层和CDM层；
情感极性预测单元，用于将第一全局上下文输入到所述MHSA-LCF模型，使得所述第一BERT嵌入层和所述第二BERT嵌入层分别对所述第一全局上下文进行处理，分别输出第一全局上下文特征和第一局部上下文特征，所述MHSA层对所述第一全局上下文特征进行处理，输出第二全局上下文特征，所述局部特征学习层对所述第一局部上下文特征进行处理，输出混合局部上下文特征，所述交互学习层对所述第二全局上下文特征和所述混合局部上下文特征融合后的融合特征进行处理，输出联合特征表示，所述输出层对所述联合特征表示进行处理，输出待预测方面级情感分析文本中的情感极性结果；
其中，所述第一全局上下文通过对所述待预测方面级情感分析文本进行弱相关方面词静态屏蔽和分词处理得到。
9.根据权利要求8所述的融合上下文特征方面级情感分类装置，其特征在于，还包括：
获取单元，用于获取待训练方面级情感分析文本；
屏蔽处理单元，用于对所述待训练方面级情感分析文本进行弱相关方面词静态屏蔽处理；
分词处理单元，用于对屏蔽处理后的所述待训练方面级情感分析文本进行分词处理，得到第二全局上下文；
训练单元，用于将所述第二全局上下文输入到所述MHSA-LCF模型，对所述MHSA-LCF模型进行训练，得到训练好的所述MHSA-LCF模型。
10.根据权利要求8所述的融合上下文特征方面级情感分类装置，其特征在于，还包括：
预训练单元，用于对所述MHSA-LCF模型中的所述第一BERT嵌入层和所述第二BERT嵌入层进行预训练。
CN202010362569.8A 2020-04-30 2020-04-30 一种融合上下文特征方面级情感分类方法和装置 Active CN111581966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010362569.8A CN111581966B (zh) 2020-04-30 2020-04-30 一种融合上下文特征方面级情感分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010362569.8A CN111581966B (zh) 2020-04-30 2020-04-30 一种融合上下文特征方面级情感分类方法和装置

Publications (2)

Publication Number Publication Date
CN111581966A true CN111581966A (zh) 2020-08-25
CN111581966B CN111581966B (zh) 2023-04-21

Family

ID=72114522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010362569.8A Active CN111581966B (zh) 2020-04-30 2020-04-30 一种融合上下文特征方面级情感分类方法和装置

Country Status (1)

Country Link
CN (1) CN111581966B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214601A (zh) * 2020-10-21 2021-01-12 厦门市美亚柏科信息股份有限公司 一种社交短文本情感分类方法、装置及存储介质
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法
CN112732916A (zh) * 2021-01-11 2021-04-30 河北工业大学 一种基于bert的多特征融合模糊文本分类模型
CN113032539A (zh) * 2021-03-15 2021-06-25 浙江大学 一种基于预训练神经网络的因果性问答对匹配方法
CN113220887A (zh) * 2021-05-31 2021-08-06 华南师范大学 一种利用目标知识增强模型的情感分类方法和装置
CN113362858A (zh) * 2021-07-27 2021-09-07 中国平安人寿保险股份有限公司 语音情感分类方法、装置、设备及介质
CN113378545A (zh) * 2021-06-08 2021-09-10 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113393521A (zh) * 2021-05-19 2021-09-14 中国科学院声学研究所南海研究站 一种基于双语义注意力机制的高精度火焰定位方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885670A (zh) * 2019-02-13 2019-06-14 北京航空航天大学 一种面向话题文本的交互注意力编码情感分析方法
CN109992668A (zh) * 2019-04-04 2019-07-09 上海冰鉴信息科技有限公司 一种基于自注意力的企业舆情分析方法和装置
CN110334210A (zh) * 2019-05-30 2019-10-15 哈尔滨理工大学 一种基于bert与lstm、cnn融合的中文情感分析方法
CN110852368A (zh) * 2019-11-05 2020-02-28 南京邮电大学 全局与局部特征嵌入及图文融合的情感分析方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885670A (zh) * 2019-02-13 2019-06-14 北京航空航天大学 一种面向话题文本的交互注意力编码情感分析方法
CN109992668A (zh) * 2019-04-04 2019-07-09 上海冰鉴信息科技有限公司 一种基于自注意力的企业舆情分析方法和装置
CN110334210A (zh) * 2019-05-30 2019-10-15 哈尔滨理工大学 一种基于bert与lstm、cnn融合的中文情感分析方法
CN110852368A (zh) * 2019-11-05 2020-02-28 南京邮电大学 全局与局部特征嵌入及图文融合的情感分析方法与系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214601B (zh) * 2020-10-21 2022-06-10 厦门市美亚柏科信息股份有限公司 一种社交短文本情感分类方法、装置及存储介质
CN112214601A (zh) * 2020-10-21 2021-01-12 厦门市美亚柏科信息股份有限公司 一种社交短文本情感分类方法、装置及存储介质
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法
CN112732916A (zh) * 2021-01-11 2021-04-30 河北工业大学 一种基于bert的多特征融合模糊文本分类模型
CN112732916B (zh) * 2021-01-11 2022-09-20 河北工业大学 一种基于bert的多特征融合模糊文本分类系统
CN113032539A (zh) * 2021-03-15 2021-06-25 浙江大学 一种基于预训练神经网络的因果性问答对匹配方法
CN113393521A (zh) * 2021-05-19 2021-09-14 中国科学院声学研究所南海研究站 一种基于双语义注意力机制的高精度火焰定位方法及系统
CN113220887B (zh) * 2021-05-31 2022-03-15 华南师范大学 一种利用目标知识增强模型的情感分类方法
CN113220887A (zh) * 2021-05-31 2021-08-06 华南师范大学 一种利用目标知识增强模型的情感分类方法和装置
CN113378545B (zh) * 2021-06-08 2022-02-11 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113378545A (zh) * 2021-06-08 2021-09-10 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质
CN113362858A (zh) * 2021-07-27 2021-09-07 中国平安人寿保险股份有限公司 语音情感分类方法、装置、设备及介质
CN113362858B (zh) * 2021-07-27 2023-10-31 中国平安人寿保险股份有限公司 语音情感分类方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111581966B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN111581966B (zh) 一种融合上下文特征方面级情感分类方法和装置
CN111444709B (zh) 文本分类方法、装置、存储介质及设备
EP3166049B1 (en) Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN111488931B (zh) 文章质量评估方法、文章推荐方法及其对应的装置
CN112084331A (zh) 文本处理、模型训练方法、装置、计算机设备和存储介质
CN111783474A (zh) 一种评论文本观点信息处理方法、装置及存储介质
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
Dhingra et al. Linguistic knowledge as memory for recurrent neural networks
CN110795944A (zh) 推荐内容处理方法及装置、情感属性确定方法及装置
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
Hong et al. Selective residual learning for visual question answering
CN110399473B (zh) 为用户问题确定答案的方法和装置
CN115588193A (zh) 基于图注意力神经网络与视觉关系的视觉问答方法及装置
CN113486174B (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
Zhang et al. User multi-modal emotional intelligence analysis method based on deep learning in social network big data environment
Zhang et al. Topic scene graphs for image captioning
CN113051607B (zh) 一种隐私政策信息提取方法
CN113239143B (zh) 融合电网故障案例库的输变电设备故障处理方法及系统
Jung et al. Improving visual relationship detection using linguistic and spatial cues
CN114898156A (zh) 基于跨模态语义表征学习和融合的图像分类方法及系统
CN115129849A (zh) 题目表示的获取方法、设备以及计算机可读存储介质
Siadari et al. Three‐stream network with context convolution module for human–object interaction detection
Liu et al. Question-conditioned debiasing with focal visual context fusion for visual question answering
Zhou et al. Increasing naturalness of human–machine dialogue: The users’ choices inference of options in machine-raised questions
CN110232328A (zh) 一种征信报告解析方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant