CN114238586A - 基于联邦学习框架的Bert结合卷积神经网络的情感分类方法 - Google Patents

基于联邦学习框架的Bert结合卷积神经网络的情感分类方法 Download PDF

Info

Publication number
CN114238586A
CN114238586A CN202111598481.7A CN202111598481A CN114238586A CN 114238586 A CN114238586 A CN 114238586A CN 202111598481 A CN202111598481 A CN 202111598481A CN 114238586 A CN114238586 A CN 114238586A
Authority
CN
China
Prior art keywords
neural network
bert
text
learning framework
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111598481.7A
Other languages
English (en)
Inventor
严珂
熊光浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
China Jiliang University Shangyu Advanced Research Institute Co Ltd
Original Assignee
China Jiliang University
China Jiliang University Shangyu Advanced Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University, China Jiliang University Shangyu Advanced Research Institute Co Ltd filed Critical China Jiliang University
Priority to CN202111598481.7A priority Critical patent/CN114238586A/zh
Publication of CN114238586A publication Critical patent/CN114238586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，该方法提出使用Bert来提取全局特征，减少神经网络的迭代次数，加速神经网络的收敛，提升下游分类模型的准确率；提出使用联邦学习框架对各个客户端训练的最优参数发送给中心服务器进行整合后下发新的共同参数给各个客户端使用，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。本发明方法可有效保护各个客户端的数据隐私性，并且在短文本、少数据的情况下对不同种类商品评论的分类效果优于其他方法。

Description

基于联邦学习框架的Bert结合卷积神经网络的情感分类方法
技术领域
本发明涉及自然语言处理领域，更具体的说，涉及一种基于联邦学习框架的Bert结合卷积神经网络的情感分类方法。
背景技术
自从Web2.0时代的出现，互联网就开始倡导“以用户为中心，用户参与”的理念。也是从那个时代开始，互联网的使用者逐渐从最开始的“读”网页，到后面的“写”网页，再到参与互联网的“共同建设”，由Web1.0时代的被动的接受互联网信息到后面的主动创造互联网信息。而如今已经步入Web2.0时代十余载，人们对于在日常生活中常登陆不同类型网站(如社交网站、电商网站等)发表和分享个人观点、在社交网站上评论新闻时事、在电商网站上快速浏览商品评论、在影评网站上发表影片观后感早已习以为常。这些通过互联网预定的行为给人们的生活带来了极大的便利，也使得人们的互联网信息呈井喷式增长。而在这些信息当中，用户对于这次活动体验的好坏通过评论表现出来。这些评论对于商家以及政府以后的发展有着很重要的意义。国内外学者对情感分类进行了大量研究。研究方法最初主要基于情感字典的方法，此方法在分类过程中较为方便，但需要人工构建情感字典，且对于前期构建的字典需要较高的完整性，同时是在词语复现的程度的基础上进行分析。伴随着机器学习算法的兴起，支持向量机、决策树、随机森林、朴素贝叶斯这些模型逐渐应用到情感分类。机器学习方法具有完整的理论基础，性能也优于基于情感字典的方法，但比较依赖于人工标注的标签，分类效果并不是很好。当今随着自然语言处理技术的发展，基于传统RNN、LSTM等深度学习网络模型也应用到情感分类问题上，此类方法无需手动提取特征。
庞大的数据量和广泛的数据分布可以很大程度上加强模型的鲁棒性和泛化能力，于是近年来出现了很多基于多任务学习框架的深度学习模型，它可以提供一种方便的方法组合来自多个任务的信息。但是大量的数据往往对于计算资源有着较高的要求，而且这需要各个商户都提供它们私有的数据，在很大程度上侵害了它们的数据安全性。
目前特征提取的方法已经取得了不小的成绩，它是从文本中依据一定的规律，结合上下文语境来分析每一个词的含义，并用高维度的数据来表示这些词的含义，其中高纬度的数据即为词向量。词向量可以用于推理分析，预测上下文相关词，也可以用于语义表示，概括文本含义，并进行总结分类。典型的词向量模型有Word2Vec，它可以依据文本中的上下文，来预测中间某一个的单词，也可以根据中间某一个的单词来预测上下文，它也可以计算两个词汇之间的相似度关系。但是这种方法获取的词向量含义有限，若文本信息不充足，则无法学习到更全面、更准确的词向量。
现有的情感分类方法在数据量少、噪声多、文本长度短的情况下，存在分类精度不高，容易过拟合的情况。且现有方法常使用机器学习方法进行识别，这种方法需要手动提取特征，这个过程往往费时费力，并且难以捕捉垃圾信息文本内容的变化，因此需要耗费更多的精力才能获得较好的效果。
发明内容
有鉴于此，本发明提出一种在数据量少、噪声多、文本长度短的情况下的基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，用于解决现有技术存在的在上述情况下分类精度不高的技术问题。
本发明提供了一种基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，包括以下步骤：
1)各个客户端分别获取商品的评论文本，所述评论文本是有标签的，积极文本为1，消极文本为0；
2)对评论文本进行一系列预处理操作，最终得到干净且可读的纯文本；所述的预处理操作包括分词、清洗非文本内容、词形还原、去除部分停用词；
3)将步骤2)中预处理后的评论文本作为神经网络输入，使用Bert将预处理后的评论文本转换为词向量，并对词向量进行微调从而提取评论文本的全局特征；
4)将步骤3)得到的商品评论文本的全局特征输入到多层卷积神经网络中，得到神经网络的输出；将所述神经网络的输出输入到softmax函数中，最终得到0-1之间的值组成的矩阵；
5)根据步骤4)得到的矩阵对神经网络的参数进行调整，经过多轮训练，使得神经网络的误差最小，得到最优的神经网络参数并保存；
6)各个客户端通过联邦学习框架上传各自最优的神经网络参数到中心服务器上，中心服务器对这些参数进行加权平均得到一个新的共同参数，然后再将这个新的共同参数下发给各个客户端；
7)各个客户端使用各参数经加权平均后得到的神经网络作为分类器，对输入的待分类的文本进行情感分类。
上述技术方案中，进一步地，所述的去除部分停用词，是指去除一些对理解文本含义帮助不大的词，在删除这些词后，不影响原有句子的含义，也不影响句子的可读性。
更进一步地，所述的部分停用词是指：i,me,mine,he,she,it,a,an,the,above,below,while,as,until,of,at,down,if,to,or,was,were,itself,for,other,both,any,so,is,be,all,did,have,here,some,why,same,on,own,who,whom,this,that,has,between,do,does。
进一步地，步骤3)中，通过Bert中的Transformer Encoder对词向量进行微调从而提取评论文本的全局特征。
进一步地，步骤4)中所述的多层卷积神经网络是指含有不同大小的卷积核、不同通道数量的卷积层组成的神经网络。
进一步地，步骤5)中所述的误差最小是指根据softmax函数输出的结果与真实值计算交叉熵值，将交叉熵降低到最小。具体是将softmax函数的输出与真实值作为交叉熵函数的两个自变量输入，经过这个函数计算得到误差，使这个误差最小化。
本发明的发明原理为：
本发明中使用Bert，Bert能依据当前文本信息动态调整词向量，使得词向量更能表示当前语境下的词汇含义。然后用获得的词向量通过Bert中的Transformer Encoder获取到商品评论特征。但是如果仅仅考虑句子的全局特征定义句子的情感极性显然是不够严谨的，句子的局部特征对于决定句子的情感极性也是十分重要的。因此本发明采用卷积神经网络CNN进行进一步的特征提取，结果发现采用CNN进一步处理之后对文本的情感分类效果显著优于与其他方法(如LSTM，BiLSTM)。而如果采用更深层次的神经网络则容易造成过拟合现象，会使得分类效果较差。并且使用了联邦学习框架，它本质上是一种分布式的机器学习技术，主要包括客户端和中心服务器。客户端(如平板、手机、IoT设备)在中心服务器(如服务提供商)的协调下共同训练模型，其中客户端负责训练本地数据得到本地模型，中心服务器负责加权聚合本地模型，得到全局模型，经过多轮迭代后最终得到一个趋近于集中式机器学习结果的模型，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。
本发明与现有技术相比，具有以下优点：
本发明针对目前短文本识别的精度较低，泛化性差等问题，提出使用Bert来提取全局特征，减少神经网络的迭代次数，加速神经网络的收敛，提升下游分类模型的准确率。还针对数据隐私泄露、数据量少等问题，提出使用联邦学习框架对各个客户端训练的最优参数发送给中心服务器进行整合后下发新的共同参数给各个客户端使用，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。在短文本、少数据的情况下优于其他特征提取后的效果，可以有效的应用于商家判断评论的情感极性从而做出改善帮助以后的发展。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为基于联邦学习框架的Bert结合卷积神经网络的情感分类方法的流程图；
图2为各个客户端的Bert结合卷积神经网络的深度学习模型图；
图3为联邦学习训练的生命周期图；
图4为预训练模型Bert的总体架构图；
图5为本文提出的多尺度卷积神经网络的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
在下列段落中参照附图以举例方式更具体地描述本发明。需说明的是，附图均采用较为简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
算法流程图以及流程图中的深度学习模型图如图1和图2所示：
各个客户端首先将输入的文本转换为词向量，将文本中的词映射到嵌入层，然后使用Bert模型加载预训练参数，这些参数是从大量数据中学习而来，包含有每一个词的多种含义，现将预训练参数在输入的文本上进行迁移学习，可以针对当前文本的上下文对词向量进行调整，获得每个词在该语境下的词向量；然后用获得的词向量通过预训练模型Bert中的Transformer Encoder获取到的商品评论的全局特征。将Bert提取的全局特征用于下游分类模型中，其中多层卷积神经网络会从词向量中进一步提取特征，在经过数轮训练后，可以提取出最容易识别的特征，这些特征可以使用全连接层和Softmax层准确分类。
各个客户端通过联邦学习框架上传各自最优的神经网络参数到中心服务器上，中心服务器对这些参数进行加权平均得到一个新的共同参数，然后再将这个新的共同参数下发给各个客户端。之后各个客户端使用上述神经网络作为分类器，加载服务器下发的新的共同参数，对输入信息进行识别。
联邦学习框架的生命周期图如图3所示：
联邦学习框架本质上是一种分布式的机器学习技术，主要包括客户端和中心服务器。它将各个客户端训练的最优参数发送给中心服务器进行整合后下发新的共同参数给各个客户端使用，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。图3展示了联邦学习训练的生命周期，以及联邦学习系统的多个参与者。具体而言，工作流程如下所示。(1)客户端从服务器下载全局模型；(2)客户端训练本地数据得到本地模型；(3)各方客户端上传本地模型更新到中心服务器(4)服务器接收各方数据后进行加权平均操作，得到新的全局模型；(5)然后对新的全局模型进行评估；(6)如果评估合适的话，就将新的模型部署到剩余的客户端中。
深度学习模型中预训练模型Bert的结构图如图4所示：
Bert(Bidirectional Encoder Representations from Transformers)是一种动态的、语境化的词向量表示方法，它可以根据上下文的不同词汇、语境和语义特征，对迁移学习后的词向量进行动态调整，使得输出的词向量更能结合上下文文本信息，表达出更准确的语义信息。图4展示了近几年提出的Elmo、GPT以及本发明用到的Bert模型。在Elmo提出之前的词向量都为静态词向量，不论新句子的上下文语境是什么，这个单词的词向量都不会改变。如图4所示，之后出现的Elmo以及GPT预训练模型分别采用双向LSTM和Transformer进行词向量的预训练，得到单词的词向量会根据不同上下文场景而发生改变，从而得到的是动态词向量。Bert和GPT是完全相同的两阶段模型，首先是语言模型预训练；其次是使用微调模式解决下游任务。和GPT的最主要不同在于在预训练阶段采用了类似Elmo的双向语言模型，另外一点是语言模型的数据规模要比GPT大。
本发明使用Bert提取到的全局特征作为下游模型的输入，由于全局特征已经有更加明显的信息，因此下游模型仅需使用一个简单的分类器，且只需要少数几轮迭代，即可将分类的误差降低到一个较低水平，同时降低复杂度，在加快训练速度的同时提高了分类的准确率。
多层卷积神经网络的结构图如图5所示：
多层卷积神经网络是由三个卷积层组成的，而且每个卷积核的大小是不一样的，用于从词向量中提取不同尺度的文本特征。
本发明使用多尺度卷积神经网络作为预训练模型Bert提取共享特征后的特征提取补充，可以更好地提取出句子中的局部特征，从而使得最后拼接输出的向量能够更好地表达句子的意思，提高了商品评论分类的准确率。
本发明提供一种基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，包括以下步骤：
1)各个客户端分别获取商品的评论文本，所述评论文本是有标签的，积极文本为1，消极文本为0；
2)对评论文本进行一系列预处理操作，最终得到干净且可读的纯文本；所述的预处理操作包括分词、清洗非文本内容、词形还原、去除部分停用词；
3)将步骤2)中预处理后的评论文本作为神经网络输入，使用Bert将预处理后的评论文本转换为词向量，并对词向量进行微调从而提取评论文本的全局特征；
4)将步骤3)得到的商品评论文本的全局特征输入到多层卷积神经网络中，得到神经网络的输出；将所述神经网络的输出输入到softmax函数中，最终得到0-1之间的值组成的矩阵；
5)根据步骤4)得到的矩阵对神经网络的参数进行调整，经过多轮训练，使得神经网络的误差最小，得到最优的神经网络参数并保存；
6)各个客户端通过联邦学习框架上传各自最优的神经网络参数到中心服务器上，中心服务器对这些参数进行加权平均得到一个新的共同参数，然后再将这个新的共同参数下发给各个客户端；
7)各个客户端使用各参数经加权平均后得到的神经网络作为分类器，对输入的待分类的文本进行情感分类。
步骤2)中所述的去除部分停用词，是指去除一些对理解文本含义帮助不大的词，在删除这些词后，不影响原有句子的含义，也不影响句子的可读性。
所述的部分停用词是指：i,me,mine,he,she,it,a,an,the,above,below,while,as,until,of,at,down,if,to,or,was,were,itself,for,other,both,any,so,is,be,all,did,have,here,some,why,same,on,own,who,whom,this,that,has,between,do,does。
步骤3)中，通过Bert中的Transformer Encoder对词向量进行微调从而提取评论文本的全局特征。
步骤4)中，所述的多层卷积神经网络是指含有不同大小的卷积核、不同通道数量的卷积层组成的神经网络。通常使用卷积核大小为1、2、3的卷积层作为下游分类器，而通道数设置为64对于小样本数据较为合理，这样的设置不会使得卷积神经网络过拟合，提高了分类器的泛化能力。
步骤5)中所述的误差最小是指：根据神经网络输出的结果与真实值计算交叉熵值，将交叉熵降低到最小。
本发明的评价指标使用精确率(Acc)来衡量模型的分类效果。使用混淆矩阵辅助计算评价指标，则精确率(Acc)的计算公式如下所示：
Figure BDA0003432306390000091
其中，TP表示真正例；FP表示假正例。
对分类结果进行评价，并使用交叉熵函数计算损失值，每次迭代都会减少损失值，直到损失值减少到最低水平。实验在5个商品评论数据集和1个电影评论数据集上的最终结果如表1所示：
表1中，前面四种方法是没有采用联邦学习框架的深度学习模型，而其他的则是基于联邦学习框架的深度学习模型，由于都是采用Bert预训练模型进行词向量转换，所以在表1中将会省略。从结果中可以看出在5个商品评论数据集和1个电影评论数据集上都是加了联邦学习框架的模型分类准确率取得了最高值。而最终的在6个数据集上的平均准确率也证实了联邦学习框架的作用，Fed_CNN、Fed_LSTM、Fed_BiLSTM、Fed_MSCNN(Proposed)分别较于CNN、LSTM、BiLSTM、MSCNN提高了0.5％、0.3％、0.4％、1.1％。在加了联邦学习框架的模型中，Fed_CNN在MR数据集上分类准确率取得了最高值，Fed_LSTM在Electronics和Baby数据集上分类准确率取得了最高值，Fed_BiLSTM在Video数据集上分类准确率取得了最高值，而本发明提出的Fed_MSCNN模型在剩余的两个数据集上取得了最大值。但是通过最终平均准确率的比较可以看出本发明提出的Fed_MSCNN模型相较于Fed_CNN、Fed_LSTM、Fed_BiLSTM模型分别提高了1.4％、1.0％、1.0％，这也证明多尺度卷积神经网络的作用。
表1模型之间的比较
Figure BDA0003432306390000101
表1中的任务代表分类的数据集，模型代表不同的模型。平均代表每个模型在六个数据集上准确率地平均值。可以看出，Fed_Bert_MSCNN方法更善于评论的情感分类，对评论文本内容的分类错误率较低，因此可以保证用户的评论不会被错误分类，从而帮助商家有效的改善条件提高用户体验，但是也会有少数的评论会被错误的分类。这种情况是合情合理的，不会影响商家改善条件的大致方向。因此Fed_Bert_MSCNN方法是可行的。
虽然以上将实施例分开说明和阐述，但涉及部分共通之技术，在本领域普通技术人员看来，可以在实施例之间进行替换和整合，涉及其中一个实施例未明确记载的内容，则可参考有记载的另一个实施例。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (7)

1.一种基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：包括以下步骤：
1)各个客户端分别获取商品的评论文本，所述评论文本是有标签的，积极文本为1，消极文本为0；
2)对评论文本进行一系列预处理操作，最终得到干净且可读的纯文本；所述的预处理操作包括分词、清洗非文本内容、词形还原、去除部分停用词；
3)将步骤2)中预处理后的评论文本作为神经网络输入，使用Bert将预处理后的评论文本转换为词向量，并对词向量进行微调从而提取评论文本的全局特征；
4)将步骤3)得到的商品评论文本的全局特征输入到多层卷积神经网络中，得到神经网络的输出；将所述神经网络的输出输入到softmax函数中，最终得到0-1之间的值组成的矩阵；
5)根据步骤4)得到的矩阵对神经网络的参数进行调整，经过多轮训练，使得神经网络的误差最小，得到最优的神经网络参数并保存；
6)各个客户端通过联邦学习框架上传各自最优的神经网络参数到中心服务器上，中心服务器对这些参数进行加权平均得到一个新的共同参数，然后再将这个新的共同参数下发给各个客户端；
7)各个客户端使用各参数经加权平均后得到的神经网络作为分类器，对输入的待分类的文本进行情感分类。
2.根据权利要求1所述的基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：步骤2)中所述的去除部分停用词，是指去除一些对理解文本含义帮助不大的词，在删除这些词后，不影响原有句子的含义，也不影响句子的可读性。
3.根据权利要求2所述的基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：所述的部分停用词是指：i,me,mine,he,she,it,a,an,the,above,below,while,as,until,of,at,down,if,to,or,was,were,itself,for,other,both,any,so,is,be,all,did,have,here,some,why,same,on,own,who,whom,this,that,has,between,do,does。
4.根据权利要求1所述的基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：步骤3)中，通过Bert中的Transformer Encoder对词向量进行微调从而提取评论文本的全局特征。
5.根据权利要求1所述的基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：步骤4)中所述的多层卷积神经网络是指含有不同大小的卷积核、不同通道数量的卷积层组成的神经网络。
6.根据权利要求1所述的基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：步骤5)中所述的误差最小是指：根据softmax函数输出的结果与真实值计算交叉熵值，将交叉熵降低到最小。
7.根据权利要求1所述的基于联邦学习框架的Bert结合卷积神经网络的情感分类方法，其特征在于：步骤7)中所述的对输入的待分类的文本进行情感分类为：输入信息在经过预处理后，输入至分类器中，分类器会输出一个值，这个值靠近0则为消极文本，靠近1为积极文本，根据这个输出对商品评论进行分类。
CN202111598481.7A 2021-12-24 2021-12-24 基于联邦学习框架的Bert结合卷积神经网络的情感分类方法 Pending CN114238586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111598481.7A CN114238586A (zh) 2021-12-24 2021-12-24 基于联邦学习框架的Bert结合卷积神经网络的情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111598481.7A CN114238586A (zh) 2021-12-24 2021-12-24 基于联邦学习框架的Bert结合卷积神经网络的情感分类方法

Publications (1)

Publication Number Publication Date
CN114238586A true CN114238586A (zh) 2022-03-25

Family

ID=80762724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111598481.7A Pending CN114238586A (zh) 2021-12-24 2021-12-24 基于联邦学习框架的Bert结合卷积神经网络的情感分类方法

Country Status (1)

Country Link
CN (1) CN114238586A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893538A (zh) * 2024-03-15 2024-04-16 成都方昇科技有限公司 基于机器视觉的半导体器件质量检测方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893538A (zh) * 2024-03-15 2024-04-16 成都方昇科技有限公司 基于机器视觉的半导体器件质量检测方法、装置及系统
CN117893538B (zh) * 2024-03-15 2024-05-31 成都方昇科技有限公司 基于机器视觉的半导体器件质量检测方法、装置及系统

Similar Documents

Publication Publication Date Title
Rehman et al. A hybrid CNN-LSTM model for improving accuracy of movie reviews sentiment analysis
Wang et al. An LSTM approach to short text sentiment classification with word embeddings
Cai et al. Deeplearning model used in text classification
RU2628436C1 (ru) Классификация текстов на естественном языке на основе семантических признаков
Dashtipour et al. Exploiting deep learning for Persian sentiment analysis
US12002276B2 (en) Document distinguishing based on page sequence learning
Saad Opinion mining on US Airline Twitter data using machine learning techniques
Azim et al. Text to emotion extraction using supervised machine learning techniques
Kaladevi et al. RETRACTED ARTICLE: Integrated CNN-and LSTM-DNN-based sentiment analysis over big social data for opinion mining
Banik et al. Toxicity detection on bengali social media comments using supervised models
Chang et al. A METHOD OF FINE-GRAINED SHORT TEXT SENTIMENT ANALYSIS BASED ON MACHINE LEARNING.
Jayakody et al. Sentiment analysis on product reviews on twitter using Machine Learning Approaches
Pimpalkar et al. Evaluation of tweets for content analysis using machine learning models
Yenkikar et al. Sentimlbench: Benchmark evaluation of machine learning algorithms for sentiment analysis
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
Samir et al. Twitter sentiment analysis using BERT
CN114238586A (zh) 基于联邦学习框架的Bert结合卷积神经网络的情感分类方法
CN111859955A (zh) 一种基于深度学习的舆情数据分析模型
Zhang et al. Predicting and visualizing consumer sentiments in online social media
Susmitha et al. Sentimental Analysis on Twitter Data using Supervised Algorithms
Gatchalee et al. Thai text classification experiment using cnn and transformer models for timely-timeless content marketing
Kang et al. Sentiment analysis on Malaysian airlines with BERT
Huang Research on sentiment classification of tourist destinations based on convolutional neural network
Yafooz et al. Enhancing multi-class web video categorization model using machine and deep learning approaches
CN115391522A (zh) 一种基于社交平台元数据的文本主题建模方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination