CN116244435A - 文本情感分析模型训练方法、情感分析方法、设备和介质 - Google Patents

文本情感分析模型训练方法、情感分析方法、设备和介质 Download PDF

Info

Publication number
CN116244435A
CN116244435A CN202310086815.5A CN202310086815A CN116244435A CN 116244435 A CN116244435 A CN 116244435A CN 202310086815 A CN202310086815 A CN 202310086815A CN 116244435 A CN116244435 A CN 116244435A
Authority
CN
China
Prior art keywords
text
emotion
vector
comment
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310086815.5A
Other languages
English (en)
Inventor
过弋
陈丽安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Original Assignee
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology filed Critical East China University of Science and Technology
Priority to CN202310086815.5A priority Critical patent/CN116244435A/zh
Publication of CN116244435A publication Critical patent/CN116244435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例涉及文本分析领域，公开了一种文本情感分析模型训练方法、情感分析方法、设备和介质。模型训练中：对评论文本、评论文本的至少一种个体化信息分别进行编码，得到文本向量和至少一个的个体向量；将文本向量输入到情感预测模型中，得到文本向量在多个情感类别下的预测情感标签；采用交叉注意力模型将文本向量分别与每个个体向量融合后再拼接，得到标签权重；采用权重计算网络对每个预测情感标签采用标签权重进行加权计算，以及将计算结果进行线性回归，得到多个情感类别下的情感类别概率。由于引入交叉注意力机制使得生成的标签权重具备了评论文本在个体化信息上的表达差异，从而提高模型对文本情感类别分析的准确度。

Description

文本情感分析模型训练方法、情感分析方法、设备和介质
技术领域
本发明实施例涉及文本分析技术领域，特别涉及一种文本情感分析模型训练方法、情感分析方法、设备和介质。
背景技术
随着社会思想的逐渐开放，人们对个性化的追求使得人们的个体偏差逐渐被放大。对于不同人所做出的文本评论的情感分析也不应该仍拘泥于用一个简单粗暴的标准去进行评判。
目前已有的情感分析系统，经常会忽略对于个体偏差信息的关注，导致模型只关注评论文本本身，即便是考虑到除评论文本以外的相关信息，也只是将信息进行单一的拼接或级联操作，无法真正地将个体偏差信息融合进词向量中，从而导致训练得到的模型无法对文本所蕴含的情感类别进行更加准确的分析。
发明内容
本申请实施方式的目的在于提供一种文本情感分析模型训练方法、情感分析方法、设备和介质，通过采用交叉注意力机制将评论文本在个体偏差下的情感表达差异进行融合形成标签权重，并采用该标签权重对评论文本的预测情感标签进行加权，从而提高模型对文本情感类别分析的准确度。
为解决上述技术问题，本申请的实施方式提供了一种文本情感分析模型训练方法，包括：对评论文本、所述评论文本的至少一种个体化信息分别进行编码，得到文本向量和所述至少一个的个体向量；将所述文本向量输入到情感预测模型中，得到所述文本向量在多个情感类别下的预测情感标签；采用交叉注意力模型将所述文本向量分别与每个所述个体向量融合后再拼接，得到标签权重；采用权重计算网络对每个所述预测情感标签采用所述标签权重进行加权计算，以及将计算结果进行线性回归，得到所述多个情感类别下的情感类别概率；采用分类损失函数对所述情感预测模型、所述交叉注意力模型和所述权重计算网络组成的情感分析模型进行训练。
本申请的实施方式还提供了一种文本情感分析方法，包括：对待分析评论文本、所述待分析评论文本的至少一种个体化信息分别进行编码，得到待分析的文本向量和所述至少一个的待分析个体向量；将所述待分析的文本向量和所述至少一个的待分析个体向量输入到训练好的情感分析模型，得到所述待分析评论文本所属的情感类别；其中，所述情感分析模型通过如上所述的文本情感分析模型训练方法得到。
本申请的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的文本情感分析模型训练方法，或者能够执行上述实施方式提及的文本情感分析方法。
本申请的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的文本情感分析模型训练方法，或者能够执行上述实施方式提及的文本情感分析方法。
本申请实施方式提供的文本情感分析模型训练方法，通过对评论文本、评论文本的至少一种个体化信息分别进行编码，得到文本向量和至少一个的个体向量；将文本向量输入到情感预测模型中，得到文本向量在多个情感类别下的预测情感标签；采用交叉注意力模型将文本向量分别与每个个体向量融合后再拼接，得到标签权重；采用权重计算网络对每个预测情感标签采用标签权重进行加权计算，以及将计算结果进行线性回归，得到多个情感类别下的情感类别概率；采用分类损失函数对情感预测模型、交叉注意力模型和权重计算网络组成的情感分析模型进行训练。由于引入交叉注意力机制使得生成的标签权重具备了评论文本在个体化信息上的表达差异，并利用带有个性化表达差异的标签权重对初步得到的预测情感标签进行加权计算，使得最终预测的情感类别概率更加符合不同个体下的真实情感，从而提高模型对文本情感类别分析的准确度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请的实施方式提供的文本情感分析模型训练方法的流程图；
图2是本申请的实施方式提供的情感分析模型的结构示意图；
图3是本申请的实施方式提供的文本情感分析方法的流程图；
图4是本申请的实施方式的提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本申请的一实施方式涉及一种文本情感分析模型训练方法，如图1所示，包括：
步骤101，对评论文本、评论文本的至少一种个体化信息分别进行编码，得到文本向量和至少一个的个体向量。
其中，本实施例中采用的评论文本可以是用户在社交场所、网站、大众媒体等平台对评论对象如商品、事件和新闻等评论对象做出的评论内容。这些评论内容通常可以反映出用户的情感类别，比如：高兴、愤怒、悲伤、失望、赞许等。评论文本的个体化信息可以是与评论文本相关的个体信息，比如做出评论的评论主体信息(可以是用户、团体组织)和/或，评论指向的评论对象信息(可以是商品、事件、新闻)等个体的信息。根据分析需求可将获取到的评论文本的个体化信息按不同层次进行分类，得到至少一种的个体化信息，比如针对商品的评论文本，其对应的个体化信息可以大致分为两类，即用户信息和商品信息。其中，用户信息可以包括自然人的年龄、性别、性格喜好等，或者团体组织的团体性质、团体规模，社会影响力等；商品信息可以包括商品的名称、价格、用途和生产商等。
具体地，在获取到评论文本、以及评论文本的至少一种个体化信息后，可以分别对评论文本和每一种个体化信息(这里的“信息”也可以是“文本”形式呈现)分别进行编码，将文本转换为向量，以得到评论文本对应的文本向量和每种个体化信息对应的个体向量。其中，文本的具体形式可以是汉字、字母等自然语言编辑形成的文本。本实施例中对将文本转换为向量的具体编码方法不做限定，例如可以采用Bert、RoBerta等自然语言处理方法进行编码。
为降低编码后的向量规模，本实施例中可采用词嵌入编码对评论文本和个体化信息分别进行编码，步骤如下：
步骤一：对评论文本进行词嵌入编码，将得到的词嵌入矩阵作为文本向量；
步骤二：对所述至少一种个体化信息分别进行词嵌入编码，将得到的所述至少一个的词嵌入矩阵中每个词嵌入矩阵作为一个个体向量。
具体地，可以在待训练的情感分析模型的输入端设置输入层，也称词嵌入层(WordEmbedding层)，将评论文本、评论文本的个体化信息经过Word Embedding层映射到n纬向量空间中，生成n维空间向量，以此表示为模型可理解的文本语义关系。例如，针对商品评论，可将需要进行情感分析的评论文本定义为:W＝{W1,W2,…,Wm}，m为评论文本中包含的词的数量；用户信息记为user_id，商品信息记为product_id(用户信息和商品信息为两种针对商品评论的个体化信息)。将商品的评论文本、用户信息和商品信息依次经过WordEmbedding层的转化，并将对应输出的词嵌入矩阵Ew、Eu和Ep依次作为文本向量、用户个体对应的个体向量和商品个体对应的个体向量。
步骤102，将文本向量输入到情感预测模型中，得到文本向量在多个情感类别下的预测情感标签。
如图2所示，本实施例待训练的情感分析模型包括三个部分：情感预测模型、交叉注意力模型和权重计算网络。
其中，情感预测模型用于对步骤101生成的文本向量从语义角度进行初步情感类别预测，得到文本向量在预设的多个情感类别下的预测情感标签(整体为向量形式)。以评论商品的场景为例，评论文本W＝{W1,W2,…,Wm}和用户信息、商品信息这两种个体化信息可以通过编码模块进行编码分别得到评论向量EW、用户向量EU和商品向量EP，其中评论向量EW可视为文本向量，用户向量EU和商品向量可视为两个个体向量。本实施例中，对情感预测模型所采用的模型结构不做限定，可以是单一模型，也可以是复合模型。
例如，为了兼顾情感预测模型对长文本处理能力和短文本处理能力的优势，以及串行和并行处理能力的优势，可以采用TranLSTM模型，其中主要由双向长短期记忆(Bi-LSTM)网络与Transformers模型依次训练组合而成，该复合模型不仅可以解决长文本语义捕捉的问题，同时也可以抓取个体化信息本身的特征信息。
在较优的实施方式中，情感预测模型可具体包括：双向长短期记忆(Bi-LSTM)网络、Transformers模型和加法网络；相应地，将文本向量输入到情感预测模型中，得到文本向量在多个情感类别下的预测情感标签的过程，可包括如下步骤：
步骤一：对文本向量中所包含的词向量采用双向长短期记忆网络进行词义特征提取，得到词义特征向量。
例如，针对上述的商品评论，可将输入层产出的词嵌入矩阵Ew(文本向量)，优先采用Bi-LSTM网络进行特征提取，该网络能够很好的对文本向量进行分类任务。Bi-LSTM网络由前向LSTM网络以及后向LSTM网络组成，为双向语言网络。文本情感分类任务中，某一时刻的输出并不仅仅只与此时刻节点之前的状态信息有关，往往还与该时刻之后的状态信息相关，因此单向的LSTM网络在进行语义特征提取时，很容易就会造成语义特征的丢失，从而导致最终的文本情感分析的准确率被严重影响。若采用双向编码的方式，从正向和反向同时进行传播，能够更好地让网络注意到文本中的时序信息，对整体输入的上下文信息进行深层次的特征提取，因此对于最终的语义特征信息的获取得也会更为全面及准确。本实施例中将前向LSTM网络以及后向LSTM网络提取到的双向特征向量相连接，得到文本向量对应的词义特征向量，如下所示：
Wi∈W
Figure BDA0004069051810000051
Figure BDA0004069051810000052
Figure BDA0004069051810000053
其中，评论文本定义为:W＝{W1,W2,…,Wm}，i∈{1，2，…，m}，m为评论文本中所包含的词的数量，
Figure BDA0004069051810000054
依次为第i个、第i-1个词Wi、Wi-1在前向LSTM网络中的输出向量，LSTMf(·)为前向LSTM网络算符；/>
Figure BDA0004069051810000055
依次为第i个、第i+1个词Wi、Wi+1在后向LSTM网络中的输出向量，LSTMb(·)为后向LSTM网络算符；hi为第i个词Wi在双向LSTM网络中的输出向量。
具体地，对文本向量中所包含的各词向量采用双向长短期记忆网络进行评论文本的词义特征提取，得到评论文本的词义特征向量。
步骤二：对文本向量中所包含的词向量采用Transformers模型中的位置编码网络进行位置信息编码，得到位置特征向量。
相较于传统的神经网络，如LSTM、GRU(门循环单元)等模型在进行编码的时候，由于其无法并行计算，导致对于长文本的编码结果中遗忘问题严重，Transformers模型作为Seq2Seq类型的网络，对于并行任务的表现十分出色，因此对于长文本的编码效果会更加好。考虑到用用户评论更多的会以长文本的形式出现，所以在使用Bi-LSTM网络之后，本实施例又混合了Transformer模型以捕捉长文本的语义信息(具体为Transformers模型中的位置编码网络执行)。位置信息的提取如下：
Figure BDA0004069051810000056
Figure BDA0004069051810000057
其中，pos为当前词在当前评论文本中的位置，t为当前词向量中元素的位置，dk为当前词向量的维度，PE(*)为位置*的特征。这样把一个词向量中提取的所有元素的位置特征进行拼接，再将文本向量中每个词向量的位置特征进行拼接就得到了该文本向量的位置特征向量。
步骤三：通过加法网络将词义特征向量和位置特征进行对位相加，并基于相加后的向量形成文本向量在多个情感类别下的预测情感标签。
具体地，将从每个文本向量中提取的语义特征向量和位置特征向量，按所属于同一词向量的对应关系进行对位相加，并基于相加后的向量形成文本向量在多个情感类别下的预测情感标签。
在一些例子中，可以将相加后的向量直接作为文本向量在多个情感类别下的预测情感标签。例如相加后的向量被分为与预设的多个情感类别相对应的多个部分向量，每一部分向量作为一个情感类别下的一个预测情感标签。在另一些例子中，还可以对相加后的向量进行进一步的处理，例如引入自注意力机制进一步进行加权计算，把加权计算后的向量作为预测情感标签。本实施例中对于进一步对相加后的向量进行何种处理不做限定。
例如，可以通过如下步骤对相加后的向量进行加权处理：
步骤一：以每个所述个体向量形成一个权重项，采用Transformers模型中的自注意力模型进行权重设置，得到自适应权重。
具体地，在形成权重项时，可直接将每个个体向量单独作为一个权重项，或者对个体向量做进一步处理，将处理后的个体向量作为权重项。本实施例对形成权重项的具体方法不做限定。在得到多个权重项后，可基于自注意力(Self-Attention)模型对权重项进行权重设置，得到自适应权重。
相应地，上述基于相加后的向量形成文本向量在多个情感类别下的预测情感标签的过程，可包括如下步骤二的内容，即：
步骤二，采用自适应权重对相加后的向量进行权重计算，得到文本向量在多个情感类别下的预测情感标签。
具体地，自适应权重可包括权重向量或者还进步一包括偏置向量。因为在采用自适应权重对相加后的向量进行权重计算的过程也有所不同，得到预测情感标签也会有所差异。
例如，可通过如下公式得到预测情感标签y：
Figure BDA0004069051810000061
其中，cm为第m个权重项的类别，(C)表示所述预测情感标签y对应的情感类别，
Figure BDA0004069051810000062
为情感类别(C)下权重项类别cm的权重，b(c)为情感类别(C)下的偏置向量。
公式中，
Figure BDA0004069051810000063
可视为自适应权重中的各权重项向量、b(c)可视为自适应权重中的偏置向量。
步骤103，采用交叉注意力模型将文本向量分别与每个个体向量融合后再拼接，得到标签权重。
本发明认为对于整条评论文本来说，个体化信息之间存在的个体偏差对评论文本所表达的情感类别起到影响作用，应该是全局性且为双向性的，即不同种类的个体化信息会对评论文本本身产生相互的影响。因此在本申请训练的情感分析模型中，引入了交叉注意力网络(Cross-Attention Network)。交叉注意力网络不像Self-attention网络会限制嵌入序列的数量为1，它能够将两个相同维度的独立嵌入序列不对称地组合在一起，从而达到更好的交互融合效果。本实施例则利用交叉注意力模型将文本向量分别与每个个体向量融合后再拼接，从而将得到的向量作为前面预测情感标签的标签权重。
在一些实现方式中，上述交叉注意力模型可包括：交叉注意力网络和融合网络；相应地，采用交叉注意力模型将文本向量分别与每个个体向量融合后再拼接，得到标签权重的过程可包括如下步骤。
步骤一：采用交叉注意网络针对文本向量形成的第一序列与每个个体向量形成的第二序列，分别采用如下交叉注意力算法进行融合，得到融合序列I：
I＝softmax((WQS2)(WKS1)T)WVS1
其中，S1为第一序列，S2为第二序列，WQ、WK、WV均为待训练矩阵参数，(WK S1)T为(WKS1)的转置矩阵。
本实施例引用的交叉注意力算法为公知算法，这里不做过多介绍。本实施例的改进点在于，利用交叉注意力算法生成融合了评论内容的个体化信息对应的融合序列I。在上述计算融合序列I的公式中，为将文本向量与每个个体向量分别进行融合，可先将文本向量和每个个体向量分别一维化，形成相应的一维序列，其中文本向量对应的序列记为第一序列，每个个体向量对应的序列记为第二序列。
具体地，将第一序列和第二序列分别输入到交叉注意网络中，其中以第二序列作为Query，训练生成第一序列的Key和Value值。最终生成的融合序列则融合了评论文本在个体化信息中的差异表达。
例如，在图2所示模型结构中，以上述的商品评论为例，将评论文本对应的第一序列称为评论序列SD，将两种个性化信息，即用户信息和商品信息对应的第二序列分别称为用户序列SU和商品序列SP，则计算融合序列的公式可变形为如下形式。
IU＝softmax((WQSU)(WKSD)T)WVSD
IP＝softmax((WQSP)(WKSD)T)WVSD
其中，IU为评论序列SD与用户序列SU的融合序列(简称“用户融合序列”)，IP为评论序列SD与商品序列SP的融合序列(简称“商品融合序列”)。
用户融合序列更关注用户的个体偏差信息对于评论文本的信息的影响，即用户对于评论文本中的哪些词更关注，例如用户对于情感词的强烈程度、使用习惯等信息。用户融合序列可以使得评论文本中能够更好的融入用户的个体偏差信息；
商品融合序列更关注商品的个体偏差信息对于评论文本的信息的影响，即评论文本中的哪些词更能体现商品特性，例如商品的特性经常被如何描述等信息。商品融合序列可以使得评论文本中能够更好的融入商品的个体偏差信息。
步骤二：通过融合网络(⊕)将每个个体向量所对应的融合序列I进行融合，得到标签权重。
具体地，融合网络将融合了个体偏差信息的评论信息，如图2中融入了用户个体偏差信息、商品个体偏差信息的评论信息，或者进一步还融合了原本纯净的评论文本信息的编码序列进行拼接融合，得到最终的标签权重(标签权重矩阵G)，即：
G＝α(SD,IU,IP)
其中，α(·)表示任意可训练的神经网络，它的内部能够融合三个输入向量，分别对应着上述用户融合序列、商品融合序列和文本序列。
步骤104，采用权重计算网络对每个预测情感标签采用标签权重进行加权计算，以及将计算结果进行线性回归，得到多个情感类别下的情感类别概率。
具体地，对步骤102中得到的每个情感类别下的预测情感标签采用标签权重进行加权计算得到最终权重调整后的预测情感标签，然后将各情感类别下最终生成的预测情感标签从多维向量进行线性回归，如采用softmax激活函数进行处理，最终得到评论文本的情感类别class，即：
class＝softmax(y’)
其中，y’为通过标签权重加权调整后的预测情感标签。
步骤105，采用分类损失函数对情感预测模型、交叉注意力模型和权重计算网络组成的情感分析模型进行训练。
具体地，在训练过程中，可以对情感预测模型、交叉注意力模型和权重计算网络组成的情感分析模型进行联合训练，也可以分阶段进行级联训练。模型训练采用的损失函数可以但不局限于分类损失函数。
例如，分类损失函数通过如下公式构建：
Figure BDA0004069051810000091
其中，N是训练的评论文本的数量，M是预设的情感类别的数量，yij是第i个评论文本所属第j个情感类别的真实概率值，
Figure BDA0004069051810000092
是第i个评论文本所属第j个情感类别的预测概率值。
本申请实施方式提供的文本情感分析模型训练方法，通过对评论文本、评论文本的至少一种个体化信息分别进行编码，得到文本向量和至少一个的个体向量；将文本向量输入到情感预测模型中，得到文本向量在多个情感类别下的预测情感标签；采用交叉注意力模型将文本向量分别与每个个体向量融合后再拼接，得到标签权重；采用权重计算网络对每个预测情感标签采用标签权重进行加权计算，以及将计算结果进行线性回归，得到多个情感类别下的情感类别概率；采用分类损失函数对情感预测模型、交叉注意力模型和权重计算网络组成的情感分析模型进行训练。由于引入交叉注意力机制使得生成的标签权重具备了评论文本在个体化信息上的表达差异，并利用带有个性化表达差异的标签权重对初步得到的预测情感标签进行加权计算，使得最终预测的情感类别概率更加符合不同个体下的真实情感，从而提高模型对文本情感类别分析的准确度。
本申请的实施方式还提供了一种文本情感分析方法，如图3所示，包括如下步骤。
步骤201：对待分析评论文本、待分析评论文本的至少一种个体化信息分别进行编码，得到待分析的文本向量和所述至少一个的待分析个体向量。
步骤202：将待分析的文本向量和至少一个的待分析个体向量输入到训练好的情感分析模型，得到待分析评论文本所属的情感类别。
其中，所述情感分析模型可以通过上述实施例中的文本情感分析模型训练方法得到。
本实施例提供的文本情感分析方法，采用了上述实施例中模型训练方法所训练好的情感分析模型进行情感类别预测，利用交叉注意力机制将评论文本在个体偏差下的情感表达差异进行融合形成标签权重，并采用该标签权重对评论文本的预测情感标签进行加权来预测情感类别，提高了对文本情感类别分析的准确度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的实施方式涉及一种电子设备，如图4所示，包括：
至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行如上述实施方式提及的文本情感分析模型训练方法，或者能够执行上述实施方式提及的文本情感分析方法。
该电子设备包括：一个或多个处理器301以及存储器302，图4中以一个处理器301为例。处理器301、存储器302可以通过总线或者其他方式连接，图4中以通过总线连接为例。存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器302中。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述模型训练方法或文本分析方法。
存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器302中，当被一个或者多个处理器301执行时，执行上述任意实施方式中的模型训练方法，或者能够执行上述实施方式提及的文本分析。
上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。
本申请的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种文本情感分析模型训练方法，其特征在于，包括：
对评论文本、所述评论文本的至少一种个体化信息分别进行编码，得到文本向量和所述至少一个的个体向量；
将所述文本向量输入到情感预测模型中，得到所述文本向量在多个情感类别下的预测情感标签；
采用交叉注意力模型将所述文本向量分别与每个所述个体向量融合后再拼接，得到标签权重；
采用权重计算网络对每个所述预测情感标签采用所述标签权重进行加权计算，以及将计算结果进行线性回归，得到所述多个情感类别下的情感类别概率；
采用分类损失函数对所述情感预测模型、所述交叉注意力模型和所述权重计算网络组成的情感分析模型进行训练。
2.根据权利要求1所述的文本情感分析模型训练方法，其特征在于，所述对评论文本、所述评论文本的至少一种个体化信息分别进行编码，得到文本向量和至少一个个体向量，包括：
对所述评论文本进行词嵌入编码，将得到的词嵌入矩阵作为所述文本向量；
对所述至少一种个体化信息分别进行词嵌入编码，将得到的所述至少一个的词嵌入矩阵中每个词嵌入矩阵作为一个所述个体向量。
3.根据权利要求1所述的文本情感分析模型训练方法，其特征在于，所述情感预测模型包括：双向长短期记忆网络、Transformers模型和加法网络；
所述将所述文本向量输入到情感预测模型中，得到所述文本向量在多个情感类别下的预测情感标签，包括：
对所述文本向量中所包含的词向量采用所述双向长短期记忆网络进行词义特征提取，得到词义特征向量；
对所述文本向量中所包含的词向量采用所述Transformers模型中的位置编码网络进行位置信息编码，得到位置特征向量；
通过所述加法网络将所述词义特征向量和所述位置特征进行对位相加，并基于相加后的向量形成所述文本向量在多个情感类别下的预测情感标签。
4.根据权利要求3所述的文本情感分析模型训练方法，其特征在于，所述方法还包括：
以每个所述个体向量形成一个权重项，采用所述Transformers模型中的自注意力模型进行权重设置，得到自适应权重；
所述基于相加后的向量形成所述文本向量在多个情感类别下的预测情感标签，包括：
采用所述自适应权重对所述相加后的向量进行权重计算，得到所述文本向量在多个情感类别下的预测情感标签。
5.根据权利要求4所述的文本情感分析模型训练方法，其特征在于，所述采用所述自适应权重对所述相加后的向量进行权重计算，得到所述文本向量在多个情感类别下的预测情感标签，包括：
通过如下公式得到所述预测情感标签y：
Figure FDA0004069051750000021
/>
其中，cm为第m个权重项的类别，(C)表示所述预测情感标签y对应的情感类别，
Figure FDA0004069051750000022
为情感类别(C)下权重项类别cm的权重，b(c)为情感类别(C)下的偏置向量。
6.根据权利要求1所述的文本情感分析模型训练方法，其特征在于，所述交叉注意力模型包括：交叉注意力网络和融合网络；
所述采用交叉注意力模型将所述文本向量分别与每个所述个体向量融合后再拼接，得到标签权重，包括：
采用所述交叉注意网络针对所述文本向量形成的第一序列与每个所述个体向量形成的第二序列，分别采用如下交叉注意力算法进行融合，得到融合序列I：
I＝softmax((WQS2)(WKS1)T)WVS1
其中，S1为所述第一序列，S2为所述第二序列，WQ、WK、WV均为待训练矩阵参数，(WKS1)T为(WKS1)的转置矩阵；
通过所述融合网络将每个所述个体向量所对应的所述融合序列I进行融合，得到所述标签权重。
7.根据权利要求1-6中任一项所述的文本情感分析模型训练方法，其特征在于，所述个性化信息包括：所述评论文本的评论主体信息和/或评论对象信息。
8.一种文本情感分析方法，其特征在于，包括：
对待分析评论文本、所述待分析评论文本的至少一种个体化信息分别进行编码，得到待分析的文本向量和所述至少一个的待分析个体向量；
将所述待分析的文本向量和所述至少一个的待分析个体向量输入到训练好的情感分析模型，得到所述待分析评论文本所属的情感类别；
其中，所述情感分析模型通过权利要求1-7中任一项所述的文本情感分析模型训练方法得到。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的文本情感分析模型训练方法，或者能够执行如权利要求8所述的文本情感分析方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的文本情感分析模型训练方法，或者实现如权利要求8所述的文本情感分析方法。
CN202310086815.5A 2023-01-18 2023-01-18 文本情感分析模型训练方法、情感分析方法、设备和介质 Pending CN116244435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310086815.5A CN116244435A (zh) 2023-01-18 2023-01-18 文本情感分析模型训练方法、情感分析方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310086815.5A CN116244435A (zh) 2023-01-18 2023-01-18 文本情感分析模型训练方法、情感分析方法、设备和介质

Publications (1)

Publication Number Publication Date
CN116244435A true CN116244435A (zh) 2023-06-09

Family

ID=86625539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310086815.5A Pending CN116244435A (zh) 2023-01-18 2023-01-18 文本情感分析模型训练方法、情感分析方法、设备和介质

Country Status (1)

Country Link
CN (1) CN116244435A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117633239A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种结合组合范畴语法的端到端方面情感识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117633239A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种结合组合范畴语法的端到端方面情感识别方法
CN117633239B (zh) * 2024-01-23 2024-05-17 中国科学技术大学 一种结合组合范畴语法的端到端方面情感识别方法

Similar Documents

Publication Publication Date Title
CN111897908B (zh) 融合依存信息和预训练语言模型的事件抽取方法及系统
CN108920622B (zh) 一种意图识别的训练方法、训练装置和识别装置
CN109062893B (zh) 一种基于全文注意力机制的商品名称识别方法
CN110196982B (zh) 上下位关系抽取方法、装置及计算机设备
JP7370033B2 (ja) セマンティック認識方法
CN111160035A (zh) 文本语料的处理方法和装置
CN112632224B (zh) 基于案例知识图谱的案件推荐方法、装置和电子设备
CN110866542A (zh) 一种基于特征可控融合的深度表示学习方法
CN113761197B (zh) 一种可利用专家知识的申请书多标签层次分类方法
CN109919175A (zh) 一种结合属性信息的实体多分类方法
CN112036189A (zh) 一种金文语义识别方法和系统
CN116739695A (zh) 基于大数据的电子商务管理系统及其方法
CN116244435A (zh) 文本情感分析模型训练方法、情感分析方法、设备和介质
CN115796182A (zh) 一种基于实体级跨模态交互的多模态命名实体识别方法
CN113051904B (zh) 一种面向小规模知识图谱的链接预测方法
He et al. Text Sentiment Analysis of Douban Film Short Comments Based on BERT-CNN-BiLSTM-Att Model
CN116757773A (zh) 服装电子商务销售管理系统及其方法
CN115964497A (zh) 一种融合注意力机制与卷积神经网络的事件抽取方法
CN116341564A (zh) 基于语义理解的问题推理方法和装置
CN115659990A (zh) 烟草情感分析方法、装置及介质
CN114911940A (zh) 文本情感识别方法及装置、电子设备、存储介质
CN112364666B (zh) 文本表征方法、装置及计算机设备
CN114547237A (zh) 一种融合法条关键词的法条推荐方法
CN113255360A (zh) 基于层次化自注意力网络的文档评级方法和装置
CN115438156B (zh) 一种多任务学习的答案选择和问题分类的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination