CN113065331A - 基于实体上下文判别的实体情感识别方法和系统 - Google Patents

基于实体上下文判别的实体情感识别方法和系统 Download PDF

Info

Publication number
CN113065331A
CN113065331A CN202110408092.7A CN202110408092A CN113065331A CN 113065331 A CN113065331 A CN 113065331A CN 202110408092 A CN202110408092 A CN 202110408092A CN 113065331 A CN113065331 A CN 113065331A
Authority
CN
China
Prior art keywords
model
entity
emotion recognition
input
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110408092.7A
Other languages
English (en)
Inventor
高剑
史光伟
林越峰
苗仲辰
杨熠
牛昊
熊赟
江航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Financial Futures Information Technology Co ltd
Original Assignee
Shanghai Financial Futures Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Financial Futures Information Technology Co ltd filed Critical Shanghai Financial Futures Information Technology Co ltd
Priority to CN202110408092.7A priority Critical patent/CN113065331A/zh
Publication of CN113065331A publication Critical patent/CN113065331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于实体上下文判别的实体情感识别方法和系统，提高情感倾向判别的能力。其技术方案为：通过多任务共同训练，将篇章级情感识别、命名体识别、实体情感识别三种任务通过FinBERT模型有机结合，提高了每个任务的单一准确率，以及实体情感的识别准确率。通过局部编码器中的高斯掩码层，自主学习每个实体所需要注意的上下文范围，在每次预测时同时输出该值得到模型的上下文注意范围。通过局部编码器中的协方差自注意力层，自主学习句子中每个单词对最终结果所造成的权重偏向，使模型更好地将注意力集中到应该去注意并且判断的单词上。通过采用句法依存树生成关注区域的编码矩阵，提高模型准确性。

Description

基于实体上下文判别的实体情感识别方法和系统
技术领域
本发明涉及一种实体情感识别的技术，具体涉及一种基于实体所处的上下文进行判别的实体情感识别方法和系统。
背景技术
随着海量数据信息的爆发，自动化的文本处理技术得到了广泛应用和发展，其中就包括情感识别技术。实体情感识别可具体应用在舆情分析系统中的实体分析功能中，利用该功能可探知一篇文章中出现的所有实体在文章中分别处于何种情感倾向，从而得到一篇文章相应的实体级别情感分析结论。金融领域中，利用实体情感识别判断不同的机构(不限于基金、期货公司、上市公司等等)在舆情中的情感倾向变化。
基于实体的情感识别是依附于篇章段落(实体所处上下文)的情感，因为每个实体在不同的篇章段落中会表现出不同的情感倾向。现实中的大多数文本包含了很多实体，情感识别技术需要解决的是找出文本中所有的实体并对这些实体在文中的情感倾向做出判别。
一般来说，要解决该问题，需要采用基于神经网络或是隐马尔可夫(HMM)结合条件随机场(CRF)的方法对大量的标记数据进行学习，从而得到一个获取了标记数据模式的模型。最新的方法采用了注意力模型来探索实体所处上下文的情感倾向，例如引入基于注意力的LSTM的ATAE-LSTM、使用上下文动态屏蔽/加权矩阵来定位上下文信息的LCF-BERT以及考虑依赖关系标签的BERT-RGAT。但是这些算法都无法充分利用实体所处上下文的有价值的依赖关系。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题，提供了一种基于实体上下文判别的实体情感识别方法和系统，提升了基于注意力模型的深度学习模型对实体所处上下文的依赖关系感知能力，从而提高了情感倾向判别的能力。
本发明的技术方案为：本发明揭示了一种基于实体上下文判别的实体情感识别方法，方法包括：
步骤一：对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据；
步骤二：对所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果，然后分别并行的执行步骤三至步骤五；
步骤三：对共享向量化模型步骤二得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型；
步骤四：对共享向量化模型步骤二得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型；
步骤五：对共享向量化模型步骤二得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。
根据本发明的基于实体上下文判别的实体情感识别方法的一实施例，在步骤二中，使用该FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对该FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。
根据本发明的基于实体上下文判别的实体情感识别方法的一实施例，步骤三进一步包括：
步骤3-1：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；
步骤3-2：将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；
步骤3-3：对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；
步骤3-4：处理下一个批次，反复迭代直到损失函数的计算值收敛。
根据本发明的基于实体上下文判别的实体情感识别方法的一实施例，步骤四进一步包括：
步骤4-1：将一个批次中的输入句子输入到FinBERT模型中；
步骤4-2：基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；
步骤4-3：将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。
根据本发明的基于实体上下文判别的实体情感识别方法的一实施例，步骤五进一步包括：
步骤5-1：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；
步骤5-2：将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；
步骤5-3：通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；
步骤5-4：将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。
本发明还揭示了一种基于实体上下文判别的实体情感识别系统，系统包括：
数据输入模块，对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据；
语义向量化模块，对所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果；
篇章级情感识别模型模块，对语义向量化模块得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型；
命名体识别模型模块，对语义向量化模块得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型；
实体情感识别模型模块，对语义向量化模块得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。
根据本发明的基于实体上下文判别的实体情感识别系统的一实施例，语义向量化模块进一步配置为，使用该FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对该FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。
根据本发明的基于实体上下文判别的实体情感识别系统的一实施例，篇章级情感识别模型模块进一步配置为：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；处理下一个批次，反复迭代直到损失函数的计算值收敛。
根据本发明的基于实体上下文判别的实体情感识别系统的一实施例，命名体识别模型模块进一步配置为：将一个批次中的输入句子输入到FinBERT模型中；基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。
根据本发明的基于实体上下文判别的实体情感识别系统的一实施例，实体情感识别模型模块进一步配置为：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。
本发明对比现有技术有以下的有益效果：本发明一方面利用高斯掩码层和协方差自注意层来提升捕捉局部信息的能力，另一方面利用多任务(篇章级情感识别和命名体识别)处理共享参数的方式提升模型对句子的向量化能力。通过这两个方面的结合大大提升了基于注意力模型的深度学习模型对实体所处上下文的依赖关系感知能力，从而提高了情感倾向判别的能力。
具体而言，本发明通过多任务共同训练，将篇章级情感识别、命名体识别、实体情感识别三种任务通过FinBERT模型有机结合在一起，不仅提高了每个任务的单一准确率，最重要的是提高了实体情感的识别准确率。
此外，本发明中设计了局部编码器中的高斯掩码层，高斯掩码层能自主学习每个实体所需要注意的上下文范围，比设置上下文范围固定值效果好很多，并且使得模型有更强的可解释性，能够在每次预测时同时输出该值得到模型的上下文注意范围。
第三，本发明中设计了局部编码器中的协方差自注意力层。协方差自注意层能够自主学习到句子中每个单词对最终结果所造成的权重偏向，从而使模型能够更好地将注意力集中到应该去注意并且判断的单词上。协方差自注意力层不仅提升了模型的准确度，同时也能输出可理解的模型在句子中的关注点。
第四，本发明采用句法依存树生成关注区域的编码矩阵，这种方式带来的全局注意力能很好地提高模型准确性。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了本发明的基于实体上下文判别的实体情感识别方法的一实施例的流程图。
图2示出了图1所示的方法实施例中的步骤三的细化流程图。
图3示出了图1所示的方法实施例中的步骤五的细化流程图。
图4示出了本发明的基于实体上下文判别的实体情感识别系统的一实施例的原理图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
图1示出了本发明的基于实体上下文判别的实体情感识别方法的一实施例的流程。请参见图1，本实施例的方法的实施步骤详述如下。
步骤一：对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据。
篇章级数据：篇章级数据中每行的格式为<文本内容，情感标签>，文本内容是字符数量在200-4000之间的中文长文本数据，情感标签是代表该份长文本所属情感极性的标签，一共包含三种极性(正面、负面、中性)。
命名体数据：命名体数据中每行为<句子，句子中命名体标记序列>，句子是字符数量在10-100之间的短文本数据文本，文本句子中命名体标记序列是针对文本句子内容的字符级标记序列。B表示‘Begin’，I表示‘inside’，用B和I分别表示一个字属于某一个命名体的开始的字符和内部的字符。O表示‘other’，将不属于所要提取的命名体之外的其他字符都标注为O。给定一个句子S，包含n个字符(w1,…,wn)，同时给定一个标记序列St＝(ti,…,tn)，τ∈[1,n)是S的一个子串。
Figure BDA0003023085810000071
表示A这个实体词用了S中的哪几个字符，a相当于A的代称，代表这几个字符属于A这个实体词。
实体情感数据：实体情感数据中每行为<句子，实体，实体情感>，句子是字符数量在10-100之间的短文本数据，实体是当前文本内容中出现的某个我们关心的单词，实体情感是该实体在该句子中所包含的情感倾向。给定一个句子S，包含n个字符(w1,…,wn)，同时给定一个实体词
Figure BDA0003023085810000081
τ∈[1,n)是S的一个子串，a表示实体词。
步骤二：对上一层输入的篇章级数据、命名体数据、实体情感数据进行语义向量化的处理，三种不同的数据输入分别得到三种不同维度的向量输出结果。得到的文本语义向量将被后面步骤的模型训练使用。
在本步骤中，采用了基于金融数据精调(fine tune)后得到的BERT模型预训练参数，称为FinBERT模型。FinBERT模型的模型结构和BERT模型相同，都是由大量的transformer模组进行组合而成。FinBERT模型对输入文本是逐字处理的，不需要对文本分词就可以将输入文本转化成标准化向量。FinBERT模型的目的不仅仅是将输入文本转化成标准化向量，还包括在后续任务中，利用后续任务在优化目标的过程中的反传数值对FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型(向量化模型即为图示的FinBERT模型)。多个任务共享同一个向量化模型的好处在于，该向量化模型学习到了不同任务中的信息，进而相互反哺。不同的任务在同一个数据类型的范围内，能够更好地挖掘出该类型的潜在信息，因此本算法中将同一个FinBERT模型运用在了篇章级情感识别、命名体识别、实体情感识别三个任务当中。
该步骤提出了多任务训练共享同一个向量化模型，即，不同的训练任务采用同一个向量化模型的参数，以使所共享的这个向量化模型能够在不同的任务中学习到不同的经验并相互反哺，向量化模型的参数在不同的任务中被不断学习更新，充分学到了不同任务的数据特性。
步骤三：对共享向量化模型步骤二得到的文本语义向量作为模型的篇章级情感识别模型的输入，通过模型对损失函数的计算的数值，利用反向传播公式计算到的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数计算的数值低于预设阈值。训练结束之后可以得到一个可用于预测使用的篇章级情感识别模型。
同时参考图2，篇章级情感识别模型的训练步骤如下：
步骤3-1：对一个批次batch(例如设置为4，即一次迭代的训练数据中包含四条不同数据)中的输入文本内容(Doc_text_indices)进行切片，然后把不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量。
步骤3-2：将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量Doc sentiment和真实值进行损失函数的计算值doc loss的计算。docloss的计算采用了交叉熵损失函数的计算方式，交叉熵损失函数是一个现有的计算方式。doc loss相当于下面公式中的L计算公式如下，
Figure BDA0003023085810000091
其中M是类别的数量，在当前任务中M的值为3，yic是指示变量(0或1),如果该类别和样本i的类别相同就是1，否则是0，pic是对于观测样本i属于类别的预测概率。
后面的loss中计算都采用了这种损失函数的计算方式。
步骤3-3：对doc loss进行反向传播更新BiLSTM模型和FinBERT模型。
步骤3-4：处理下一个batch，反复迭代直到doc loss收敛。
步骤三执行了一个篇章级情感识别的训练，其技术效果是篇章级情感识别模型在学习过程中，能够让图2中的FinBERT模型学习到在篇章级情感中不同的字向量对情感做出的贡献，从而使得FinBERT模型再被使用时能够将字的向量表达得更加准确。
步骤四：对共享向量化模型步骤二得到的文本语义向量作为模型的命名体识别模型的输入，通过模型对损失函数的计算的数值，利用反向传播公式计算到的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数计算的数值低于预设阈值。训练结束之后可以得到一个可用于预测使用的命名体识别模型。
命名体识别模型的训练步骤如下。
步骤4-1：将一个batch(设置为32)中的输入句子S输入到FinBERT模型中。
步骤4-2：基于FinBERT模型输出得到的向量值和每个句子对应的标记序列St进行doc loss计算。其具体计算方式同步骤三中的交叉熵损失函数的计算方式。
步骤4-3：将计算得到的loss进行反向传播，更新FinBERT模型的参数值。
步骤四执行了一个命名体识别的训练，其技术效果与步骤三类似，能够拓展共享的FinBERT模型所学的信息维度。
步骤五：对共享向量化模型步骤二得到的文本语义向量作为模型的实体情感识别模型的输入，通过模型对损失函数的计算的数值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数计算的数值低于预设阈值。训练结束之后可以得到一个可用于预测使用的实体情感识别模型。
同时参考图3，实体情感识别模型的训练步骤如下所示。
步骤5-1：在每个batch中，对于给定的句子S＝w1,w2,…,wn}和相应的实体词
Figure BDA0003023085810000101
首先采用FinBERT模型作为上下文编码器抽取上下文表示H，该上下文表示H包含两个部分：普通词嵌入{h1,h2,…,hn}和实体词嵌入
Figure BDA0003023085810000102
除此之外，句子实体依存向量lca_ids是输入句子S经过步骤五中的第5-3步的lca(Dependence Implant)生成的，通过特定规则转化成了句子实体嵌入向量Embedding表，用于与上下文表示H相乘。
步骤5-1能够使多种不同类型的变量统一到数值化向量的层面，在此层面上，不同类型的向量便可以进行拼接或是直接输入模型等后续操作。
步骤5-2：将来自FinBERT模型输出的上下文表示H分为两个部分，作为全局编码(Global context)和局部编码(Local context)分别使用。左侧的全局编码和Embedding表进行点乘的操作称为全局编码器，右侧局部编码和高斯掩码层(Gaussian Matrix)进行点乘并输入协方差自注意层(Multi-Head Covariance Self Attention Layer(MHCSA))的操作称为局部编码器。
如上所示，为了有效地编码局部上下文信息，本实施例构造了一种局部编码器，该局部编码器包含两个层：一个高斯掩码层(Gaussian Matrix)和一个协方差自注意层(MHCSA)。
(1)高斯掩码层的说明如下：
为了自适应地调整实体词周围区域中的上下文感受野，在本实施例中构建一个自适应的学习模块，通过学习一组高斯掩码来调节每个局部上下文的宽度。具体而言，设计了一个多层神经网络来学习标准偏差σ以控制高斯分布的形状，σ的计算如下：
σ＝δ((W2(relu(W1H+b1))+b2))
σ是softplus函数，H是BERT模型输入语句的隐藏上下文表示，而W1，W2，b1和b2分别是可学习的权重和偏差。为了简单起见，每个高斯分布的均值μ被预定义为零。
relu是一种激活函数，该激活函数的计算公式如下：
relu(x)＝max(0,x)
高斯分布函数定义如下：
Figure BDA0003023085810000111
上式中的参数x可以是任意的输入，这里只是介绍所采用的高斯公式的具体公式。
为了获得用于上下文局部的自适应掩码矩阵，初始化掩码向量Minit，该掩码向量Minit的维度等于输入序列的长度：
Figure BDA0003023085810000121
其中
Figure BDA0003023085810000122
的值设置为零，右上角的a标签代表的含义和上文中提到的相同，指代了拥有a这个上标范围内的数据是属于实体词A的。此外，在零的两侧以相等的间隔获取Bi-1和Bi+τ+1的值。通过特定的高斯分布函数GK计算后，得到高斯掩码向量MG。所以局部上下文特征HG计算如下：
Figure BDA0003023085810000123
HG＝MG⊙H,
其中⊙表示Hadamard乘积。
(2)协方差自注意层的说明如下。
为了处理隐含的语义情况，本实施例中希望使不同上下文单词的注意权重尽可能可区分开。为此，通过一种协方差自注意机制来对给定实体的局部上下文特征HG进行编码。原始的自注意力机制计算每两个单词的特征之间的注意力得分矩阵。计算如下：
Figure BDA0003023085810000124
其中Q，K和V是查询，键和值矩阵，而dk是键和查询的维度，Att是注意力函数，其中采用的运算如公式所示，softmax是一种归一化的计算公式，一般处理的对象是一个向量V，Vi、Vj代表了该向量中的第i个元素和第j个元素。公式如下所示。
softmax(S)＝[S1,S2,...,Sn]
Figure BDA0003023085810000125
为了扩大任何单词对之间的差异并使它们的注意力权重更加明显，通过减去Q和K的均值项来修改原始的自注意机制。具体而言，协方差注意力机制计算任何单词对之间的关注分数：(Q-UQ)T(K-UK)，其中
Figure BDA0003023085810000126
Figure BDA0003023085810000131
UQ和UK是分别在所有单词上的查询和键向量表示的平均值，N是单词的数量。协方差自注意力计算如下：
Figure BDA0003023085810000132
步骤5-2中的全局编码器和局部编码器能够很好地将输入信息进行高纬度的语义转化，在这个维度中，实体情感识别模型可以较好地找出核心信息帮助判断。
步骤5-3：通过依存嵌入层，利用句子S中的依存关系标签信息，得到二维矩阵Embedding，用于和上下文表示H相乘。
依存嵌入层的处理过程是：输入句子S，通过句法依存树解析算法得到该句子的依存树，利用依存树的特点，计算出实体词A到其余普通词的最短距离，通过设置SRD(句法关心范围阈值)的大小，将距离在SRD以内的普通词置为有效，而其他词则置为无效。最后通过字表转换的方式，得到维度为(文本长度，嵌入维度)的二维矩阵Embedding，用于和H相乘。
假设文本长度为5，嵌入维度为10，Embedding的实例如下：
[[0,0,0,0,0,0,0,0,0],
[1,1,1,1,1,1,1,1,1]
[1,1,1,1,1,1,1,1,1]
[1,1,1,1,1,1,1,1,1]
[0,0,0,0,0,0,0,0,0]]
该实例意味着文本中的第二个字到第四个字是在模型的句法关心范围内的。与H相乘，可以得到模型全局关注范围，因此Embedding的生成、H与Embedding的相乘合称为全局编码器。
步骤5-4：在输出层中，将局部编码器和全局编码器的输出特征结合起来作为最后的表示hfinal，然后将该表示hfinal输入到一个全连接的神经网络中，从而输出不同情感极性的概率：
P(y＝c)＝sotfmax(WPhfinall+bP)
WP和bP是权重和偏置矩阵，
Figure BDA0003023085810000141
是对于一个实体词的概率分布，C是情感极性的类型集，y表示当前输出的情感极性。
整个步骤五设计了一个训练实体情感识别的框架，在该框架中采用了高斯掩码层和协方差自注意层的两个技术手段，以便为实体情感识别带来上下文区域选取和注意特定区域的这两个技术效果，这两个技术效果能够提升最终识别的准确率。
需要说明的是，本发明的范围可做如下的扩展：
多任务同时训练不限于三个任务，也不限于是上述实施例中提及的这三种任务。
上述实施例中的步骤二中的共享向量化模型使用的FinBERT模型不是重点，可以替换成其他向量化的网络模型(例如BERT)。
步骤三中的BiLSTM模型不是重点，可以使用LSTM或者别的序列化深度学习模型进行替代。
步骤五中的高斯掩码层中的高斯分布假设不是重点，可以设定为其他分布进行替代，从而该掩码层可以成为其他分布掩码层。
步骤五中的第5-3步中涉及到利用句法依存树得到句子注意力范围的方式不仅仅局限于句法依存树，还可以采用别的编码方式得到相应矩阵。
图4示出了本发明的基于实体上下文判别的实体情感识别系统的一实施例的原理。请参见图4，本实施例的系统包括：数据输入模块、语义向量化模块、篇章级情感识别模型模块、命名体识别模型模块、实体情感识别模型模块。
数据输入模块的输出端连接语义向量化模块的输入端，语义向量化模块的输出端分别连接篇章级情感识别模型模块、命名体识别模型模块、实体情感识别模型模块的输入端。
数据输入模块，配置为对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据。
语义向量化模块，配置为对数据输入模块所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果。
语义向量化模块进一步配置为：使用FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。
篇章级情感识别模型模块，配置为对语义向量化模块得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型。
篇章级情感识别模型模块进一步配置为：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；处理下一个批次，反复迭代直到损失函数的计算值收敛。
命名体识别模型模块，配置为对语义向量化模块得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型。
命名体识别模型模块进一步配置为：将一个批次中的输入句子输入到FinBERT模型中；基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。
实体情感识别模型模块，配置为对语义向量化模块得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。
实体情感识别模型模块进一步配置为：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (10)

1.一种基于实体上下文判别的实体情感识别方法，其特征在于，方法包括：
步骤一：对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据；
步骤二：对所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果，然后分别并行的执行步骤三至步骤五；
步骤三：对共享向量化模型步骤二得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型；
步骤四：对共享向量化模型步骤二得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型；
步骤五：对共享向量化模型步骤二得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。
2.根据权利要求1所述的基于实体上下文判别的实体情感识别方法，其特征在于，在步骤二中，使用该FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对该FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。
3.根据权利要求1所述的基于实体上下文判别的实体情感识别方法，其特征在于，步骤三进一步包括：
步骤3-1：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；
步骤3-2：将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；
步骤3-3：对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；
步骤3-4：处理下一个批次，反复迭代直到损失函数的计算值收敛。
4.根据权利要求1所述的基于实体上下文判别的实体情感识别方法，其特征在于，步骤四进一步包括：
步骤4-1：将一个批次中的输入句子输入到FinBERT模型中；
步骤4-2：基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；
步骤4-3：将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。
5.根据权利要求1所述的基于实体上下文判别的实体情感识别方法，其特征在于，步骤五进一步包括：
步骤5-1：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；
步骤5-2：将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；
步骤5-3：通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；
步骤5-4：将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。
6.一种基于实体上下文判别的实体情感识别系统，其特征在于，系统包括：
数据输入模块，对将数据输入到输入层的操作进行准备，包括准备三种不同类型的数据：篇章级数据、命名体数据和实体情感数据；
语义向量化模块，对所输入的篇章级数据、命名体数据、实体情感数据，采用基于金融数据精调后得到的BERT模型即FinBERT模型作为共享向量化模型，进行语义向量化处理，基于三种不同类型的数据输入分别得到三种不同维度的向量输出结果；
篇章级情感识别模型模块，对语义向量化模块得到的文本语义向量作为篇章级情感识别模型的输入，通过篇章级情感识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到篇章级情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的篇章级情感识别模型；
命名体识别模型模块，对语义向量化模块得到的文本语义向量作为命名体识别模型的输入，通过命名体识别模型得到损失函数的计算值，利用反向传播公式计算出的反传数值，更新到命名体识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的命名体识别模型；
实体情感识别模型模块，对语义向量化模块得到的文本语义向量作为实体情感识别模型的输入，通过实体情感识别模型得到损失函数的计算值，利用反向传播公式计算到的反传数值，更新到实体情感识别模型和共享向量化模型上，训练结束的标志是损失函数的计算值低于预设阈值，训练结束后得到可用于预测使用的实体情感识别模型。
7.根据权利要求6所述的基于实体上下文判别的实体情感识别系统，其特征在于，语义向量化模块进一步配置为，使用该FinBERT模型对输入文本进行逐字处理，不仅将输入文本转化成标准化向量，还包括在后续任务中利用后续任务在优化目标过程中的反传数值对该FinBERT模型进行参数更新，从而得到更适应新任务数据领域的向量化模型。
8.根据权利要求6所述的基于实体上下文判别的实体情感识别系统，其特征在于，篇章级情感识别模型模块进一步配置为：对一个批次中的输入文本内容进行切片，将不同的片段经过FinBERT模型后得到的向量横向拼接得到一个长向量；将长向量作为BiLSTM模型的输入，BiLSTM模型的输出向量经过降维后成为文本情感预测向量和真实值进行损失函数的计算；对文本损失值进行反向传播更新BiLSTM模型和FinBERT模型；处理下一个批次，反复迭代直到损失函数的计算值收敛。
9.根据权利要求6所述的基于实体上下文判别的实体情感识别系统，其特征在于，命名体识别模型模块进一步配置为：将一个批次中的输入句子输入到FinBERT模型中；基于FinBERT模型输出得到的向量值和每个句子对应的标记序列进行损失函数的计算；将损失函数的计算值进行反向传播，更新FinBERT模型的参数值。
10.根据权利要求6所述的基于实体上下文判别的实体情感识别系统，其特征在于，实体情感识别模型模块进一步配置为：在每个批次中对给定的句子和相应的实体词，先采用FinBERT模型作为上下文编码器抽取上下文表示，该上下文表示中包含普通词嵌入和实体词嵌入，此外句子实体依存向量转化为句子实体嵌入向量表以用于与该上下文表示相乘；将来自FinBERT模型输出的上下文表示作为全局编码和局部编码分别使用，其中采用全局编码器将全局编码与句子实体嵌入向量表进行点乘，采用局部编码器将局部编码和高斯掩码层进行点乘并输入协方差自注意层；通过依存嵌入层，利用句子中的依存关系标签信息，得到句子实体嵌入向量表以用于与该上下文表示相乘；将局部编码器和全局编码器的输出特征结合起来作为最后的表示，将该表示输入到全连接神经网络中以得到不同情感极性的概率。
CN202110408092.7A 2021-04-15 2021-04-15 基于实体上下文判别的实体情感识别方法和系统 Pending CN113065331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110408092.7A CN113065331A (zh) 2021-04-15 2021-04-15 基于实体上下文判别的实体情感识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110408092.7A CN113065331A (zh) 2021-04-15 2021-04-15 基于实体上下文判别的实体情感识别方法和系统

Publications (1)

Publication Number Publication Date
CN113065331A true CN113065331A (zh) 2021-07-02

Family

ID=76566896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110408092.7A Pending CN113065331A (zh) 2021-04-15 2021-04-15 基于实体上下文判别的实体情感识别方法和系统

Country Status (1)

Country Link
CN (1) CN113065331A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591475A (zh) * 2021-08-03 2021-11-02 美的集团(上海)有限公司 无监督可解释分词的方法、装置和电子设备
CN113591479A (zh) * 2021-07-23 2021-11-02 深圳供电局有限公司 电力计量的命名实体识别方法、装置和计算机设备
CN113836286A (zh) * 2021-09-26 2021-12-24 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及系统
CN114003694A (zh) * 2021-11-01 2022-02-01 北京明略软件系统有限公司 实体情感分析方法、系统、存储介质及电子设备
CN114818659A (zh) * 2022-06-29 2022-07-29 北京澜舟科技有限公司 一种文本情感来源分析方法、系统及存储介质
CN115514343A (zh) * 2022-05-13 2022-12-23 浙江腾腾电气有限公司 电网波形滤波系统及其滤波方法
CN117633239A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种结合组合范畴语法的端到端方面情感识别方法
WO2024087297A1 (zh) * 2022-10-27 2024-05-02 苏州思萃人工智能研究所有限公司 文本情感分析方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325238A (zh) * 2018-10-31 2019-02-12 北京国信云服科技有限公司 一种长文本中多实体情感分析的方法
CN109543039A (zh) * 2018-11-23 2019-03-29 中山大学 一种基于深度网络的自然语言情感分析方法
CN110502626A (zh) * 2019-08-27 2019-11-26 重庆大学 一种基于卷积神经网络的方面级情感分析方法
CN110866087A (zh) * 2019-08-12 2020-03-06 上海大学 一种基于主题模型的面向实体的文本情感分析方法
CN111339752A (zh) * 2020-02-18 2020-06-26 哈尔滨工业大学 一种多任务联合学习的面向评价对象的情感分析方法
CN111414476A (zh) * 2020-03-06 2020-07-14 哈尔滨工业大学 一种基于多任务学习的属性级情感分析方法
CN112199956A (zh) * 2020-11-02 2021-01-08 天津大学 一种基于深度表示学习的实体情感分析方法
CN112560443A (zh) * 2020-12-29 2021-03-26 平安银行股份有限公司 选择题生成模型训练方法、选择题生成方法、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325238A (zh) * 2018-10-31 2019-02-12 北京国信云服科技有限公司 一种长文本中多实体情感分析的方法
CN109543039A (zh) * 2018-11-23 2019-03-29 中山大学 一种基于深度网络的自然语言情感分析方法
CN110866087A (zh) * 2019-08-12 2020-03-06 上海大学 一种基于主题模型的面向实体的文本情感分析方法
CN110502626A (zh) * 2019-08-27 2019-11-26 重庆大学 一种基于卷积神经网络的方面级情感分析方法
CN111339752A (zh) * 2020-02-18 2020-06-26 哈尔滨工业大学 一种多任务联合学习的面向评价对象的情感分析方法
CN111414476A (zh) * 2020-03-06 2020-07-14 哈尔滨工业大学 一种基于多任务学习的属性级情感分析方法
CN112199956A (zh) * 2020-11-02 2021-01-08 天津大学 一种基于深度表示学习的实体情感分析方法
CN112560443A (zh) * 2020-12-29 2021-03-26 平安银行股份有限公司 选择题生成模型训练方法、选择题生成方法、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ARACI, ET AL.: "Finbert: Financial sentiment analysis with pre-trained language models", 《ARXIV》, 31 December 2019 (2019-12-31) *
MISHEV K，ET AL.: "Evaluation of sentiment analysis in finance: from lexicons to transformers", 《IEEE》, 31 December 2020 (2020-12-31) *
ZHANG, HAN, ET AL.: "Sentiment classification for chinese text based on interactive multitask learning", 《IEEE》, 31 December 2020 (2020-12-31) *
林子杰, 等: "一种基于多任务学习的多模态情感识别方法", 《北京大学学报(自然科学版)》, vol. 57, no. 01, 31 January 2021 (2021-01-31) *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591479A (zh) * 2021-07-23 2021-11-02 深圳供电局有限公司 电力计量的命名实体识别方法、装置和计算机设备
CN113591475A (zh) * 2021-08-03 2021-11-02 美的集团(上海)有限公司 无监督可解释分词的方法、装置和电子设备
CN113836286A (zh) * 2021-09-26 2021-12-24 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及系统
CN113836286B (zh) * 2021-09-26 2024-04-05 南开大学 一种基于问答匹配的社区孤寡老人情感分析方法及系统
CN114003694A (zh) * 2021-11-01 2022-02-01 北京明略软件系统有限公司 实体情感分析方法、系统、存储介质及电子设备
CN115514343A (zh) * 2022-05-13 2022-12-23 浙江腾腾电气有限公司 电网波形滤波系统及其滤波方法
CN115514343B (zh) * 2022-05-13 2023-08-11 浙江腾腾电气有限公司 电网波形滤波系统及其滤波方法
CN114818659A (zh) * 2022-06-29 2022-07-29 北京澜舟科技有限公司 一种文本情感来源分析方法、系统及存储介质
CN114818659B (zh) * 2022-06-29 2022-09-23 北京澜舟科技有限公司 一种文本情感来源分析方法、系统及存储介质
WO2024087297A1 (zh) * 2022-10-27 2024-05-02 苏州思萃人工智能研究所有限公司 文本情感分析方法、装置、电子设备及存储介质
CN117633239A (zh) * 2024-01-23 2024-03-01 中国科学技术大学 一种结合组合范畴语法的端到端方面情感识别方法
CN117633239B (zh) * 2024-01-23 2024-05-17 中国科学技术大学 一种结合组合范畴语法的端到端方面情感识别方法

Similar Documents

Publication Publication Date Title
CN113065331A (zh) 基于实体上下文判别的实体情感识别方法和系统
Dahouda et al. A deep-learned embedding technique for categorical features encoding
CN107330032B (zh) 一种基于递归神经网络的隐式篇章关系分析方法
CN108628823B (zh) 结合注意力机制和多任务协同训练的命名实体识别方法
CN110188358B (zh) 自然语言处理模型的训练方法及装置
Qiu et al. Learning word representation considering proximity and ambiguity
CN110737758A (zh) 用于生成模型的方法和装置
CN108460028B (zh) 将句子权重融入神经机器翻译的领域适应方法
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN114492363B (zh) 一种小样本微调方法、系统及相关装置
CN111881677A (zh) 基于深度学习模型的地址匹配算法
CN112306494A (zh) 一种基于卷积和循环神经网络的代码分类及聚类方法
CN110852089B (zh) 基于智能分词与深度学习的运维项目管理方法
CN116308754B (zh) 一种银行信贷风险预警系统及其方法
CN112836502B (zh) 一种金融领域事件隐式因果关系抽取方法
CN111241271B (zh) 文本情感分类方法、装置及电子设备
CN111666375B (zh) 文本相似度的匹配方法、电子设备和计算机可读介质
Miles et al. Recursive encoder network for the automatic analysis of STEP files
Wu et al. English grammar detection based on LSTM-CRF machine learning model
CN112487813A (zh) 命名实体识别方法及系统、电子设备及存储介质
CN116720498A (zh) 一种文本相似度检测模型的训练方法、装置及其相关介质
CN114970497B (zh) 基于预训练特征嵌入的文本分类方法及词义消歧方法
Ma et al. A new recurrent neural CRF for learning non-linear edge features
CN116029300A (zh) 一种强化中文实体语义特征的语言模型训练方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination