CN112560503A - 融合深度特征和时序模型的语义情感分析方法 - Google Patents

融合深度特征和时序模型的语义情感分析方法 Download PDF

Info

Publication number
CN112560503A
CN112560503A CN202110188618.5A CN202110188618A CN112560503A CN 112560503 A CN112560503 A CN 112560503A CN 202110188618 A CN202110188618 A CN 202110188618A CN 112560503 A CN112560503 A CN 112560503A
Authority
CN
China
Prior art keywords
text
semantic
emotion
semantic emotion
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110188618.5A
Other languages
English (en)
Other versions
CN112560503B (zh
Inventor
陶建华
许珂
刘斌
李永伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110188618.5A priority Critical patent/CN112560503B/zh
Publication of CN112560503A publication Critical patent/CN112560503A/zh
Application granted granted Critical
Publication of CN112560503B publication Critical patent/CN112560503B/zh
Priority to US17/464,421 priority patent/US11194972B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及融合深度特征和时序模型的语义情感分析方法，包括：文本预处理，将文本转化为格式统一的词向量矩阵；以词向量矩阵为输入，提取局部语义情感文本特征和提取上下文语义情感文本特征；利用注意力机制通过对所述局部语义情感文本特征和上下文语义情感文本特征加权，生成融合语义情感文本特征；将所述局部语义情感文本特征、所述上下文语义情感文本特征和融合语义情感文本特征进行连接，生成全局语义情感文本特征；以全局语义情感文本特征为输入，利用softmax分类器进行最终的文本情感语义分析识别。

Description

融合深度特征和时序模型的语义情感分析方法
技术领域
本申请涉及数据处理领域，尤其涉及融合深度特征和时序模型的语义情感分析方法。
背景技术
近年来，随着情感计算的流行，高速发展，情感分析技术在人工智能和人机交互领域中起着重要的作用。各种类型的技术用于检测情绪，例如：面部表情，生理信号，语音信号和文本信息。测试的情绪标准通常是“七大”基本情绪。如今，互联网已经进入到家家户户，各种应用平台随之兴起，人们也越来越习惯用文本来表达自己的情绪，意见。因此，从应用的角度来看，文本中情感的检测变得越来越重要。
但是由于文本语言具有多义性，可能相同的词在不同的情境下会有完全相反的含义，所以如何能够做好文本情感分析是一项长久的艰难挑战。目前的技术多是采用传统语言特征和机器学习方法，深度学习也多集中在单模型单特征，这些方法均有一个明显的不足之处就是特征的提取太单一，无法做到情感信息的有效完整提取，因此情感分析效果也会受到局限与影响。针对此，我们要设计一种能够提取完整语义情感特征的模型结构，这项工作也将是一项非常有意义的工作。
专利申请公布号CN 110826336 A涉及一种情感分类方法、系统、存储介质及设备，通过对上下文使用位置词向量和多 头自注意力进行编码，对目标词使用双向门控循环单元和多头自注意力进行编码，充分提取了长短距离句子的语义信息和位置信息，同时通过将上下文语义信息和目标词语义信息交互拼接进行低阶融合，利用胶囊网络在低阶融合基础上进行位置编码，再利用多头交互注意力机制将低阶融合后的信息进行高阶融合，将高阶融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示。相对于现有技术，本发明实现了上下文语义信息和目标词语义信息、位置信息的充分融合，提高情感分类准确性和效率。
专利申请公布号CN 111259142 A提供一种基于注意力编码和图卷积网络的特定目标情感分类方法，包括：通过预设双向循环神经网络模型，得到上下文和特定目标对应的隐藏状态向量，并对其分别进行多头自注意编码；再通过结合逐点卷积的图卷积神经网络，提取所述上下文对应的句法依存树中的句法向量，对句法向量进行多头自注意力编码；之后，使用多头交互注意力分别对句法信息编码和上下文语义信息编码、句法信息编码和特定目标语义信息编码进行交互融合，将融合后的结果与上下文语义信息编码拼接，获取最终的特征表示，基于特征表示得到特定目标的情感分类结果。相对于现有技术，本发明充分考虑了上下文和特定目标与句法信息之间的联系，提高了情感分类的准确性。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了融合深度特征和时序模型的语义情感分析方法，包括：
S1：文本预处理，将文本转化为格式统一的词向量矩阵；
S2：以词向量矩阵为输入，提取局部语义情感文本特征和提取上下文语义情感文本特征；
S3：利用注意力机制通过对所述局部语义情感文本特征和上下文语义情感文本特征加权，生成融合语义情感文本特征；
S4：将所述局部语义情感文本特征、所述上下文语义情感文本特征和融合语义情感文本特征进行连接，生成全局语义情感文本特征；
S5：以全局语义情感文本特征为输入，利用softmax分类器进行最终的文本情感语义分析识别。
优选地，所述将文本转化为格式统一的词向量矩阵的具体方法包括：
S11：切词处理，对于中文文本进行切词处理，英文文本不进行切词处理；
S12：对切词处理后的文本进行清洗处理；
S13：词嵌入：对清洗处理后的文本通过预训练好的词向量进行词嵌入，得到词向量矩阵。
优选地，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：
数据长度处理：设置每个数据输入序列的长度为N，则文本长度小于N的句子要利用零向量进行填充，而大于长度N的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为N×d。
优选地，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：
跨语言词嵌入：找出两种不同语言词汇向量之间的转化桥梁-转换矩阵来使得两种不同语言的词向量能够更加的接近。
优选地，采用卷积神经网络提取局部语义情感文本特征。
优选地，使用双向长短时记忆网络Bi-LSTM提取上下文语义情感文本特征。
优选地，据模型设置，双向长短时记忆网络Bi-LSTM和卷积神经网络的输出具有相同的宽度，但是长度不同；根据scaled dot-product注意力机制，可得出注意权重公式为：
Figure 65350DEST_PATH_IMAGE001
其中，
Figure 288521DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
分别为卷积神经网络和双向长短时记忆网络的输出，
Figure 510686DEST_PATH_IMAGE004
是对齐分数，用于衡量它们的相似性；
通过注意力权重
Figure DEST_PATH_IMAGE005
和
Figure 175016DEST_PATH_IMAGE006
计算具有关键情感信息的融合特征向量
Figure DEST_PATH_IMAGE007
，取
Figure 588549DEST_PATH_IMAGE008
的最后一维向量并将其记录为
Figure DEST_PATH_IMAGE009
作为最终输出，即融合语义情感文本特征向量。
优选地，所述生成全局语义情感文本特征的具体方法是将所述局部语义情感文本特征
Figure 236699DEST_PATH_IMAGE010
、所述上下文语义情感文本特征
Figure DEST_PATH_IMAGE011
和所述融合语义情感文本特征
Figure 246243DEST_PATH_IMAGE012
进行连接，即
Figure DEST_PATH_IMAGE013
。
优选地，将所述全局语义情感文本特征输入完全连接层后，输入softmax分类器进行最终的文本情感语义分析识别。
优选地，所述文本情感语义分析识别采用交叉熵损失函数来进行模型训练。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，
(1) 词嵌入层分别完成了两项任务。 在单语言情感识别任务中，单词嵌入层使用预训练的单词矢量方法并对其进行微调，以更好地理解实验数据的语义情感信息。 改进的词向量表示可以进一步提高文本情感识别的性能。 在跨语言情感识别的任务中，利用不同语言词汇之间的共现程度及其对应词嵌入的空间关系来进行跨语言关系转换，并构建跨语言词向量。
(2) 基于深度神经网络的框架，我们使用两种神经网络模型作为编码器来提取句子特征。 BiLSTM和CNN合作提取完整和足够的句子语义情感。
(3) 提出了一种基于注意力机制的新型双神经网络模型。 在使用BiLSTM和CNN对文本进行编码以获得文本的语义情感特征信息之后，使用注意力机制动态融合这两个特征以获得文本中的重要情感关系。 然后，我们将最后三种表示形式结合起来，利用全连接层，softmax分类器，交叉熵损失函数来进行最终的模型训练，该优化后的模型可以有效进行语义情感分析，提高情感识别的精确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的融合深度特征和时序模型的语义情感分析方法流程图。
图2是根据一示例性实施例示出的融合深度特征和时序模型的语义情感分析系统结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1，为本申请实施例提供的融合深度特征和时序模型的语义情感分析方法，包括：
S1：文本预处理，将文本转化为格式统一的词向量矩阵；
S2：以词向量矩阵为输入，提取局部语义情感文本特征和提取上下文语义情感文本特征；
S3：利用注意力机制通过对所述局部语义情感文本特征和上下文语义情感文本特征加权，生成融合语义情感文本特征；
S4：将所述局部语义情感文本特征、所述上下文语义情感文本特征和融合语义情感文本特征进行连接，生成全局语义情感文本特征；
S5：以全局语义情感文本特征为输入，利用softmax分类器进行最终的文本情感语义分析识别。
根据上述方案，进一步，所述将文本转化为格式统一的词向量矩阵的具体方法包括：
S11：切词处理，对于中文文本进行切词处理，英文文本不进行切词处理；
S12：对切词处理后的文本进行清洗处理；
S13：词嵌入：对清洗处理后的文本通过预训练好的词向量进行词嵌入，得到词向量矩阵。
根据上述方案，进一步，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：
数据长度处理：设置每个数据输入序列的长度为N，则文本长度小于N的句子要利用零向量进行填充，而大于长度N的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为N×d。
根据上述方案，进一步，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：
跨语言词嵌入：找出两种不同语言词汇向量之间的转化桥梁-转换矩阵来使得两种不同语言的词向量能够更加的接近。
根据上述方案，进一步，采用卷积神经网络提取局部语义情感文本特征。
根据上述方案，进一步，使用双向长短时记忆网络提取上下文语义情感文本特征。
根据上述方案，进一步，据模型设置，双向长短时记忆网络Bi-LSTM和卷积神经网络的输出具有相同的宽度，但是长度不同；根据scaled dot-product注意力机制，可得出注意权重公式为：
Figure 371938DEST_PATH_IMAGE014
其中，
Figure 175946DEST_PATH_IMAGE015
，
Figure 108130DEST_PATH_IMAGE016
分别为卷积神经网络和双向长短时记忆网络的输出，
Figure 452523DEST_PATH_IMAGE017
是对齐分数，用于衡量它们的相似性；
通过注意力权重
Figure 419342DEST_PATH_IMAGE018
和
Figure 643519DEST_PATH_IMAGE019
计算具有关键情感信息的融合特征向量
Figure 328579DEST_PATH_IMAGE020
，取
Figure 414346DEST_PATH_IMAGE021
的最后一维向量并将其记录为
Figure 235672DEST_PATH_IMAGE022
作为最终输出，即融合语义情感文本特征向量。
根据上述方案，进一步，所述生成全局语义情感文本特征的具体方法是将所述局部语义情感文本特征
Figure 397794DEST_PATH_IMAGE023
、所述上下文语义情感文本特征
Figure 101308DEST_PATH_IMAGE024
和所述融合语义情感文本特征
Figure 725187DEST_PATH_IMAGE025
进行连接，即
Figure 666598DEST_PATH_IMAGE026
。
根据上述方案，进一步，所述全局语义情感文本特征输入完全连接层后，输入softmax分类器进行最终的文本情感语义分析识别。
根据上述方案，进一步，所述文本情感语义分析识别采用交叉熵损失函数来进行模型训练。
具体实施方法：
步骤1：文本预处理，将文本转化为格式统一的词向量矩阵：
同语言情况下：输入的文本格式为预处理过后的文本S，可表示为，
Figure 780048DEST_PATH_IMAGE027
，N为统一文本数据长度，d为词向量的维度。对于英文文本，采用的预训练词向量为Glove，对于中文词向量采用的与训练词向量为百科中文词向量，训练模型为skip-gram模型。注意输入文本需要统一长度，我们需要对数据长度进行处理，设置每个数据输入序列的长度为N，则文本长度小于N的句子要利用零向量进行填充，而大于长度N的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为N×d。不同语言情况下：对于跨语言词嵌入，则需要找出两者不同词汇向量之间的转化桥梁-转换矩阵f，来使得两者词向量（源语言词嵌入矩阵S，目标语言词嵌入矩阵T）能够更加的接近，
Figure 174120DEST_PATH_IMAGE028
。
步骤2：利用卷积神经网络CNN和双向长短时记忆网络Bi-LSTM来分别提取局部语义情感特征和上下文语义情感特征：
将卷积神经网络CNN和双向长短时记忆网络Bi-LSTM并联起来，分别利用各自结构优势提取不同的语义情感特征。卷积神经网络更加关注局部信息，可利用这个特性，来提取局部语义情感特征，具体公式如下：
Figure 850958DEST_PATH_IMAGE029
其中b为偏置值，W为卷积核权重值，f为非线性激活函数，S[i:i+s-1]表示S文本从i到i+s-1的子矩阵。
每个词窗口生成的局部向量在完成卷积运算后将生成一个新向量，表示为：
Figure 646876DEST_PATH_IMAGE030
因为每个过滤器生成的特征图的尺寸将根据句子长度和过滤器区域大小而变化。因此，将池化pooling应用于每个特征图以生成固定长度的向量。 一种常见的策略是Maxpooling，它将向量x_i^s映射到固定长度的向量。向量的长度由用户设置的超参数确定（卷积层中隐藏单元的数量）。
Figure 196806DEST_PATH_IMAGE031
最后，该模型将具有两个输出向量。一种是将卷积运算后的结果向量用作特征融合机制的输入
Figure 812595DEST_PATH_IMAGE032
，另一种是将池化运算后的特征向量展平，作为卷积层子网的特征输出
Figure 43856DEST_PATH_IMAGE033
。
双向长短时记忆网络Bi-LSTM的记忆细胞结构可以有效关注到上下文的文本特征信息，利用此结构，来提取文本上下文语义情感特征，具体公式如下：
Figure 491018DEST_PATH_IMAGE034
其中
Figure 157055DEST_PATH_IMAGE035
是第i个通道双向长短时记忆网络的输出，
Figure 260140DEST_PATH_IMAGE036
和
Figure 295092DEST_PATH_IMAGE037
分别为LSTM的前向和后向的输出。
该结构利用了双层的Bi-LSTM，所以第一层的双向长短时记忆网络的输出就为第二层双向长短时记忆网络的输入，而且第二个双向长短时记忆网络的输出被分为两部分，一部分作为特征输出，另一部分为注意力机制的输入，具体公式如下：
Figure 800023DEST_PATH_IMAGE038
其中，
Figure 691755DEST_PATH_IMAGE039
每个隐藏层的输出，这一部分被用来作为注意力机制的输入，
Figure 796984DEST_PATH_IMAGE040
为最后一个隐藏层的最终输出，作为双向长短时记忆网络的特征提取输出。
步骤3：利用注意力机制通过对所述局部语义情感文本特征和上下文语义情感文本特征加权，生成融合语义情感文本特征：
为了进一步捕获文本中的关键情感信息，我们选择使用注意力机制来处理由两个子网提取的语义情感特征。它用于计算上下文语义情感特征和局部语义情感特征之间的相似性。因此，该模型可以进一步专注于关键的情感信息并提高情感识别的性能。根据模型设置，双向长短时记忆网络Bi-LSTM和卷积神经网络的输出具有相同的宽度，但是长度不同。根据scaled dot-product注意力机制，可得出注意权重公式为：
Figure 104468DEST_PATH_IMAGE041
其中，
Figure 198326DEST_PATH_IMAGE042
，
Figure 480534DEST_PATH_IMAGE043
分别为卷积神经网络和双向长短时记忆网络的输出，
Figure 214004DEST_PATH_IMAGE044
是对齐分数，用于衡量它们的相似性；
通过注意力权重
Figure 388762DEST_PATH_IMAGE045
和
Figure 917220DEST_PATH_IMAGE046
计算具有关键情感信息的融合特征向量
Figure 673125DEST_PATH_IMAGE047
，取
Figure 910202DEST_PATH_IMAGE047
的最后一维向量并将其记录为
Figure 172206DEST_PATH_IMAGE048
作为最终输出，即融合语义情感文本特征向量。
步骤4：所述生成全局语义情感文本特征的具体方法是将所述局部语义情感文本特征
Figure 240656DEST_PATH_IMAGE049
、所述上下文语义情感文本特征
Figure 802350DEST_PATH_IMAGE050
和所述融合语义情感文本特征
Figure 244833DEST_PATH_IMAGE051
进行连接，即
Figure 586559DEST_PATH_IMAGE052
。
步骤5：利用全连接层和softmax，交叉熵损失函数来进行最终的文本情感语义分析识别：
在全局特征c构建完成，我们接下来将其馈送到完全连接的层中，并利用softmax，交叉熵损失函数来进行最终的文本情感语义分析模型训练，其具体公式如下：
Figure 227625DEST_PATH_IMAGE053
其中
Figure 366744DEST_PATH_IMAGE054
是完全连接层，
Figure 265166DEST_PATH_IMAGE055
和
Figure 443207DEST_PATH_IMAGE056
分别为权重和偏置值。o是最终完全连接层输出。
最终的分类结果是通过softmax分类器获得的。 如上所述，当给定序列时，我们需要预测每个序列的情感y。用于计算这种情绪的预测值
Figure 112348DEST_PATH_IMAGE057
的公式如下：
Figure 983220DEST_PATH_IMAGE058
其中p是情感分类标签的预测概率，而
Figure 478924DEST_PATH_IMAGE059
和
Figure 21507DEST_PATH_IMAGE060
是softmax分类器的参数。
然后，我们使用交叉熵训练损失函数来平均所有获得的标记序列的最终损失,其公式如下：
Figure 653477DEST_PATH_IMAGE061
其中Y表示的情感注释序列（Y = Y1，Y2，...，
Figure 164093DEST_PATH_IMAGE062
）。 下标n表示第n个输入序列。
如图2，融合深度特征和时序模型的语义情感分析系统，包括，文本预处理模块1、多模型特征提取模块2、全局特征融合模块3和文本情感解码分类模块4；所述文本预处理模块1与所述多模型特征提取模块2连接，所述多模型特征提取模块2与所述全局特征融合模块3连接，所述全局特征融合模块3与所述文本情感解码分类模块4连接。
文本预处理模块1：对同语言与不同语言的数据，分别采用不同的词向量，将文本数据映射为词向量矩阵，对于同语言采用预训练的词向量，词嵌入层利用该词向量，将文本映射为对应的词向量矩阵，跨语言情况，则需要找出两种词向量的对应转换关系，利用该关系，来实现面对不同语言，自动生成相对应的词向量矩阵；
同语言情况下：输入的文本格式为预处理过后的文本S，可表示为，
Figure 835508DEST_PATH_IMAGE063
N为统一文本数据长度，d为词向量的维度。对于英文文本，采用的预训练词向量为Glove，对于中文词向量采用的与训练词向量为百科中文词向量，训练模型为skip-gram模型。注意输入文本需要统一长度，我们需要对数据长度进行处理，设置每个数据输入序列的长度为N，则文本长度小于N的句子要利用零向量进行填充，而大于长度N的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为N×d。不同语言情况下：对于跨语言词嵌入，则需要找出两者不同词汇向量之间的转化桥梁-转换矩阵f，来使得两者词向量（源语言词嵌入矩阵S，目标语言词嵌入矩阵T）能够更加的接近，
Figure 905751DEST_PATH_IMAGE064
其中
Figure 142959DEST_PATH_IMAGE065
和
Figure 496580DEST_PATH_IMAGE066
分别为目标语言与源语言的第i个条目的词嵌入。f是矩阵方程T f =S的最小二乘解。可以通过MoorePenrose伪逆来求解。公式如下：
Figure 980258DEST_PATH_IMAGE067
多模型特征提取模块2：使用卷积神经网络CNN和双向长短时记忆网络Bi-LSTM来分别提取局部语义情感特征和上下文语义情感特征，在通过注意力机制来对特征进行加权，生成更加关键重要的语义情感特征。
将卷积神经网络CNN和双向长短时记忆网络Bi-LSTM并联起来，分别利用各自结构优势提取不同的语义情感特征。卷积神经网络更加关注局部信息，可利用这个特性，来提取局部语义情感特征，具体公式如下：
Figure 179158DEST_PATH_IMAGE068
其中b为偏置值，W为卷积核权重值，f为非线性激活函数，S[i:i+s-1]表示S文本从i到i+s-1的子矩阵。
每个词窗口生成的局部向量在完成卷积运算后将生成一个新向量，表示为：
Figure 51299DEST_PATH_IMAGE069
因为每个过滤器生成的特征图的尺寸将根据句子长度和过滤器区域大小而变化。因此，将池化pooling应用于每个特征图以生成固定长度的向量。 一种常见的策略是Maxpooling，它将向量x_i^s映射到固定长度的向量。向量的长度由用户设置的超参数确定（卷积层中隐藏单元的数量）。
Figure 575821DEST_PATH_IMAGE070
最后，该模型将具有两个输出向量。一种是将卷积运算后的结果向量用作特征融合机制的输入
Figure 267834DEST_PATH_IMAGE071
，另一种是将池化运算后的特征向量展平，作为卷积层子网的特征输出
Figure 536004DEST_PATH_IMAGE072
。
双向长短时记忆网络Bi-LSTM的记忆细胞结构可以有效关注到上下文的文本特征信息，利用此结构，来提取文本上下文语义情感特征，具体公式如下：
Figure 262651DEST_PATH_IMAGE073
其中
Figure 692496DEST_PATH_IMAGE074
是第i个通道双向长短时记忆网络的输出，
Figure 386651DEST_PATH_IMAGE075
和
Figure 192933DEST_PATH_IMAGE076
分别为LSTM的前向和后向的输出。
该结构利用了双层的Bi-LSTM，所以第一层的双向长短时记忆网络的输出就为第二层双向长短时记忆网络的输入，而且第二个双向长短时记忆网络的输出被分为两部分，一部分作为特征输出，另一部分为注意力机制的输入，具体公式如下：
Figure 774087DEST_PATH_IMAGE077
Figure 843674DEST_PATH_IMAGE078
其中，
Figure 572596DEST_PATH_IMAGE079
每个隐藏层的输出，这一部分被用来作为注意力机制的输入，
Figure 120252DEST_PATH_IMAGE080
为最后一个隐藏层的最终输出，作为双向长短时记忆网络的特征提取输出。
为了进一步捕获文本中的关键情感信息，我们选择使用注意力机制来处理由两个子网提取的语义情感特征。它用于计算上下文语义情感特征和局部语义情感特征之间的相似性。因此，该模型可以进一步专注于关键的情感信息并提高情感识别的性能。根据模型设置，双向长短时记忆网络Bi-LSTM和卷积神经网络的输出具有相同的宽度，但是长度不同。根据scaled dot-product注意力机制，可得出注意权重公式为：
Figure 883809DEST_PATH_IMAGE081
其中，
Figure 343871DEST_PATH_IMAGE082
,
Figure 825668DEST_PATH_IMAGE083
分别为卷积神经网络和双向长短时记忆网络的输出，
Figure 708173DEST_PATH_IMAGE084
是对齐分数，用于衡量它们的相似性；
通过注意力权重
Figure 263920DEST_PATH_IMAGE085
和
Figure 206468DEST_PATH_IMAGE086
计算具有关键情感信息的融合特征向量
Figure 847665DEST_PATH_IMAGE087
，取
Figure 799440DEST_PATH_IMAGE087
的最后一维向量并将其记录为
Figure 209693DEST_PATH_IMAGE088
作为最终输出，即融合语义情感文本特征向量。
全局特征融合模块3：将模块二生成的三个语义情感特征进行拼接组合成全局语义情感特征，该特征克服了以往单模型特征不足不充分的缺点。将所述局部语义情感文本特征
Figure 588722DEST_PATH_IMAGE089
、所述上下文语义情感文本特征
Figure 966482DEST_PATH_IMAGE090
和所述融合语义情感文本特征
Figure 456369DEST_PATH_IMAGE091
进行连接，即
Figure 252287DEST_PATH_IMAGE092
。
文本情感解码分类模块4：在生成最终的全局特征后，接着利用全连接层和softmax分类器和交叉熵损失函数来进行模型训练，该模型可以用来进行文本情感分析与识别。
在全局特征c构建完成，我们接下来将其馈送到完全连接的层中，并利用softmax，交叉熵损失函数来进行最终的文本情感语义分析模型训练，其具体公式如下：
Figure 739900DEST_PATH_IMAGE093
其中
Figure 152427DEST_PATH_IMAGE094
是完全连接层，
Figure 383688DEST_PATH_IMAGE095
和
Figure 830850DEST_PATH_IMAGE096
分别为权重和偏置值。o是最终完全连接层输出。
最终的分类结果是通过softmax分类器获得的。 如上所述，当给定序列时，我们需要预测每个序列的情感y。用于计算这种情绪的预测值
Figure 231308DEST_PATH_IMAGE097
的公式如下：
Figure 396710DEST_PATH_IMAGE098
其中p是情感分类标签的预测概率，而
Figure 962821DEST_PATH_IMAGE099
和
Figure 202172DEST_PATH_IMAGE100
是softmax分类器的参数。
然后，我们使用交叉熵训练损失函数来平均所有获得的标记序列的最终损失,其公式如下：
Figure 93905DEST_PATH_IMAGE101
其中Y表示的情感注释序列（Y = Y1，Y2，...，
Figure 418707DEST_PATH_IMAGE102
）。 下标n表示第n个输入序列。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.融合深度特征和时序模型的语义情感分析方法，其特征在于，包括：
S1：文本预处理，将文本转化为格式统一的词向量矩阵；
S2：以词向量矩阵为输入，提取局部语义情感文本特征和提取上下文语义情感文本特征；
S3：利用注意力机制通过对所述局部语义情感文本特征和上下文语义情感文本特征加权，生成融合语义情感文本特征；
S4：将所述局部语义情感文本特征、所述上下文语义情感文本特征和融合语义情感文本特征进行连接，生成全局语义情感文本特征；
S5：以全局语义情感文本特征为输入，利用softmax分类器进行最终的文本情感语义分析识别。
2.根据权利要求1所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，所述将文本转化为格式统一的词向量矩阵的具体方法包括：
S11：切词处理，对于中文文本进行切词处理，英文文本不进行切词处理；
S12：对切词处理后的文本进行清洗处理；
S13：词嵌入：对清洗处理后的文本通过预训练好的词向量进行词嵌入，得到词向量矩阵。
3.根据权利要求2所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：
数据长度处理：设置每个数据输入序列的长度为N，则文本长度小于N的句子要利用零向量进行填充，而大于长度N的句子则要进行剪切，最终使得每个文本数据的词向量矩阵为N×d。
4.根据权利要求2所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，所述将文本转化为格式统一的词向量矩阵的具体方法还包括：
跨语言词嵌入：找出两种不同语言词汇向量之间的转化桥梁-转换矩阵来使得两种不同语言的词向量能够更加的接近。
5.根据权利要求1所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，采用卷积神经网络提取局部语义情感文本特征。
6.根据权利要求5所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，使用双向长短时记忆网络提取上下文语义情感文本特征。
7.根据权利要求6所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，据模型设置，双向长短时记忆网络和卷积神经网络的输出具有相同的宽度，但是长度不同；根据scaled dot-product注意力机制，可得出注意权重公式为：
Figure 266290DEST_PATH_IMAGE001
其中，
Figure 950212DEST_PATH_IMAGE002
，
Figure 508232DEST_PATH_IMAGE003
分别为卷积神经网络和双向长短时记忆网络的输出，
Figure 316395DEST_PATH_IMAGE004
是对齐分数，用于衡量它们的相似性；
通过注意力权重
Figure 276261DEST_PATH_IMAGE005
和
Figure 131084DEST_PATH_IMAGE006
计算具有关键情感信息的融合特征向量
Figure 441980DEST_PATH_IMAGE007
，取
Figure 40451DEST_PATH_IMAGE008
的最后一维向量并将其记录为
Figure 854824DEST_PATH_IMAGE009
作为最终输出，即融合语义情感文本特征向量。
8.根据权利要求1所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，所述生成全局语义情感文本特征的具体方法是将所述局部语义情感文本特征
Figure 146128DEST_PATH_IMAGE010
、所述上下文语义情感文本特征
Figure 678740DEST_PATH_IMAGE011
和所述融合语义情感文本特征
Figure 330170DEST_PATH_IMAGE012
进行连接，即
Figure 733470DEST_PATH_IMAGE013
。
9.根据权利要求1所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，将所述全局语义情感文本特征输入完全连接层后，输入softmax分类器进行最终的文本情感语义分析识别。
10.根据权利要求9所述的融合深度特征和时序模型的语义情感分析方法，其特征在于，所述文本情感语义分析识别采用交叉熵损失函数来进行模型训练。
CN202110188618.5A 2021-02-19 2021-02-19 融合深度特征和时序模型的语义情感分析方法 Active CN112560503B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110188618.5A CN112560503B (zh) 2021-02-19 2021-02-19 融合深度特征和时序模型的语义情感分析方法
US17/464,421 US11194972B1 (en) 2021-02-19 2021-09-01 Semantic sentiment analysis method fusing in-depth features and time sequence models

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110188618.5A CN112560503B (zh) 2021-02-19 2021-02-19 融合深度特征和时序模型的语义情感分析方法

Publications (2)

Publication Number Publication Date
CN112560503A true CN112560503A (zh) 2021-03-26
CN112560503B CN112560503B (zh) 2021-07-02

Family

ID=75035982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188618.5A Active CN112560503B (zh) 2021-02-19 2021-02-19 融合深度特征和时序模型的语义情感分析方法

Country Status (2)

Country Link
US (1) US11194972B1 (zh)
CN (1) CN112560503B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051897A (zh) * 2021-05-25 2021-06-29 中国电子科技集团公司第三十研究所 一种基于Performer结构的GPT2文本自动生成方法
CN113672731A (zh) * 2021-08-02 2021-11-19 北京中科闻歌科技股份有限公司 基于领域信息的情感分析方法、装置、设备及存储介质
CN113792142A (zh) * 2021-09-07 2021-12-14 中国船舶重工集团公司第七0九研究所 基于多语义因素与特征聚合的目标用户隐性关系分类方法
CN114757659A (zh) * 2022-05-19 2022-07-15 浙江大学 研发项目智能管理系统及其管理方法
CN115712726A (zh) * 2022-11-08 2023-02-24 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备
CN116108859A (zh) * 2023-03-17 2023-05-12 美云智数科技有限公司 情感倾向确定、样本构建、模型训练方法、装置及设备
CN117251785A (zh) * 2023-11-14 2023-12-19 天科大(天津)科技园有限责任公司 基于多任务学习的多模态情感分析和情绪识别方法及系统
CN117409780A (zh) * 2023-12-14 2024-01-16 浙江宇宙奇点科技有限公司 一种应用于ai数字人语音交互方法及系统
CN117808011A (zh) * 2024-03-01 2024-04-02 青岛网信信息科技有限公司 一种带有模拟情绪的聊天机器人的方法、介质及系统

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680159B (zh) * 2020-06-11 2023-08-29 华东交通大学 数据处理方法、装置及电子设备
US20230099732A1 (en) * 2021-09-30 2023-03-30 Microsoft Technology Licensing, Llc Computing system for domain expressive text to speech
CN114238577B (zh) * 2021-12-17 2024-04-26 中国计量大学上虞高等研究院有限公司 融合多头注意力机制的多任务学习情感分类方法
CN114499712B (zh) * 2021-12-22 2024-01-05 天翼云科技有限公司 一种手势识别方法、设备及存储介质
CN114490998B (zh) * 2021-12-28 2022-11-08 北京百度网讯科技有限公司 文本信息的抽取方法、装置、电子设备和存储介质
CN114297390B (zh) * 2021-12-30 2024-04-02 江南大学 一种长尾分布场景下的方面类别识别方法及系统
CN114386515B (zh) * 2022-01-13 2024-02-20 合肥工业大学 基于Transformer算法的单模态标签生成和多模态情感判别方法
CN114387997B (zh) * 2022-01-21 2024-03-29 合肥工业大学 一种基于深度学习的语音情感识别方法
CN114638195B (zh) * 2022-01-21 2022-11-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于多任务学习的立场检测方法
CN114580430B (zh) * 2022-02-24 2024-04-05 大连海洋大学 一种基于神经网络的鱼病描述情感词的提取方法
CN114596960B (zh) * 2022-03-01 2023-08-08 中山大学 基于神经网络和自然对话的阿尔兹海默症风险预估方法
CN114745155B (zh) * 2022-03-14 2023-04-07 河海大学 一种网络异常流量检测方法、装置及存储介质
CN114492420B (zh) * 2022-04-02 2022-07-29 北京中科闻歌科技股份有限公司 文本分类方法、装置、设备及计算机可读存储介质
CN115048935B (zh) * 2022-04-12 2024-05-14 北京理工大学 一种基于密度矩阵的语义匹配方法
CN114722950B (zh) * 2022-04-14 2023-11-07 武汉大学 一种多模态的多变量时间序列自动分类方法及装置
CN114493058B (zh) * 2022-04-18 2022-07-26 杭州远传新业科技股份有限公司 多通道信息特征融合的学业预警方法、系统、装置和介质
CN114936623B (zh) * 2022-04-20 2024-02-27 西北工业大学 一种融合多模态数据的方面级情感分析方法
CN114510946B (zh) * 2022-04-21 2022-08-23 山东师范大学 基于深度神经网络的中文命名实体识别方法及系统
CN115017900B (zh) * 2022-04-24 2024-05-10 北京理工大学 一种基于多模态多去偏见的对话情感识别方法
CN114756681B (zh) * 2022-04-28 2024-04-02 西安交通大学 一种基于多注意力融合的评教文本细粒度建议挖掘方法
CN114861632B (zh) * 2022-06-02 2024-04-16 武汉科技大学 一种基于ALBERT-BiLSTM模型和SVM-NB分类的文本情绪识别方法
CN115101032A (zh) * 2022-06-17 2022-09-23 北京有竹居网络技术有限公司 用于生成文本的配乐的方法、装置、电子设备和介质
CN115034227B (zh) * 2022-06-28 2024-04-19 西安交通大学 一种基于多模态互注意融合的渐进式多任务情感分析方法
CN115019237B (zh) * 2022-06-30 2023-12-08 中国电信股份有限公司 多模态情感分析方法、装置、电子设备及存储介质
CN115410061B (zh) * 2022-07-14 2024-02-09 东北林业大学 一种基于自然语言处理的图文情感分析系统
CN115240713B (zh) * 2022-07-14 2024-04-16 中国人民解放军国防科技大学 基于多模态特征和对比学习的语音情感识别方法及装置
CN114996461B (zh) * 2022-07-18 2023-01-06 北京大学 医学不良事件文本分类方法、装置、电子设备及介质
CN115495572B (zh) * 2022-08-01 2023-05-26 广州大学 一种基于复合情绪分析的抑郁情绪辅助管理方法
CN115097946B (zh) * 2022-08-15 2023-04-18 汉华智能科技(佛山)有限公司 基于物联网的远程祭拜方法、系统及存储介质
CN115408351B (zh) * 2022-08-17 2023-04-07 国家国防科技工业局军工项目审核中心 军工科研生产数据管理方法及系统
CN115374281B (zh) * 2022-08-30 2024-04-05 重庆理工大学 基于多粒度融合和图卷积网络的会话情感分析方法
CN115392252A (zh) * 2022-09-01 2022-11-25 广东工业大学 一种融合自注意力与层级残差记忆网络的实体识别方法
CN115414042B (zh) * 2022-09-08 2023-03-17 北京邮电大学 基于情感信息辅助的多模态焦虑检测方法及装置
CN115204183B (zh) * 2022-09-19 2022-12-27 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115905518B (zh) * 2022-10-17 2023-10-20 华南师范大学 基于知识图谱的情感分类方法、装置、设备以及存储介质
CN115374285B (zh) * 2022-10-26 2023-02-07 思创数码科技股份有限公司 政务资源目录主题分类方法及系统
CN115392260B (zh) * 2022-10-31 2023-04-07 暨南大学 一种面向特定目标的社交媒体推文情感分析方法
CN115758267A (zh) * 2022-11-09 2023-03-07 南通大学 一种基于sru和双重注意力的脑电信号情绪识别方法
CN115618884B (zh) * 2022-11-16 2023-03-10 华南师范大学 基于多任务学习的言论分析方法、装置以及设备
CN116108171B (zh) * 2022-12-19 2023-10-31 中国邮政速递物流股份有限公司广东省分公司 基于ai循环神经网络深度学习技术的司法材料处理系统
CN115982736B (zh) * 2022-12-21 2023-08-08 南阳理工学院 用于计算机网络信息的数据加密方法及系统
CN115659951B (zh) * 2022-12-26 2023-03-21 华南师范大学 基于标签嵌入的语句情感分析方法、装置以及设备
CN116307487B (zh) * 2023-02-01 2024-03-19 浙江曼克斯缝纫机股份有限公司 基于电网新能源节能利用的新能源车充电管理系统及方法
CN115827878B (zh) * 2023-02-13 2023-06-06 华南师范大学 语句情感分析方法、装置以及设备
CN115994668B (zh) * 2023-02-16 2023-06-20 浙江非线数联科技股份有限公司 智慧社区资源管理系统
CN115862875B (zh) * 2023-02-27 2024-02-09 四川大学华西医院 基于多类型特征融合的术后肺部并发症预测方法及系统
CN116089906B (zh) * 2023-03-13 2023-06-16 山东大学 基于动态上下文表示和模态融合的多模态分类方法及系统
CN115982473B (zh) * 2023-03-21 2023-06-23 环球数科集团有限公司 一种基于aigc的舆情分析编排系统
CN116070624A (zh) * 2023-04-06 2023-05-05 中南大学 一种基于环保案件要素的类案推送方法
CN116089619B (zh) * 2023-04-06 2023-06-06 华南师范大学 情感分类方法、装置、设备以及存储介质
CN116821333A (zh) * 2023-05-30 2023-09-29 重庆邮电大学 一种基于大数据的互联网视频剧本角色情感识别方法
CN116538127B (zh) * 2023-06-16 2023-09-29 湖州越球电机有限公司 轴流风机及其控制系统
CN116470885B (zh) * 2023-06-17 2023-09-29 浙江佳环电子有限公司 高压脉冲电路系统及其控制方法
CN116862877A (zh) * 2023-07-12 2023-10-10 新疆生产建设兵团医院 基于卷积神经网络的扫描图像分析系统及其方法
CN116628171B (zh) * 2023-07-24 2023-10-20 北京惠每云科技有限公司 一种基于预训练语言模型的病历检索方法和系统
CN116629237B (zh) * 2023-07-25 2023-10-10 江西财经大学 基于逐步集成多层注意力的事件表示学习方法及系统
CN116756624B (zh) * 2023-08-17 2023-12-12 中国民用航空飞行学院 一种面向民航监管事项检查记录处理的文本分类方法
CN116882502B (zh) * 2023-09-07 2023-11-28 山东山大鸥玛软件股份有限公司 融合结构化知识和文本语义的专业文本推断方法和系统
CN116957304B (zh) * 2023-09-20 2023-12-26 飞客工场科技(北京)有限公司 无人机群协同任务分配方法及系统
CN117252264B (zh) * 2023-11-20 2024-02-02 神思电子技术股份有限公司 一种结合语言模型与图神经网络的关系抽取方法
CN117271906B (zh) * 2023-11-22 2024-03-22 吉林省牛人网络科技股份有限公司 肉牛交易管理系统及其方法
CN117590944A (zh) * 2023-11-28 2024-02-23 上海源庐加佳信息科技有限公司 实体人对象和数字虚拟人对象的绑定系统
CN117457229B (zh) * 2023-12-26 2024-03-08 吉林大学 基于人工智能的麻醉深度监测系统及方法
CN117521652B (zh) * 2024-01-05 2024-04-12 一站发展(北京)云计算科技有限公司 基于自然语言模型的智能匹配系统及方法
CN117669574B (zh) * 2024-02-01 2024-05-17 浙江大学 基于多语义特征融合的人工智能领域实体识别方法及系统
CN117829911A (zh) * 2024-03-06 2024-04-05 湖南创研科技股份有限公司 一种ai驱动的广告创意优化方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569508A (zh) * 2019-09-10 2019-12-13 重庆邮电大学 融合词性和自注意力机制的情感倾向性分类方法及系统
CN110956044A (zh) * 2019-12-02 2020-04-03 北明软件有限公司 一种基于注意力机制的司法场景用文案输入识别分类方法
US20200250267A1 (en) * 2019-02-01 2020-08-06 Conduent Business Services, Llc Neural network architecture for subtle hate speech detection
CN111859978A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于深度学习的情感文本生成方法
CN112287106A (zh) * 2020-10-28 2021-01-29 中国计量大学 一种基于双通道混合神经网络的在线评论情感分类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311144B2 (en) * 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10984780B2 (en) * 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010561B2 (en) * 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11023685B2 (en) * 2019-05-15 2021-06-01 Adobe Inc. Affect-enriched vector representation of words for use in machine-learning models
CN110826336B (zh) 2019-09-18 2020-11-06 华南师范大学 一种情感分类方法、系统、存储介质及设备
CN111259142B (zh) 2020-01-14 2020-12-25 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200250267A1 (en) * 2019-02-01 2020-08-06 Conduent Business Services, Llc Neural network architecture for subtle hate speech detection
CN110569508A (zh) * 2019-09-10 2019-12-13 重庆邮电大学 融合词性和自注意力机制的情感倾向性分类方法及系统
CN110956044A (zh) * 2019-12-02 2020-04-03 北明软件有限公司 一种基于注意力机制的司法场景用文案输入识别分类方法
CN111859978A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于深度学习的情感文本生成方法
CN112287106A (zh) * 2020-10-28 2021-01-29 中国计量大学 一种基于双通道混合神经网络的在线评论情感分类方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051897A (zh) * 2021-05-25 2021-06-29 中国电子科技集团公司第三十研究所 一种基于Performer结构的GPT2文本自动生成方法
CN113672731B (zh) * 2021-08-02 2024-02-23 北京中科闻歌科技股份有限公司 基于领域信息的情感分析方法、装置、设备及存储介质
CN113672731A (zh) * 2021-08-02 2021-11-19 北京中科闻歌科技股份有限公司 基于领域信息的情感分析方法、装置、设备及存储介质
CN113792142A (zh) * 2021-09-07 2021-12-14 中国船舶重工集团公司第七0九研究所 基于多语义因素与特征聚合的目标用户隐性关系分类方法
CN113792142B (zh) * 2021-09-07 2024-02-27 中国船舶重工集团公司第七0九研究所 基于多语义因素与特征聚合的目标用户隐性关系分类方法
CN114757659A (zh) * 2022-05-19 2022-07-15 浙江大学 研发项目智能管理系统及其管理方法
CN115712726B (zh) * 2022-11-08 2023-09-12 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备
CN115712726A (zh) * 2022-11-08 2023-02-24 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备
CN116108859A (zh) * 2023-03-17 2023-05-12 美云智数科技有限公司 情感倾向确定、样本构建、模型训练方法、装置及设备
CN117251785A (zh) * 2023-11-14 2023-12-19 天科大(天津)科技园有限责任公司 基于多任务学习的多模态情感分析和情绪识别方法及系统
CN117409780A (zh) * 2023-12-14 2024-01-16 浙江宇宙奇点科技有限公司 一种应用于ai数字人语音交互方法及系统
CN117409780B (zh) * 2023-12-14 2024-02-27 浙江宇宙奇点科技有限公司 一种应用于ai数字人语音交互方法及系统
CN117808011A (zh) * 2024-03-01 2024-04-02 青岛网信信息科技有限公司 一种带有模拟情绪的聊天机器人的方法、介质及系统

Also Published As

Publication number Publication date
US11194972B1 (en) 2021-12-07
CN112560503B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN112560503B (zh) 融合深度特征和时序模型的语义情感分析方法
CN107357789B (zh) 融合多语编码信息的神经机器翻译方法
CN110288665B (zh) 基于卷积神经网络的图像描述方法、计算机可读存储介质、电子设备
CN111274398A (zh) 一种方面级用户产品评论情感分析方法及系统
CN113723166A (zh) 内容识别方法、装置、计算机设备和存储介质
CN114676234A (zh) 一种模型训练方法及相关设备
CN110796160A (zh) 一种文本分类方法、装置和存储介质
CN113239663B (zh) 一种基于知网的多义词中文实体关系识别方法
CN115221846A (zh) 一种数据处理方法及相关设备
CN110569869A (zh) 一种用于多模态情绪检测的特征级融合方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN113392265A (zh) 多媒体处理方法、装置及设备
CN113190656A (zh) 一种基于多标注框架与融合特征的中文命名实体抽取方法
CN111597341A (zh) 一种文档级关系抽取方法、装置、设备及存储介质
CN115796182A (zh) 一种基于实体级跨模态交互的多模态命名实体识别方法
CN114428850A (zh) 一种文本检索匹配方法和系统
CN115238691A (zh) 基于知识融合的嵌入的多意图识别与槽位填充模型
CN115238693A (zh) 一种基于多分词和多层双向长短期记忆的中文命名实体识别方法
CN114861082A (zh) 一种基于多维度语义表示的攻击性评论检测方法
CN114757184A (zh) 实现航空领域知识问答的方法和系统
CN113705315B (zh) 视频处理方法、装置、设备及存储介质
CN113961706A (zh) 一种基于神经网络自注意力机制的精确文本表示方法
CN117235261A (zh) 一种多模态方面级情感分析方法、装置、设备及存储介质
CN112749566A (zh) 一种面向英文写作辅助的语义匹配方法及装置
CN114417891B (zh) 基于粗糙语义的回复语句确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant