CN113792143A - 一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质 - Google Patents

一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113792143A
CN113792143A CN202111067682.4A CN202111067682A CN113792143A CN 113792143 A CN113792143 A CN 113792143A CN 202111067682 A CN202111067682 A CN 202111067682A CN 113792143 A CN113792143 A CN 113792143A
Authority
CN
China
Prior art keywords
text
language
capsule
emotion
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111067682.4A
Other languages
English (en)
Other versions
CN113792143B (zh
Inventor
杨雅婷
罗涵天
马博
董瑞
王磊
周喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Technical Institute of Physics and Chemistry of CAS
Original Assignee
Xinjiang Technical Institute of Physics and Chemistry of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Technical Institute of Physics and Chemistry of CAS filed Critical Xinjiang Technical Institute of Physics and Chemistry of CAS
Priority to CN202111067682.4A priority Critical patent/CN113792143B/zh
Publication of CN113792143A publication Critical patent/CN113792143A/zh
Application granted granted Critical
Publication of CN113792143B publication Critical patent/CN113792143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质，该方法包括：获取多种语言的源语言文本，得到不同文本的语料集合；分别将不同文本的语料集合输入产生词向量的Glove模型中，提取源语言的语义特征，得到多语言文本的向量表示；在待识别以及待训练的文本中，先通过语种识别工具识别语种，再使用对应语种的词向量进行初始化；将文本隐含的情感特征与原文本向量表示进行融合；将融合向量表示输入基于胶囊网络的情感分类模型中得到情感分类的结果。通过本发明所述的方法，提升了多语言的情感分类效果以及性能，能有效对多语言文本的情感进行分类，有效提升了多语言文本分类的准确率以及F1值。

Description

一种基于胶囊网络的多语言情感分类方法、装置、设备及存储 介质
技术领域
本发明为自然语言处理领域，涉及人工智能、深度学习和情感分析等技术领域。具体涉及一种基于胶囊网路的多语言情感分类方法、装置、设备及存储介质。
背景技术
情感分类是将一段文本对齐情感倾向进行分类，如正向情感或者负向情感。近些年来，随着互联网以及硬件技术的普及，自然语言处理以及深度学习发展，情感分类技术已成为自然语言处理(Natural Language Processing，NLP)领域研究的热点技术，研究情感分类技术对公民以及国家有着重要的意义，不仅可以帮助政府部门有效整治网络环境，使网民拥有一个干净的网络环境，还可以将此类技术应用于恶意检测，舆情分析等领域，应用于多语言情感分析可以帮助政府部门更好地监控网络环境。
发明内容
本发明目的在于，提供一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质，该方法为获取多种语言的源语言文本，得到不同文本的语料集合；分别将不同文本的语料集合输入产生词向量的Glove模型中，提取源语言的语义特征，得到多语言文本的向量表示；在待识别以及待训练的文本中，先通过语种识别工具识别语种，再使用对应语种的词向量进行初始化；将文本隐含的情感特征与原文本向量表示进行融合；将融合向量表示输入基于胶囊网络的情感分类模型中得到情感分类的结果。根据本发明的技术，提升了多语言的情感分类效果以及性能，能有效对多语言文本的情感进行分类，有效提升了多语言文本分类的准确率以及F1值。
本发明所述的一种基于胶囊网络的多语言情感分类方法，按下列步骤进行：
a、获取多种语言的源语言的文本，得到不同文本的语料集合；其中，所述源语言文本包括上下文、源情感词以及源情感词对应的若干属性；将上下文、源情感词以及对应的若干属性进行集合打包成文本语料集合；
b、将步骤a的文本的语料集合输入产生词向量的Glove模型中，提取源语言的语义特征，得到多语言文本的向量表示；其中，经词向量模型Glove充分训练后输出得到的词向量表示源语言的语义特征；
c、在待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种进行词向量初始化，不同语种训练不同的词向量，将识别的语种进行对应的词嵌入初始化；
d、将文本隐含的情感特征与原文本向量表示进行融合，所述情感词作为添加到文本词向量的特征，表示了源语言文本情感倾向；将文本隐含的情感特征与原文本词向量表示通过拼接的方式进行融合，得到更新后的融合向量；融合向量表示情感特征与原文本词向量的融合表示，将所述融合表述输入基于胶囊网络的多语言情感分类模型中进行训练；；
e、将融合向量表示输入到基于胶囊网络的情感分类模型中得到情感分类的结果，其中基于胶囊网络的多语言情感分类模型包括注意力胶囊特征抽取模块和情感分类模块，情感分类模块中归一化层将全连接层的输出进行分类，能将一个n维的向量进行压缩，使得每一个元素的范围都处于0到1之间，并且保证每个元素的和为1，最后输出分类结果。
该装置由特征抽取模型，语种识别模块，情感特征融合模块、注意力胶囊特征抽取模块、情感分类模块组成，其中：
特征提取模块(710)：用户获取文本的特征信息，将第一获取单元得到的源语言与上下文、源情感词以及源情感词对应的若干属性输入产生词向量的Glove模型中，从而提取源语言的语义特征，得到文本的向量表示；
语种识别模块(720)：用于识别待识别以及训练的语种，在待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种进行词向量初始化；
情感特征融合模块(730)：融合向量表示，将文本及所述情感特征信息进行拼接融合，最后输出融合向量表示；
注意力胶囊特征抽取模块(740)：用于抽取融合向量表示的深层次语义特征信息；其中，注意力胶囊特征抽取模块包括序列建模单元以及注意力胶囊特征提取单元；
情感分类模块(750)：用于对抽取的特征进行情感分类的模型；将注意力胶囊特征抽取模块输出的高层次语义胶囊经全连接层，最后输入归一化层输出情感分类结果。
所述注意力胶囊特征抽取模块(740)包括：序列建模单元以及注意力胶囊特征提取单元，将融合向量进行序列建模，所述序列建模单元为时间卷积网络层，将融合向量输入序列建模单元而后输出序列特征信息；将序列信息输入到注意力胶囊特征抽取模块(740)；所述注意力胶囊特征抽取模块(740)包括注意力单元以及胶囊单元；注意力单元是给予融合向量足够的关注度，使其关注到文本上下文信息以及隐含信息；注意力胶囊单元是将低层次的融合向量即为低层次胶囊映射为高层次语义胶囊。
所述情感分类模块(750)包括：将注意力胶囊特征抽取模块(740)输出的高层次语义胶囊经全连接层，最后输入归一化层输出情感分类结果，所述全连接层将输出的高层次语义胶囊映射至低维向量空间获取到高层次语义胶囊的特征信息；归一化层将全连接层的输出进行分类，能将一个n维的向量进行压缩，使得每一个元素的范围都处于0到1之间，并且保证每个元素的和为1。
一种存储器，存储多条指令，所述指令用于实现如权利要求1-5任意一项所述的方法。
一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器，所述存储器存储多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1所述的方法。
本发明所述的一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质，该方法：
获取多种语言的源语言的文本，得到不同文本的语料集合；
分别将不同文本的语料集合输入产生词向量的Glove模型中，提取源语言的语义特征，得到多语言文本的向量表示；
在待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种词向量进行初始化；
将文本隐含的情感特征与原文本向量表示进行融合；
将融合向量表示输入到基于胶囊网络的情感分类模型中得到情感分类的结果。
本发明所述的一种多语言情感分类装置，该装置包括：
语料获取模块，用于获取所述源语言；
特征提取模块，用于获取文本的特征信息；
语种识别模块，用于识别待识别以及训练的语种；
情感特征融合模块，融合向量表示；
注意力胶囊特征抽取模块，用于抽取融合向量表示的深层次语义特征信息；
情感分类模块，用于对抽取的特征进行情感分类的模型；
本发明提供的一种电子设备，该设备包括：
一种电子设备，其特征在于，包括至少一个处理器；
以及与所述至少一个处理器通信连接的存储器，所述存储器存储多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1所述的方法。
本发明所述的一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质，该方法：
获取所述源语言文本，得到所述文本语料集合；其中，所述源语言文本包括了上下文、源情感词以及源情感词对应的若干属性；将上下文、源情感词以及对应的若干属性进行集合打包成文本语料集合；对上下文、源情感词以及对应的若干属性进行集合打包成文本语料集合输入到产生词向量的模型中，其中词向量模型为Glove，经词向量模型充分训练后输出得到的词向量表示源语言的语义特征，所属语义特征为文本的向量表示。先通过语种识别工具识别语种类别；再使用对应的语种进行词向量初始化，不同语种训练不同的词向量(Word Embedding)，将识别的语种进行对应的词嵌入初始化。文本隐含的情感特征为文本情感词，所述情感词可作为添加到文本词向量的特征，此特征很好地表示了源语言文本情感倾向；将文本隐含的情感特征与原文本词向量表示通过拼接的方式进行融合，得到更新后的融合向量。融合向量表示情感特征与原文本词向量的融合表示，将融合表述输入基于胶囊网络的多语言情感分类模型中进行训练；其中基于胶囊网络的多语言情感分类模型包括特征抽取模型，多头注意力模型，胶囊网络模型和所述归一化分类模型，其中预设的损失函数，预设的初始化词向量参数，基于胶囊网络的多语言情感分类模型，更新损失函数，调整内部训练参数，最后输出分类结果，得到基于胶囊网络的多语言情感分类模型；
应当理解，本发明所描述的内容旨在标识本公开的示例性以及解释性，不用于限定本发明的范围。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明流程示意图；
图2为本发明得到不同的语料集合的流程示意图；
图3为本发明获取到多语言文本的向量表示流程示意图；
图4为本发明对文本进行识别并将识别文本转化成对应词向量的流程示意图；
图5为本发明获取文本情感词并获取情感特征向量的流程示意图；
图6为本发明获取情感特征与文本特征融合，并输入分类模型得到输出结果的流程示意图；
图7为本发明装置结构示意图；
图8为本发明得到情感分类结果的全流程结构示意图；
图9为本发明电子设备的框架图。
具体实施方式
为了使本领域技术人员更好地理解本发明的技术方案，以下结合附图及实施例做出说明：
实施例
本发明所述的一种基于胶囊网络的多语言情感分类方法，按下列步骤进行：
a、获取多种语言的源语言的文本，得到不同文本的语料集合；其中，所述源语言文本包括上下文、源情感词以及源情感词对应的若干属性；将上下文、源情感词以及对应的若干属性进行集合打包成文本语料集合；
b、将步骤a的文本的语料集合输入产生词向量的Glove模型中，提取源语言的语义特征，得到多语言文本的向量表示；其中，经词向量模型Glove充分训练后输出得到的词向量表示源语言的语义特征；
c、在待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种进行词向量初始化，不同语种训练不同的词向量，将识别的语种进行对应的词嵌入初始化；
d、将文本隐含的情感特征与原文本向量表示进行融合，所述情感词作为添加到文本词向量的特征，表示了源语言文本情感倾向；将文本隐含的情感特征与原文本词向量表示通过拼接的方式进行融合，得到更新后的融合向量；融合向量表示情感特征与原文本词向量的融合表示，将所述融合表述输入基于胶囊网络的多语言情感分类模型中进行训练；；
e、将融合向量表示输入到基于胶囊网络的情感分类模型中得到情感分类的结果，其中基于胶囊网络的多语言情感分类模型包括注意力胶囊特征抽取模块和情感分类模块，情感分类模块中归一化层将全连接层的输出进行分类，能将一个n维的向量进行压缩，使得每一个元素的范围都处于0到1之间，并且保证每个元素的和为1，最后输出分类结果。
该装置由特征抽取模型，语种识别模块，情感特征融合模块、注意力胶囊特征抽取模块、情感分类模块组成，其中：
特征提取模块710：用户获取文本的特征信息，将第一获取单元得到的源语言与上下文、源情感词以及源情感词对应的若干属性输入产生词向量的Glove模型中，从而提取源语言的语义特征，得到文本的向量表示；
语种识别模块720：用于识别待识别以及训练的语种，在待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种进行词向量初始化；
情感特征融合模块730：融合向量表示，将文本及所述情感特征信息进行拼接融合，最后输出融合向量表示；
注意力胶囊特征抽取模块740：用于抽取融合向量表示的深层次语义特征信息；其中，注意力胶囊特征抽取模块包括序列建模单元以及注意力胶囊特征提取单元；
情感分类模块750：用于对抽取的特征进行情感分类的模型；将注意力胶囊特征抽取模块输出的高层次语义胶囊经全连接层，最后输入归一化(Softmax)层输出情感分类结果。
所述注意力胶囊特征抽取模块740包括：序列建模单元以及注意力胶囊特征提取单元，将融合向量进行序列建模，所述序列建模单元为时间卷积网络层，将融合向量输入序列建模单元而后输出序列特征信息；将序列信息输入到注意力胶囊特征抽取模块740；所述注意力胶囊特征抽取模块740包括注意力单元以及胶囊单元；注意力单元是给予融合向量足够的关注度，使其关注到文本上下文信息以及隐含信息；注意力胶囊单元是将低层次的融合向量即为低层次胶囊映射为高层次语义胶囊。
所述情感分类模块750包括：将注意力胶囊特征抽取模块740输出的高层次语义胶囊经全连接层，最后输入归一化(Softmax)层输出情感分类结果，所述全连接层将输出的高层次语义胶囊映射至低维向量空间获取到高层次语义胶囊的特征信息；归一化(Softmax)层将全连接层的输出进行分类，能将一个n维的向量进行压缩，使得每一个元素的范围都处于0到1之间，并且保证每个元素的和为1；
一种存储器，存储多条指令，所述指令用于实现如权利要求1-5任意一项所述的方法；
一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器，所述存储器存储多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1所述的方法；
图1为本申请基于胶囊网络的多语言情感分类方法流程示意图；可以适应于多语言的情感分析情况，该方法可以由一种基于胶囊网络的多语言情感分析装置来执行，该装置可以由软件或硬件的方式实现，参见图1，本发明提供的方法包括：
S110，获取多种语言的源语言的文本，得到不同文本的语料集合；具体的，所述源语言文本包括了所述上下文、所述源情感词以及所述源情感词对应的若干属性；将所述上下文、所述源情感词以及对应的若干属性进行集合打包成文本语料集合；
示例的，获取这些多语言的源语言的文本可以从不同语言的网站上使用爬虫技术爬取相关的语言文字信息，也可以直接使用不同语言中，用于科研或者工业任务的标准数据集，然后对这些文本信息进行打包处理；
S120，分别将不同文本的语料集合输入产生词向量的Glove模型中，提取源语言的语义特征，得到多语言文本的向量表示；具体的，将所述不同的语料集合训练多个Glove模型，经词向量模型充分训练后输出得到的词向量表示源语言的语义特征，所属语义特征为文本的向量表示；
示例，假设模型的输入为一句话，如：这是一句话；模型的输出为：这、是、一、句、话。这几个词代表的向量，词向量表示词语的语义信息；
S130，在待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种词向量进行初始化；具体的，先通过语种识别工具识别语种类别(汉语、英语或民族语言)；再使用对应的语种进行词向量初始化，不同语种训练不同的词向量，将识别的语种进行对应的词嵌入初始化；
示例，语种识别工具的输入是不同语言的文本，输出的是对于不同语言文本的识别，如：输入的为英文训练文本，语种识别工具则将这段话识别为英文文本，然后找到相应语种词向量进行初始化；
S140，将文本隐含的情感特征与原文本向量表示进行融合；文本隐含的情感特征为文本情感词，所述情感词可作为添加到文本词向量的特征，此特征很好地表示了源语言文本情感倾向；将文本隐含的情感特征与原文本词向量表示通过拼接的方式进行融合，得到更新后的融合向量；
示例，文本的情感词表示了情感的倾向，将文本中的情感词提取出来(如：我今天玩的很开心，将“开心”提取出来)，然后使用词向量进行初始化，然后将词向量与文本的词嵌入进行拼接；
S150，将融合向量表示输入到基于胶囊网络的情感分类模型中得到情感分类的结果；其中基于胶囊网络的多语言情感分类模型包括：特征抽取模型，多头注意力模型，胶囊网络模型和所述归一化分类模型，其中预设的损失函数，预设的初始化词向量参数，基于胶囊网络的多语言情感分类模型，更新损失函数，调整内部训练参数，最后输出分类结果，得到基于胶囊网络的多语言情感分类模型；
示例，输入经过文本转化为融合向量的向量表示(如：将“我今天很难受”的文本转化为计算机可读的融合向量表示后，输入到基于胶囊网络的情感分类模型中，输出为0(0代表负向情感，1代表正向情感)；
图2为本发明获取多语言源语言文本的流程示意图；包括步骤：
S210，获取多语言源文本；其中，获取多语言源文本可从不同的途径来获取；示例，从网络中获取不同语言的标准数据集作为训练语料，或者是通过爬虫获取不同语言文本作为训练语料；
S220，得到不同的文本语料合集；然后将训练文本打包成不同的集合，得到不同的文本语料合集；
S230，得到上下文、源情感词以及源情感词对应的若干属性；将得到的文本语料合集进行打包，这些语料集合包含了上下文、源情感词以及源情感词对应的若干属性；
图3为发明获取到多语言文本的向量表示流程示意图；包括步骤：
S310对上下文、源情感词以及对应的若干属性进行集合，并打包成文本语料集合输入到产生词向量的Glove模型中；
示例，Glove模型为对数双线性回归模型(global log bilinear regressionmodel)，使用单词的共现的频率次数，来获得语料的全局特征，因此Glove模型训练出的词向量能获取到更多的语义信息；
S320，经所述Glove模型充分训练；
S330，输出得到的词向量表示源语言的语义特征；具体的，输出为每个词表示的向量表征，词向量表示了不同词的语义特征信息；
S340，得到所述语义特征为文本的向量表示；
图4为本发明对文本进行识别并将识别文本转化成对应词向量的流程示意图；
S410，先将文本通过语种识别工具识别语种；具体的，语种可包含多个语言，如：汉语、英语，其他的民族语言；将文本输入语种识别工具可识别不同的语言，从而可以找到相应语种的词向量表征；
S420，取出相应语种的词向量词表；
S430，得到不同语种的词向量词表；
S440，将识别的语种进行对应的词嵌入(Word Embedding层)初始化；
其中，训练文本中的每个词对应一个词向量，这个词向量为某个词在向量空间中的表示，可具体代表某个词的含义；
图5为本发明获取文本情感词并获取情感特征向量的流程示意图：
S510，获取文本词转化为情感特征向量；
S520，将文本隐含的情感特征与原文本词向量表示通过拼接的方式进行融合。
S530，得到更新后的融合向量。
S540，将识别的语种进行对应的词嵌入初始化；
图6为本发明获取将情感特征与文本特征融合，并送入分类模型得到输出结果的流程图；
S610，融合向量为情感特征与原文本词向量的融合表示；
S620，将融合表示输入基于胶囊网络的情感分类模型中；
具体的，基于胶囊网络的情感分类模型包括时间卷积层、多头注意力层、胶囊网络层、前馈神经网络层，归一化(Softmax)层；
进一步的，时间卷积层由空洞因果卷积以及残差链接组成，其中残差链接公式为y(x)＝ReLU(γ(x)+x)，使用Relu层作为激活函数；进一步的，对于多头注意力层，注意力机制公式表示为
Figure BDA0003259147950000081
多头注意力层的公式
MultiHead(Q，K，V)＝Concat(head1，...，headh)wO其中，
headi＝Attention(QWi Q，KWi K，VWi V)其中Q，K，V分别代表了查询向量(Query)，键向量(Key)，值向量(Value)，
Figure BDA0003259147950000082
为缩放因子，用来调节点积的大小；多头注意力(Multi-Attention)完善了注意力(Attention)机制的功能，赋予了模型关注到多个不同位置信息的能力；
进一步的，胶囊网络层使用的是动态路由机制，其经过动态路由的输出向量经过压缩函数代表了高层胶囊实体的概率信息公式表示为
Figure BDA0003259147950000083
其中sj表示输出高层胶囊实体向量，vj为输出含有概率信息的实体胶囊向量；
进一步的，归一化(Softmax)层对经前馈神经网络输出后的结果进行分类预测；
S630，得到输出的分类结果；
图7为本发明提供的一种基于胶囊网络的多语言情感分类装置的结构示意图，参见图9，本实施例提供的基于胶囊网络的多语言情感分类装置包括：语料获取模块710、特征提取模块720、语种识别模块730、情感特征融合模块740、注意力胶囊特征抽取模块750和情感分类模块760；
语料获取模块710，用于获取源语言；所述源语言文本包括了上下文、源情感词以及源情感词对应的若干属性；
特征提取模块720，用于获取文本的特征信息；将第一获取单元得到的源语言与上下文、源情感词以及源情感词对应的若干属性输入产生词向量的Glove模型中，从而提取所述源语言的语义特征，得到所述文本的向量表示；
语种识别模块730，用于识别待识别以及训练的语种；在所述待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种进行词向量初始化；
情感特征融合模块740，融合向量表示；将所述文本及情感特征信息进行拼接融合，最后输出融合向量表示；
注意力胶囊特征抽取模块750，用于抽取融合向量表示的深层次语义特征信息；注意力胶囊特征抽取模块包括序列建模单元以及注意力胶囊特征提取单元；
情感分类模块760，用于对抽取的特征进行情感分类的模型；将所述注意力胶囊特征抽取模块输出的高层次语义胶囊经全连接层，最后输入归一化(Softmax)层，输出情感分类结果；
图8为本发明从图3至图6所述，得到情感分类结果的全流程结构示意图，包括具体的实现过程；
本发明还提供了一种电子设备以及一种存储介质：
图9为本发明的一种基于胶囊网络的多语言情感分类方法的电子设备的框架图：
其中，所描述电子设备指电子数字计算机，包括如：服务器，个人计算机，大型计算机等，本文所示的构件及其互联关系和功能仅作为示例；
所述电子设备包括：一个或多个多核处理器、一个或多个Glove计算卡、存储器，电子设备应产生交互，包括：输入设备、输出设备。各种设备之间通过总线进行互联通信；
其中，所述存储器即为本发明所提供的非瞬时计算机可读存储介质，存储器存储可由至少一个多核处理器或至少一个GPU计算卡执行的指令，以使本发明所提供的实体识别与链接方法被执行；
本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的实体识别与链接方法；
其中，所述输入设备，提供并接受用户输入到电子设备中的控制信号，包括产生数字或字符信息的键盘以及用来控制设备产生其他关键信号的鼠标；
所述输出设备提供用户电子设备的反馈信息，包括显示器、键盘等。
本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。应当理解，本发明不局限于上述幅图中展示出的结构。

Claims (6)

1.一种基于胶囊网络的多语言情感分类方法，其特征在于，按下列步骤进行：
a、获取多种语言的源语言的文本，得到不同文本的语料集合；其中，所述源语言文本包括上下文、源情感词以及源情感词对应的若干属性；将上下文、源情感词以及对应的若干属性进行集合打包成文本语料集合；
b、将步骤a的文本的语料集合输入产生词向量的Glove模型中，提取源语言的语义特征，得到多语言文本的向量表示；其中，经词向量模型Glove充分训练后输出得到的词向量表示源语言的语义特征；
c、在待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种进行词向量初始化，不同语种训练不同的词向量，将识别的语种进行对应的词嵌入初始化；
d、将文本隐含的情感特征与原文本向量表示进行融合，所述情感词作为添加到文本词向量的特征，表示了源语言文本情感倾向；将文本隐含的情感特征与原文本词向量表示通过拼接的方式进行融合，得到更新后的融合向量；融合向量表示情感特征与原文本词向量的融合表示，将所述融合表述输入基于胶囊网络的多语言情感分类模型中进行训练；
e、将融合向量表示输入到基于胶囊网络的多语言情感分类模型中得到情感分类的结果，其中基于胶囊网络的多语言情感分类模型包括注意力胶囊特征抽取模块和情感分类模块，情感分类模块中归一化层将全连接层的输出进行分类，能将一个n维的向量进行压缩，使得每一个元素的范围都处于0到1之间，并且保证每个元素的和为1，最后输出分类结果。
2.一种基于胶囊网络的多语言情感分类装置，其特征在于，该装置由特征抽取模型，语种识别模块，情感特征融合模块、注意力胶囊特征抽取模块、情感分类模块组成，其中：
特征提取模块（710）：用户获取文本的特征信息，将第一获取单元得到的源语言与上下文、源情感词以及源情感词对应的若干属性输入产生词向量的Glove模型中，从而提取源语言的语义特征，得到文本的向量表示；
语种识别模块（720）：用于识别待识别以及训练的语种，在待识别以及训练的文本中，先通过语种识别工具识别语种，再使用对应的语种进行词向量初始化；
情感特征融合模块（730）：融合向量表示，将文本及所述情感特征信息进行拼接融合，最后输出融合向量表示；
注意力胶囊特征抽取模块（740）：用于抽取融合向量表示的深层次语义特征信息；其中，注意力胶囊特征抽取模块包括序列建模单元以及注意力胶囊特征提取单元；
情感分类模块（750）：用于对抽取的特征进行情感分类的模型；将注意力胶囊特征抽取模块输出的高层次语义胶囊经全连接层，最后输入归一化层输出情感分类结果。
3.根据权利要求2所述的基于胶囊网络的多语言情感分类装置，其特征在于，所述注意力胶囊特征抽取模块（740）包括：序列建模单元以及注意力胶囊特征提取单元，将融合向量进行序列建模，所述序列建模单元为时间卷积网络层，将融合向量输入序列建模单元而后输出序列特征信息；将序列信息输入到注意力胶囊特征抽取模块（740）；所述注意力胶囊特征抽取模块（740）包括注意力单元以及胶囊单元；注意力单元是给予融合向量足够的关注度，使其关注到文本上下文信息以及隐含信息；注意力胶囊单元是将低层次的融合向量即为低层次胶囊映射为高层次语义胶囊。
4.根据权利要求2所述的基于胶囊网络的多语言情感分类装置，其特征在于，情感分类模块（750）包括：将注意力胶囊特征抽取模块（740）输出的高层次语义胶囊经全连接层，最后输入归一化层输出情感分类结果，所述全连接层将输出的高层次语义胶囊映射至低维向量空间获取到高层次语义胶囊的特征信息；归一化层将全连接层的输出进行分类，能将一个n维的向量进行压缩，使得每一个元素的范围都处于0到1之间，并且保证每个元素的和为1。
5.一种存储器，其特征在于，存储多条指令，所述指令用于实现如权利要求1所述的方法。
6.一种电子设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器，所述存储器存储多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1所述的方法。
CN202111067682.4A 2021-09-13 2021-09-13 一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质 Active CN113792143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111067682.4A CN113792143B (zh) 2021-09-13 2021-09-13 一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111067682.4A CN113792143B (zh) 2021-09-13 2021-09-13 一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113792143A true CN113792143A (zh) 2021-12-14
CN113792143B CN113792143B (zh) 2023-12-12

Family

ID=78879972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111067682.4A Active CN113792143B (zh) 2021-09-13 2021-09-13 一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113792143B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114791951A (zh) * 2022-05-13 2022-07-26 青岛文达通科技股份有限公司 基于胶囊网络的情感分类方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN109086357A (zh) * 2018-07-18 2018-12-25 深圳大学 基于变分自动编码器的情感分类方法、装置、设备及介质
CN109325112A (zh) * 2018-06-27 2019-02-12 北京大学 一种基于emoji的跨语言情感分析方法和装置
CN110110323A (zh) * 2019-04-10 2019-08-09 北京明略软件系统有限公司 一种文本情感分类方法和装置、计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN109325112A (zh) * 2018-06-27 2019-02-12 北京大学 一种基于emoji的跨语言情感分析方法和装置
CN109086357A (zh) * 2018-07-18 2018-12-25 深圳大学 基于变分自动编码器的情感分类方法、装置、设备及介质
CN110110323A (zh) * 2019-04-10 2019-08-09 北京明略软件系统有限公司 一种文本情感分类方法和装置、计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114791951A (zh) * 2022-05-13 2022-07-26 青岛文达通科技股份有限公司 基于胶囊网络的情感分类方法及系统

Also Published As

Publication number Publication date
CN113792143B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN111026861B (zh) 文本摘要的生成方法、训练方法、装置、设备及介质
CN114511906A (zh) 基于跨模态动态卷积的视频多模态情感识别方法、装置及计算机设备
CN113011186B (zh) 命名实体识别方法、装置、设备及计算机可读存储介质
CN110705206A (zh) 一种文本信息的处理方法及相关装置
Rizvi et al. Optical character recognition system for Nastalique Urdu-like script languages using supervised learning
CN114676234A (zh) 一种模型训练方法及相关设备
CN113761377B (zh) 基于注意力机制多特征融合的虚假信息检测方法、装置、电子设备及存储介质
Zhang et al. A multi-feature fusion model for Chinese relation extraction with entity sense
CN115662435B (zh) 一种虚拟教师拟真化语音的生成方法及终端
Banik et al. Gru based named entity recognition system for bangla online newspapers
JP2022145623A (ja) ヒント情報を提示する方法及び装置並びにコンピュータプログラム
CN116432019A (zh) 一种数据处理方法及相关设备
CN110968725A (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN113255360A (zh) 基于层次化自注意力网络的文档评级方法和装置
CN112464927A (zh) 一种信息提取方法、装置及系统
CN117851871A (zh) 一种境外互联网社交阵地多模态数据识别方法
Al-Tameemi et al. Interpretable multimodal sentiment classification using deep multi-view attentive network of image and text data
CN114861082A (zh) 一种基于多维度语义表示的攻击性评论检测方法
CN112528989B (zh) 一种图像语义细粒度的描述生成方法
CN113792143B (zh) 一种基于胶囊网络的多语言情感分类方法、装置、设备及存储介质
CN116757195B (zh) 一种基于提示学习的隐性情感识别方法
CN110198291B (zh) 一种网页后门检测方法、装置、终端及存储介质
WO2023183096A1 (en) Self-supervised system for learning a user interface language
Cho et al. Design of image generation system for DCGAN-based kids' book text
El-Gayar Automatic generation of image caption based on semantic relation using deep visual attention prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant