CN111666409B - 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法 - Google Patents
一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法 Download PDFInfo
- Publication number
- CN111666409B CN111666409B CN202010468051.2A CN202010468051A CN111666409B CN 111666409 B CN111666409 B CN 111666409B CN 202010468051 A CN202010468051 A CN 202010468051A CN 111666409 B CN111666409 B CN 111666409B
- Authority
- CN
- China
- Prior art keywords
- emotion
- samples
- level
- capsule network
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 82
- 239000002775 capsule Substances 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims description 40
- 239000013598 vector Substances 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 24
- 238000013145 classification model Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 241000282414 Homo sapiens Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
为了缓解单词拼写错误、顺序错误以及情绪混合问题对最终把握评论整体情感得分的影响，可以有针对性地按顺序分步处理这些噪声和情绪混合问题，本发明设计一种综合深度胶囊网络分类模型，模拟人类阅读逻辑步骤，通过分别在单词层面、短语层面和句子层面捕获特征信息，对评论进行建模的方案，具体来说是将单词层面和短语层面的建模与拼错错误、词序错误等噪声问题对应，将句子层面的建模与情绪混合问题对应，也就是将每个短句子当作义群，动态考量不同义群对最终整体情感态度的影响。实现上可通过BERT WordPiece向量和卷积作为单词级别和短语级别特征，再用胶囊网络获取句子层面最终的向量表示来进行分类。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法。
背景技术
随着网络购物与消费成为当今社会主流生活方式之一，在互联网上对各种产品和服务进行评论成为人们发布自己对产品和服务满意度的一种方便且有效的途径，用户评论数据量爆炸式增长。如何把握这些评论文本中表现出来了用户态度和意向，对于产品和服务的改进、营销和推广都起着至关重要的作用。而这些用户自发填写的评论文本中往往存在拼写错误(或缩写)、单词顺序错误等噪声及正负情感态度混合表达的情况，给评论的整体情感得分的把握带来了挑战。
目前，文本整体情感分类的方法主要集中在深度学习模型上，包括以下几类：一种是使用如RNN和CNN的传统神经网络，RNNs能够捕获序列的长距离依赖，其最终捕获的信息侧重于序列的开始和结束，CNNs对单词的共现进行了建模，将n个单词串接成短语，并通过池化操作减少了特征数，使分类更加容易；另一种方法是使用语言模型，其预训练阶段在大型语料库上进行，大多使用预训练+微调的方式来处理下游任务；第三种深度学习方法是图模型，为文本及其结构关系构建具有全局共享参数的图，提供了在非欧几里得空间上表示和处理文本的思路
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
现有技术中的上述方法没有关注到网络评论文本的非正式性问题，忽略了真实文本中的噪声问题，使得它们在含有这类问题的复杂评论文本的整体情感分类上表现较差。
由此可知，现有技术中的方法存在分类效果较差的技术问题。
发明内容
本发明提出一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法，用于解决或者至少部分解决现有技术中的方法存在的分类效果较差的技术问题
为了解决上述技术问题，本发明提供了一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法，包括：
S1：从开源库中获取多个情感分类数据集；
S2：根据情感分类数据集中噪声和情绪混合的情况，选取出目标数据集，并将每个目标数据集划分为训练集和验证集；
S3：根据单词层面、短语层面以及句子层面之间的逻辑关系，设置与单词层面对应的向量模块、与短语层面对应的卷积模块以及与句子层面对应的胶囊网络模块，其中，向量模块、卷积模块以及胶囊网络模块构成综合深度胶囊网络分类模型，向量模块、卷积模块以及胶囊网络模块分别用于捕获单词层面、短语层面和句子层面的特征信息；
S4：将用作训练集的数据集输入综合深度胶囊网络分类模型，进行模型训练，当模型训练若干步后，交叉熵损失值的变化收敛到阈值之后，停止训练，再将验证集数据输入进训练得到的模型中，进行预测与评估，得到最终分类模型；
S5：利用最终分类模型对待分类文本进行分类。
在一种实施方式中，S1的数据集包括但不限于：Stanford Sentiment Treebank、Yelp、Amazon Reviews、SemEval以及Cornell movie reviews数据集。
在一种实施方式中，S2具体包括：
S2.1：从获取的每个情感分类数据集随机抽取预设数量的样本；
S2.2：统计样本中存在噪声和情绪混合情况的样本数量，并计算存在噪声和情绪混合情况的样本的比例，其中，存在噪声和情绪混合情况的样本包括存在噪声的样本和存在情绪混合情况的样本，存在噪声的样本包括存在单词拼写错误、语法错误的样本，存在情绪混合情况的样本包括文本中出现“正向-负向-正向”或“负向-正向-负向”情感交替的样本；
S2.3：根据所述比例，选取出目标数据集。
在一种实施方式中，S2.2中语法错误包括词序错误以及完全口语化的不符合语法规范的省略。
在一种实施方式中，S2中的胶囊网络模块采用空洞卷积进行间隔卷积，并通过动态路由机制将句子层面的特征直接对应到最终分类过程，最高层胶囊各自对应一个分类类别。
在一种实施方式中，S3中所述交叉熵损失为真实标签分布与预测标签分布之间的差异，用H(p,q)表示，p表示label，也就是真实类别标签，q表示预测类别标签，n表示所有的n种可能性，p(xi)表示xi发生的概率，q(xi)表示预测为xi的概率：
在一种实施方式中，预测结果的评估以准确率作为指标，具体为分类正确的样本占被分类样本总个数的比例
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
针对现有技术中情感分类几乎尚未有针对性地关注拼写、词序、情感交替等非正式文本，尤其是评论文本中的常见错误的方法，本发明关注真实评论文本中这类噪声和情绪混合问题，通过设计综合深度胶囊网络分类模型弱化这些问题对把握评论整体情感得分类别的不良影响，分别在单词层面、短语层面和句子层面捕获特征信息，并利用训练集和验证集训练和评估模型，得到最终分类模型，提高了评论文本整体情感分类的准确率，增强了模型设计的可解释性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法的整体流程示意图；
图2为综合深度胶囊网络分类模型的结构示意图；
图3为获取模型输入用的WordPiece向量的流程图。
具体实施方式
本申请发明人通过大量的研究与实践发现，现有技术中的方法没有关注到网络评论文本的非正式性问题，忽略了这些真实文本中的拼写错误(或缩写)、单词顺序错误等噪声问题，以及不同情感倾向的子句交替出现的问题(情绪混合)，加上对评论文本情感态度的把握本来就比单纯地判断正负难度大，使得它们在含有这类问题的复杂评论文本的整体情感分类上表现较差。
基于以上考虑，本发明按照模拟人类阅读的逻辑步骤，设计了一种基于综合深度胶囊网络的复杂评论文本的整体情感分类方法，通过分别在单词层面、短语层面和句子层面捕获特征信息，对评论进行建模，弱化单词拼写错误、顺序错误以及不同情感倾向部分交替出现对最终把握评论整体情感得分的影响，提高情感分类准确率。该方法关注真实评论文本与常规情感分类任务对象的差异，有针对性地处理噪声和情绪混合问题，因而具有较高的实际应用价值。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的总体技术方案是：
一种模拟人类阅读的逻辑步骤，借助BERTWordPiece向量、卷积单元及胶囊网络，分步从单词层面、短语层面和句子层面捕获句子特征，进行复杂评论文本整体情感分类的方法，命名为综合深度胶囊网络，步骤包括：
S1：从开源库中获取多个情感分类数据集；
S2：根据情感分类数据集中噪声和情绪混合的情况，选取出目标数据集，并将每个目标数据集划分为训练集和验证集；
S3：根据单词层面、短语层面以及句子层面之间的逻辑关系，设置与单词层面对应的向量模块、与短语层面对应的卷积模块以及与句子层面对应的胶囊网络模块，其中，向量模块、卷积模块以及胶囊网络模块构成综合深度胶囊网络分类模型，向量模块、卷积模块以及胶囊网络模块分别用于捕获单词层面、短语层面和句子层面的特征信息；
S4：将用作训练集的数据集输入综合深度胶囊网络分类模型，进行模型训练，当模型训练若干步后，交叉熵损失值的变化收敛到阈值之后，停止训练，再将验证集数据输入进训练得到的模型中，进行预测与评估，得到最终分类模型；
S5：利用最终分类模型对待分类文本进行分类。
具体来说，S1和S2对应数据集的获取与筛选，S3和S4对应模型的设计与训练，S5为模型的应用。
S2中根据情感分类数据集中噪声和情绪混合的情况，选取出目标数据集，是选取出噪声和情绪混合的情况比例高的数据集，目标数据集也包含多个。
S3中构建的综合深度胶囊网络分类模型，可以模拟人类阅读逻辑分层次捕获单词层面、短语层面和句子层面的特征信息，具体来说是将单词层面和短语层面的建模与拼错错误、词序错误等噪声问题对应，将句子层面的建模与情绪混合问题对应，也就是将每个短句子当作义群，动态考量不同义群对最终整体情感态度的影响。实现上可通过BERTWordPiece向量和卷积作为单词级别和短语级别特征，再用胶囊网络获取句子层面最终的向量表示来进行分类。
请参见图1，为本发明的流程图，说明评论文本整体情感分类的一个实施例。整体分为四个步骤，第一步对情感分类数据集的获取和筛选，保留内容为人工评论的数据集。第二步对评论数据集进行抽样统计，得到各数据集中含有本发明所述噪声及混合情绪的比例，选择这类噪声和情绪混合情况最突出的几个数据集进行实验。第三步对模型进行设计和训练，保留模型参数。第四步训练得到的模型对验证集样本进行情感标签预测，并与真实标签进行比较，评估结果。
在一种实施方式中，S1的数据集包括但不限于：Stanford Sentiment Treebank、Yelp、Amazon Reviews、SemEval以及Cornell movie reviews数据集。
在一种实施方式中，S2具体包括：
S2.1：从获取的每个情感分类数据集随机抽取预设数量的样本；
S2.2：统计样本中存在噪声和情绪混合情况的样本数量，并计算存在噪声和情绪混合情况的样本的比例，其中，存在噪声和情绪混合情况的样本包括存在噪声的样本和存在情绪混合情况的样本，存在噪声的样本包括存在单词拼写错误、语法错误的样本，存在情绪混合情况的样本包括文本中出现“正向-负向-正向”或“负向-正向-负向”情感交替的样本；
S2.3：根据所述比例，选取出目标数据集。
具体来说，S2.1中抽取的预设数量的样本可以根据实际情况设置，例如50、80、100等。
下面以抽取的样本数量为50为例，给出一个统计存在噪声和情绪混合情况的样本比例的示例，具体见表1。
其中，Yelp、SST、TripAdvisor、BeerAdvocate为筛选出的4个目标数据集。
再将筛选出的每个目标数据集进行数据集划分，如果数据集来源方已区分训练集和验证集，则可以保持其原本拆分比例不变，否则可以按照3:1的比例来拆分为训练集和验证集。
在判断是否存在情绪混合时，以逗号切分子句，各子句出现“正向-负向-正向”或“负向-正向-负向”情感交替时，即判断该样本存在情绪混合现象。
在一种实施方式中，S2.2中语法错误包括词序错误以及完全口语化的不符合语法规范的省略。
在一种实施方式中，S2中的胶囊网络模块采用空洞卷积进行间隔卷积，并通过动态路由机制将句子层面的特征直接对应到最终分类过程，最高层胶囊各自对应一个分类类别。
具体来说，空洞卷积策略应用于初级胶囊层，可以扩大初级胶囊层初始化时的视野范围，通过空洞卷积进行间隔卷积，紧密连续的单词不会被按顺序同时提取，而是跨过了一定的间隔，通过这种方式能够弱化形如“价格、服务员、房间、地理位置都挺好”这样句子中的平行短语表示的顺序信息。
本发明的处理方法与现有方法区别在于本发明在胶囊网络构建初始特征层是用的是空洞卷积，而现有胶囊网络用的是常规卷积。
具体地，1)单词层面同时包括WordPiece(词根)层面及完整单词层面；2)短语层面表现为n-gram形式，非自然语言中实际存在的短语，而是一定大小窗口内来连续出现的单词皆算在短语层面内；3)句子层面与前两个层面为递进关系，其特征捕获在前两个层面基础上进行；4)单词层面建模以WordPiece向量实现，通过上下文双向建模当前当词表示；5)短语层面建模以卷积形式实现，模仿人类阅读时若干单词连续起来表示一个含义块，块内单词顺序错误被下意识忽略；6)句子层面特征以胶囊网络动态路由机制直接对应到最终分类过程，最高层胶囊各自对应一个分类类别，类似于人类理解整段文本情感态度时，会整体平衡各个能表现态度的情感强度及其所占比重，动态调整而非线性叠加。
请参见图2，图2为图1中模型设计与训练部分的模型结构图，输入部分对应单词层面，卷积层对应短语层面，胶囊网络模块对应句子层面。其中，空洞卷积策略应用于胶囊网络模块的初级胶囊层。
图3为获取模型输入用的WordPiece向量的流程图。第一步采用筛选出的目标据集在BERT预训练模型上进行微调，第二步保留微调后的模型参数。第三步用微调后得到的模型对任务所用数据集进行建模，取模型最后一层隐层状态作为单词向量表示，作为本发明所述模型的输入。
在一种实施方式中，S3中所述交叉熵损失为真实标签分布与预测标签分布之间的差异，用H(p,q)表示，p表示真实类别标签，q表示预测类别标签，n表示所有的n种可能性，p(xi)表示xi发生的概率，q(xi)表示预测为xi的概率：
在一种实施方式中，预测结果的评估以准确率作为指标，具体为分类正确的样本占被分类样本总个数的比例。
本发明的优点主要包括：
1.现有自然语言处理领域情感分类几乎尚未有针对性地关注拼写、词序、情感交替等非正式文本，尤其是评论文本中的常见错误，本发明关注真实评论文本中这类噪声和情绪混合问题，设计综合深度胶囊网络分类模型弱化这些问题对把握整体情感类别的不良影响，提高了评论文本整体情感分类的准确率，增强了模型设计的可解释性。
2.本发明分析和模拟人类阅读逻辑分层次处理上述噪声和情绪混合问题，具体为：1)单词层面模拟人类阅读时上下文影响对单词的理解，通过上下文建模当前单词表示；2)短语层面模拟人类在阅读时若干单词连续起来表示一个义群，由于外部知识库的影响，可以自动忽略义群内的单词顺序错误，得到正确的意思；3)句子层面模拟人类理解整段文本情感态度时，会整体平衡各个能表现态度的情感强度及其所占比重，动态调整而非线性叠加。
3.本发明充分发挥模型各模块的优势。BERT(综合深度胶囊网络分类模型)作为一个双向transfomer encoder在大语料库上训练得到的模型，在mask机制的训练策略的帮助下，综合考虑了当前被mask掉的单词所处的上下文信息，也就是说，当前词的向量表示完全是由其上下文决定的，像人一样通过上下文综合考虑当前词的意思，而非一个字一个字孤立地学习。这天然地与本发明要处理单词拼写错误、缩写及时态错误问题的可操作思路相一致；卷积单元同时取一定窗口大小内的单词，强调单词共现而弱化其顺序关系，能有效缓解词序错误对最终用于分类的句子表示的影响；人在进行较为复杂的分类任务时，将细类归到大类的过程不是一次就完成，而是会多次层层归类，不断调整，直到达到最满意的分类，胶囊网络模块正是通过动态路由机制模拟了这个过程，将层层类别表示为胶囊，胶囊参数为下层胶囊映射到当前层胶囊的概率向量，以调整和映射向量的方式实现动态调整和层层传递。
4.本发明针对评论文本实际情况，有针对性改进胶囊网络，在胶囊网络的初级胶囊层引入空洞卷积策略，扩大初级胶囊层的视野范围，稀疏化评论文本中常有的平行短语的顺序表示，使模型每次迭代时可以只考虑其中一项，避免了模型建模时对这样不重要的顺序信息编码过多。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法，其特征在于，包括：
S1：从开源库中获取多个情感分类数据集；
S2：根据情感分类数据集中噪声和情绪混合的情况，选取出目标数据集，并将每个目标数据集划分为训练集和验证集；
S3：根据单词层面、短语层面以及句子层面之间的逻辑关系，设置与单词层面对应的向量模块、与短语层面对应的卷积模块以及与句子层面对应的胶囊网络模块，其中，向量模块、卷积模块以及胶囊网络模块构成综合深度胶囊网络整体分类模型，向量模块、卷积模块以及胶囊网络模块分别用于捕获单词层面、短语层面和句子层面的特征信息；
S4：将用作训练集的数据集输入综合深度胶囊网络分类模型，进行模型训练，当模型训练若干步后，交叉熵损失值的变化收敛到阈值之后，停止训练，再将验证集数据输入进训练得到的模型中，进行预测与评估，得到最终分类模型；
S5：利用最终分类模型对待分类文本进行分类；
其中，S2具体包括：
S2.1：从获取的每个情感分类数据集随机抽取预设数量的样本；
S2.2：统计样本中存在噪声和情绪混合情况的样本数量，并计算存在噪声和情绪混合情况的样本的比例，其中，存在噪声和情绪混合情况的样本包括存在噪声的样本和存在情绪混合情况的样本，存在噪声的样本包括存在单词拼写错误、语法错误的样本，存在情绪混合情况的样本包括文本中出现“正向-负向-正向”或“负向-正向-负向”情感交替的样本；
S2.3：根据所述比例，选取出目标数据集。
2.如权利要求1所述的方法，其特征在于，S1的数据集包括但不限于：StanfordSentiment Treebank、Yelp、Amazon Reviews、SemEval以及Cornell movie reviews数据集。
3.如权利要求1所述的方法，其特征在于，S2.2中语法错误包括词序错误以及完全口语化的不符合语法规范的省略。
4.如权利要求1所述的方法，其特征在于，S2中的胶囊网络模块采用空洞卷积进行间隔卷积，并通过动态路由机制将句子层面的特征直接对应到最终分类过程，最高层胶囊各自对应一个分类类别。
5.如权利要求1所述的方法，其特征在于，S3中所述交叉熵损失为真实标签分布与预测标签分布之间的差异，用H(p,q)表示，p真实类别标签，q表示预测类别标签，n表示所有的n种可能性，p(xi)表示xi发生的概率，q(xi)表示预测为xi的概率：
6.如权利要求1所述的方法，其特征在于，预测结果的评估以准确率作为指标，具体为分类正确的样本占被分类样本总个数的比例。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010468051.2A CN111666409B (zh) | 2020-05-28 | 2020-05-28 | 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010468051.2A CN111666409B (zh) | 2020-05-28 | 2020-05-28 | 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111666409A CN111666409A (zh) | 2020-09-15 |
| CN111666409B true CN111666409B (zh) | 2022-02-08 |
Family
ID=72385129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010468051.2A Expired - Fee Related CN111666409B (zh) | 2020-05-28 | 2020-05-28 | 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111666409B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112115267B (zh) * | 2020-09-28 | 2023-07-07 | 平安科技（深圳）有限公司 | 文本分类模型的训练方法、装置、设备及存储介质 |
| CN112232058B (zh) * | 2020-10-15 | 2022-11-04 | 济南大学 | 基于深度学习三层语义抽取框架的假新闻识别方法及系统 |
| CN112541082A (zh) * | 2020-12-21 | 2021-03-23 | 重庆兆光科技股份有限公司 | 一种文本情感分类方法及系统 |
| CN113761186A (zh) * | 2021-01-19 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 文本情感分类方法和装置 |
| CN112800355A (zh) * | 2021-01-19 | 2021-05-14 | 北京明略软件系统有限公司 | 新闻内容标签自动抽取方法及系统 |
| CN112800225B (zh) * | 2021-01-28 | 2022-09-16 | 南京邮电大学 | 一种微博评论情绪分类方法和系统 |
| CN113723083B (zh) * | 2021-07-15 | 2023-05-26 | 东华理工大学 | 基于bert模型的带权消极监督文本情感分析方法 |
| CN115495572B (zh) * | 2022-08-01 | 2023-05-26 | 广州大学 | 一种基于复合情绪分析的抑郁情绪辅助管理方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5985829A (en) * | 1994-12-19 | 1999-11-16 | The United States Of America As Represented By The Department Of Health And Human Services | Screening assays for compounds that cause apoptosis and related compounds |
| CN106202181A (zh) * | 2016-06-27 | 2016-12-07 | 苏州大学 | 一种情感分类方法、装置及系统 |
| WO2017175282A1 (ja) * | 2016-04-04 | 2017-10-12 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
| CN108875705A (zh) * | 2018-07-12 | 2018-11-23 | 广州麦仑信息科技有限公司 | 一种基于Capsule的掌静脉特征提取方法 |
| CN108920467A (zh) * | 2018-08-01 | 2018-11-30 | 北京三快在线科技有限公司 | 多义词词义学习方法及装置、搜索结果显示方法 |
| CN108932484A (zh) * | 2018-06-20 | 2018-12-04 | 华南理工大学 | 一种基于Capsule Net的人脸表情识别方法 |
| CN109614480A (zh) * | 2018-11-26 | 2019-04-12 | 武汉大学 | 一种基于生成式对抗网络的自动摘要的生成方法及装置 |
| CN110162785A (zh) * | 2019-04-19 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 数据处理方法和代词消解神经网络训练方法 |
| CN111506700A (zh) * | 2020-03-24 | 2020-08-07 | 杭州电子科技大学 | 基于上下文感知嵌入的细粒度情感分析方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7672865B2 (en) * | 2005-10-21 | 2010-03-02 | Fair Isaac Corporation | Method and apparatus for retail data mining using pair-wise co-occurrence consistency |
| JP2008131580A (ja) * | 2006-11-24 | 2008-06-05 | Olympus Imaging Corp | 撮像装置及び画像処理方法 |
| US20080305171A1 (en) * | 2007-06-07 | 2008-12-11 | Kristin Anne Arnold | Pyrrolopyrazine, formulations, methods of manufacture, and methods of use there |
| CN103258532B (zh) * | 2012-11-28 | 2015-10-28 | 河海大学常州校区 | 一种基于模糊支持向量机的汉语语音情感识别方法 |
| US9119832B2 (en) * | 2014-02-05 | 2015-09-01 | The Regents Of The University Of California | Methods of treating mild brain injury |
| US11055843B2 (en) * | 2017-06-14 | 2021-07-06 | Electronics And Telecommunications Research Institute | Capsule endoscope for determining lesion area and receiving device |
| CN109300107B (zh) * | 2018-07-24 | 2021-01-22 | 深圳先进技术研究院 | 磁共振血管壁成像的斑块处理方法、装置和计算设备 |
-
2020
- 2020-05-28 CN CN202010468051.2A patent/CN111666409B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5985829A (en) * | 1994-12-19 | 1999-11-16 | The United States Of America As Represented By The Department Of Health And Human Services | Screening assays for compounds that cause apoptosis and related compounds |
| WO2017175282A1 (ja) * | 2016-04-04 | 2017-10-12 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
| CN106202181A (zh) * | 2016-06-27 | 2016-12-07 | 苏州大学 | 一种情感分类方法、装置及系统 |
| CN108932484A (zh) * | 2018-06-20 | 2018-12-04 | 华南理工大学 | 一种基于Capsule Net的人脸表情识别方法 |
| CN108875705A (zh) * | 2018-07-12 | 2018-11-23 | 广州麦仑信息科技有限公司 | 一种基于Capsule的掌静脉特征提取方法 |
| CN108920467A (zh) * | 2018-08-01 | 2018-11-30 | 北京三快在线科技有限公司 | 多义词词义学习方法及装置、搜索结果显示方法 |
| CN109614480A (zh) * | 2018-11-26 | 2019-04-12 | 武汉大学 | 一种基于生成式对抗网络的自动摘要的生成方法及装置 |
| CN110162785A (zh) * | 2019-04-19 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 数据处理方法和代词消解神经网络训练方法 |
| CN111506700A (zh) * | 2020-03-24 | 2020-08-07 | 杭州电子科技大学 | 基于上下文感知嵌入的细粒度情感分析方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Capsule Network With Identifying Transferable Knowledge for Cross-Domain Sentiment Classification";HONGXIA YIN;《IEEE》;20191031(第7期);page 153171- 153182 * |
| "MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS";Fisher Yu;《ICLR 2016》;20160430;page 1-13 * |
| HONGXIA YIN."Capsule Network With Identifying Transferable Knowledge for Cross-Domain Sentiment Classification".《IEEE》.2019,(第7期), * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111666409A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111666409B (zh) | 一种基于综合深度胶囊网络的复杂评论文本的整体情感智能分类方法 | |
| White et al. | Inference is everything: Recasting semantic resources into a unified evaluation framework | |
| WO2022007823A1 (zh) | 一种文本数据处理方法及装置 | |
| CN104965822B (zh) | 一种基于计算机信息处理技术的中文文本情感分析方法 | |
| CN108984530A (zh) | 一种网络敏感内容的检测方法及检测系统 | |
| CN109308353B (zh) | 词嵌入模型的训练方法及装置 | |
| CN113254637B (zh) | 一种融合语法的方面级文本情感分类方法及系统 | |
| CN106503192A (zh) | 基于人工智能的命名实体识别方法及装置 | |
| CN106503055A (zh) | 一种从结构化文本到图像描述的生成方法 | |
| CN110825867B (zh) | 相似文本推荐方法、装置、电子设备和存储介质 | |
| CN112699216A (zh) | 端到端的语言模型预训练方法、系统、设备及存储介质 | |
| CN109101490B (zh) | 一种基于融合特征表示的事实型隐式情感识别方法和系统 | |
| Bokka et al. | Deep Learning for Natural Language Processing: Solve your natural language processing problems with smart deep neural networks | |
| CN113361258A (zh) | 基于图卷积网络和选择注意力的方面级情感分析方法及系统 | |
| CN110851601A (zh) | 基于分层注意力机制的跨领域情感分类系统及方法 | |
| CN109271636B (zh) | 词嵌入模型的训练方法及装置 | |
| CN114528374A (zh) | 一种基于图神经网络的电影评论情感分类方法及装置 | |
| CN116049387A (zh) | 一种基于图卷积的短文本分类方法、装置、介质 | |
| CN117216234A (zh) | 基于人工智能的话术改写方法、装置、设备及存储介质 | |
| CN115510226A (zh) | 一种基于图神经网络的情感分类方法 | |
| CN114078468B (zh) | 语音的多语种识别方法、装置、终端和存储介质 | |
| CN116258147A (zh) | 一种基于异构图卷积的多模态评论情感分析方法及系统 | |
| CN114722832A (zh) | 一种摘要提取方法、装置、设备以及存储介质 | |
| CN116842168B (zh) | 跨领域问题处理方法、装置、电子设备及存储介质 | |
| CN116757195A (zh) | 一种基于提示学习的隐性情感识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220208 |