CN110263808A - 一种基于lstm网络和注意力机制的图像情感分类方法 - Google Patents

一种基于lstm网络和注意力机制的图像情感分类方法 Download PDF

Info

Publication number
CN110263808A
CN110263808A CN201910395478.1A CN201910395478A CN110263808A CN 110263808 A CN110263808 A CN 110263808A CN 201910395478 A CN201910395478 A CN 201910395478A CN 110263808 A CN110263808 A CN 110263808A
Authority
CN
China
Prior art keywords
image
lstm
emotional semantic
output
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910395478.1A
Other languages
English (en)
Other versions
CN110263808B (zh
Inventor
吴壮辉
孟敏
武继刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910395478.1A priority Critical patent/CN110263808B/zh
Publication of CN110263808A publication Critical patent/CN110263808A/zh
Application granted granted Critical
Publication of CN110263808B publication Critical patent/CN110263808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于LSTM网络和注意力机制的图像情感分类方法，包括：原始图像初始化；设置基于LSTM网络和注意力机制的图像情感标签分类器；训练图像情感标签分类器；测试图像情感标签分类器；使用测试好的图像情感标签分类器对目标图像进行情感分类，得到情感分类结果。本发明方法引入图像情感属性，通过将注意力机制作用在图像的视觉特征图上，计算得到情感属性和视觉特征的加权特征并作为LSTM网络的初始状态，从而准确检测图像情感区域，同时尽可能关注到图像的多个情感区域；基于这些图像情感区域通过分类器对图像进行情感分类，使得图像情感预测更为准确，通过本发明方法得到的图像情感分类结果符合人类情感标准。

Description

一种基于LSTM网络和注意力机制的图像情感分类方法
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种基于LSTM网络和注意力机制的图像情感分类方法。
背景技术
目前，国内外已经有人开始对图像情感分类进行了研究和探索，目前对于图像情感分类的一般方式是选择要研究的图像、提取图像的视觉特征、建立情感空间、选择适当的分类器对要研究的图像先训练再分类。然而，在图像情感分析的视觉任务上，影响人类的注意力系统往往是图像的局部区域而不是图像整体区域，而现有的图像情感分类模型主要基于图像整体区域，导致了情感分类效果不理想。
发明内容
本发明为解决现有的图像情感分类方法精度低的问题，提供了一种基于LSTM网络和注意力机制的图像情感分类方法。
为实现以上发明目的，而采用的技术手段是：
一种基于LSTM网络和注意力机制的图像情感分类方法，包括以下步骤：
S1.原始图像初始化：从图像情感数据库中获取原始图像，将所述原始图像划分为训练图像、测试图像以及目标图像，并对所述原始图像进行初始化处理生成相应的图像目标区域；其中获取得到的每张原始图像均对应一个情感属性和一个情感标签；
S2.设置图像情感标签分类器：根据所述原始图像对应的图像目标区域和情感属性，设置基于LSTM网络和注意力机制的图像情感标签分类器；
S3.训练图像情感标签分类器：基于所述训练图像，对所述图像情感标签分类器进行有监督的训练；
S4.测试图像情感标签分类器：基于所述测试图像，测试训练完毕的图像情感标签分类器的性能；
S5.使用测试好的图像情感标签分类器对目标图像进行情感分类，得到情感分类结果。
上述方案中，首先初始化原始图像的情感区域，然后引入图像情感属性，通过注意力机制作用在图像的视觉特征图上，计算得到情感属性和视觉特征的加权特征，将加权特征作为LSTM网络的初始状态，从而准确检测图像情感区域，基于这些图像情感区域通过分类器对图像进行情感分类，实现图像情感的准确分类。
优选的，步骤S1中所述的对所述原始图像进行初始化处理生成相应的图像目标区域具体包括：
构建Faster R-CNN网络，使用Faster R-CNN网络对所述原始图像进行目标检测，检测得到T个边框，根据T个边框生成T个图像目标区域，其中T为正整数。
优选的，步骤S2中所述基于LSTM网络和注意力机制的图像情感标签分类器包括：依次连接的VGG-16网络、LSTM网络、softmax层和softmax分类器；
其中所述LSTM网络包括T个LSTM单元，所述softmax层有T个，每个LSTM单元的输出分别对应连接一个softmax层，对其中T个softmax层的输出进行求和后连接所述softmax分类器，其中T为正整数。
优选的，所述图像情感标签分类器中的VGG-16网络用于提取所述原始图像的视觉特征vo和所述图像目标区域的视觉特征其中T为正整数，表示图像目标区域的个数；视觉特征为所述VGG-16网络中第五个卷积层的输出，其中n＝196为视觉特征图的个数。
优选的，所述图像情感标签分类器中LSTM网络的初始状态v0，基于情感属性特征a和所述原始图像的视觉特征vo，并使用注意力机制进行计算：即通过转换矩阵U，将情感属性特征a作用在所述原始图像的视觉特征vo的196个特征图上，所得到特征图的权值向量v0作为LSTM网络的初始状态；其中所述情感属性特征a是将所述情感属性使用Glove词向量表示，每个情感属性都有唯一对应的Glove词向量。在本优选方案中，由于低级的视觉特征和高级的情感标签存在巨大的语义鸿沟，现有的情感分类器效果并不理想，因此引入高级的图像情感属性，通过注意力机制作用在特征图上，计算得到情感属性和视觉特征的加权特征，使用加权特征作为LSTM网络得初始状态，对情感区域的寻找具有指导作用。
优选的，所述图像情感标签分类器中LSTM网络的初始状态v0的计算公式为：
其中n＝196。
优选的，所述LSTM网络中的LSTM单元输出h(t)计算具体包括以下步骤：
所述LSTM单元包括记忆门、输入门和输出门；定义在第t个时序下，LSTM单元的输入为v(t)，LSTM单元的输出为h(t)；σ为sigmoid激活函数，f(x)＝1/[1+e^(-x)]；其中LSTM单元的输出h(t)即所述LSTM网络中softmax层的输出；
第t个LSTM单元的输入门计算公式为：
f(t)＝σ(Wfh(t-1)+Ufv(t)+bf)
其中f(t)为第t个LSTM单元输入门的输出；h(t-1)为第t-1个LSTM单元输入门的输出，v(t)为第t个LSTM单元的输入，Wf、Uf和bf为采用正态分布初始化得到的参数；
第t个LSTM单元的记忆门计算公式为；
i(t)＝σ(Wih(t-1)+Uiv(t)+bi)
a(t)＝tanh(Wah(t-1)+Uav(t)+ba)
C(t)＝C(t-1)e f(t)+i(t)e a(t)
其中C(t)为第t个LSTM单元记忆门的输出，C(t-1)为第t-1个LSTM单元记忆门的输出，f(t)为第t个LSTM单元输入门的输出，h(t-1)为第t-1个LSTM单元输入门的输出，v(t)为第t个LSTM单元的输入，Wi、Ui、bi、Wa、Ua和ba为采用正态分布初始化得到的参数；
第t个LSTM单元的输出门计算公式为：
o(t)＝σ(Woh(t-1)+Uov(t)+bo)
h(t)＝o(t)e tanh(C(t))
其中h(t)为第t个LSTM单元输出门的输出，C(t-1)为第t-1个LSTM单元记忆门的输出。
优选的，所述LSTM网络的第t个LSTM单元输入v(t)基于所述图像目标区域的视觉特征vt和第t-1个LSTM单元的输出h(t-1)，通过变换矩阵U将h(t-1)作用到vt的不同特征图上，所得到特征图的权值向量v(t)即为第t个LSTM单元输入。
优选的，所述LSTM网络的第t个LSTM单元输入v(t)的计算公式：
其中Wh,i、Wv,i为采用正态分布初始化得到的参数，n＝196。在本优选方案中，由于在人类的注意力系统中，往往关注图像的局部区域而不是整体图像，与现有基于整体图像的图像情感分析模型相比，LSTM网路的输入是局部区域的加权特征，通过多个局部区域的输入使模型不再关注图像整体而是局部区域。
优选的，所述其中T个softmax层的输出进行求和后连接所述softmax分类器，通过所述softmax分类器计算得到预测情感标签的概率；其中所述softmax分类器包括全连接层和softmax层，所述softmax层输出的神经元数量与情感标签的类别数一致，全连接层输出的神经元数量与情感属性特征a的维度一致；
其中计算得到预测情感标签的概率的公式为：
其中ps为预测情感标签的概率，h(t)为LSTM单元的输出，T为正整数。
与现有技术相比，本发明技术方案的有益效果是：
本发明方法在情感标签分类器中引用了情感属性，对情感标签进行预测时，使用注意力机制将情感属性作用在原始图像的视觉特征上，根据图像情感属性计算LSTM网络的初始状态，降低了低级视觉特征和高级情感标签带来的语义鸿沟影响；
同时，情感标签分类器使用了LSTM网络，基于图像局部区域进行情感标签分类，使本发明方法尽可能关注到图像的多个情感区域，符合人类注意力系统在视觉任务中关注局部特征而非整体特征的特点，使得图像情感预测更加准确，同时能够很好地适用于大规模的图像情感分析任务，解决了现有的图像情感分类方法精度低的问题，取得了更好的情感分类准确率。本发明方法得到的图像情感分类结果符合人类情感标准，判断过程无需人工参与，实现了机器全自动的图像情感分类。
附图说明
图1为本发明方法的流程图。
图2为实施例1中vso图像情感数据库的部分示意图。
图3为本发明方法的步骤图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
一种基于LSTM网络和注意力机制的图像情感分类方法，如图1、2所示，包括以下步骤：
S1.原始图像初始化：从图像情感数据库中获取原始图像，将所述原始图像划分为训练图像、测试图像以及目标图像，并对所述原始图像进行初始化处理生成相应的图像目标区域；其中获取得到的每张原始图像均对应一个情感属性和一个情感标签；数据集的每张图片均对应一个情感属性和一个情感标签。本实施例1使用vso图像情感数据库，其中的每张图片均对应一个情感属性和一个情感标签；如图3所示，图中左上方的happy baby，其情感属性为happy，情感标签为positive。
对所述原始图像进行初始化处理生成相应的图像目标区域具体包括：
构建Faster R-CNN网络，使用Faster R-CNN网络对所述原始图像进行目标检测，检测得到T个边框，根据T个边框生成T个图像目标区域，其中T为正整数。
S2.设置图像情感标签分类器：根据所述原始图像对应的图像目标区域和情感属性，设置基于LSTM网络和注意力机制的图像情感标签分类器；
其中，所述基于LSTM网络和注意力机制的图像情感标签分类器包括：依次连接的VGG-16网络、LSTM网络、softmax层和softmax分类器；
其中所述LSTM网络包括T个LSTM单元，所述softmax层有T个，每个LSTM单元的输出分别对应连接一个softmax层，对其中T个softmax层的输出进行求和后连接所述softmax分类器，其中T为正整数。
其中，所述图像情感标签分类器中的VGG-16网络用于提取所述原始图像的视觉特征vo和所述图像目标区域的视觉特征其中T为正整数，表示图像目标区域的个数；视觉特征为所述VGG-16网络中第五个卷积层的输出，其中n＝196为视觉特征图的个数。本实施例中的VGG-16网络为基于ImageNet数据集进行了预训练的模型。
其中，所述图像情感标签分类器中LSTM网络的初始状态v0，基于情感属性特征a和所述原始图像的视觉特征vo，并使用注意力机制进行计算：即通过转换矩阵U，将情感属性特征a作用在所述原始图像的视觉特征vo的196个特征图上，所得到特征图的权值向量v0作为LSTM网络的初始状态；其中所述情感属性特征a是将所述情感属性使用Glove词向量表示，每个情感属性都有唯一对应的Glove词向量。
其中，所述图像情感标签分类器中LSTM网络的初始状态v0的计算公式为：
其中n＝196。
其中，所述LSTM网络中的LSTM单元输出h(t)计算具体包括以下步骤：
所述LSTM单元包括记忆门、输入门和输出门；定义在第t个时序下，LSTM单元的输入为v(t)，LSTM单元的输出为h(t)；σ为sigmoid激活函数，f(x)＝1/[1+e^(-x)]；其中LSTM单元的输出h(t)即所述LSTM网络中softmax层的输出；
第t个LSTM单元的输入门计算公式为：
f(t)＝σ(Wfh(t-1)+Ufv(t)+bf)
其中f(t)为第t个LSTM单元输入门的输出；h(t-1)为第t-1个LSTM单元输入门的输出，v(t)为第t个LSTM单元的输入，Wf、Uf和bf为采用正态分布初始化得到的参数；
第t个LSTM单元的记忆门计算公式为；
i(t)＝σ(Wih(t-1)+Uiv(t)+bi)
a(t)＝tanh(Wah(t-1)+Uav(t)+ba)
C(t)＝C(t-1)e f(t)+i(t)e a(t)
其中C(t)为第t个LSTM单元记忆门的输出，C(t-1)为第t-1个LSTM单元记忆门的输出，f(t)为第t个LSTM单元输入门的输出，h(t-1)为第t-1个LSTM单元输入门的输出，v(t)为第t个LSTM单元的输入，Wi、Ui、bi、Wa、Ua和ba为采用正态分布初始化得到的参数；
第t个LSTM单元的输出门计算公式为：
o(t)＝σ(Woh(t-1)+Uov(t)+bo)
h(t)＝o(t)e tanh(C(t))
其中h(t)为第t个LSTM单元输出门的输出，C(t-1)为第t-1个LSTM单元记忆门的输出。
其中，所述LSTM网络的第t个LSTM单元输入v(t)基于所述图像目标区域的视觉特征vt和第t-1个LSTM单元的输出h(t-1)，通过变换矩阵U将h(t-1)作用到vt的不同特征图上，所得到特征图的权值向量v(t)即为第t个LSTM单元输入。
其中，所述LSTM网络的第t个LSTM单元输入v(t)的计算公式：
其中Wh,i、Wv,i为采用正态分布初始化得到的参数，n＝196。
其中，所述其中T个softmax层的输出进行求和后连接所述softmax分类器，通过所述softmax分类器计算得到预测情感标签的概率；其中所述softmax分类器包括全连接层和softmax层，所述softmax层输出的神经元数量与情感标签的类别数一致，全连接层输出的神经元数量与情感属性特征a的维度一致；
其中计算得到预测情感标签的概率的公式为：
其中ps为预测情感标签的概率，h(t)为LSTM单元的输出，T为正整数。
S3.训练图像情感标签分类器：基于所述训练图像，对所述图像情感标签分类器进行有监督的训练；
在本实施例1中，通过以下步骤对对所述图像情感标签分类器进行有监督的训练：
S31.网络初始化：sotfmax分类器中的全连接层和softmax层使用正态分布初始化；
S32.目标损失函数设置：最终的情感标签预测损失函数设置如下：
其中为所述softmax分类器中softmax层的输出；
S33.设置训练参数：学习率设置为0.01；每次训练迭代的图像设置为32；
S34.加载训练数据：从图像情感数据库中随机选取80％作为训练图像集，10％作为验证图像集，10％作为测试图像集；输入训练图像集和测试图像集；
S35.采用随机梯度下降算法对图像情感标签分类器进行迭代训练；
S36.在验证图像集上选取情感标签预测损失最小的网络模型作为图像情感标签分类器的最优模型。
S4.测试图像情感标签分类器：基于所述测试图像，测试训练完毕的图像情感标签分类器的性能；
S5.使用测试好的图像情感标签分类器对目标图像进行情感分类，得到情感分类结果。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于LSTM网络和注意力机制的图像情感分类方法，其特征在于，包括以下步骤：
S1.原始图像初始化：从图像情感数据库中获取原始图像，将所述原始图像划分为训练图像、测试图像以及目标图像，并对所述原始图像进行初始化处理生成相应的图像目标区域；其中获取得到的每张原始图像均对应一个情感属性和一个情感标签；
S2.设置图像情感标签分类器：根据所述原始图像对应的图像目标区域和情感属性，设置基于LSTM网络和注意力机制的图像情感标签分类器；
S3.训练图像情感标签分类器：基于所述训练图像，对所述图像情感标签分类器进行有监督的训练；
S4.测试图像情感标签分类器：基于所述测试图像，测试训练完毕的图像情感标签分类器的性能；
S5.使用测试好的图像情感标签分类器对目标图像进行情感分类，得到情感分类结果。
2.根据权利要求1所述的图像情感分类方法，其特征在于，步骤S1中所述的对所述原始图像进行初始化处理生成相应的图像目标区域具体包括：
构建Faster R-CNN网络，使用Faster R-CNN网络对所述原始图像进行目标检测，检测得到T个边框，根据T个边框生成T个图像目标区域，其中T为正整数。
3.根据权利要求2所述的图像情感分类方法，其特征在于，步骤S2中所述基于LSTM网络和注意力机制的图像情感标签分类器包括：依次连接的VGG-16网络、LSTM网络、softmax层和softmax分类器；
其中所述LSTM网络包括T个LSTM单元，所述softmax层有T个，每个LSTM单元的输出分别对应连接一个softmax层，对其中T个softmax层的输出进行求和后连接所述softmax分类器，其中T为正整数。
4.根据权利要求3所述的图像情感分类方法，其特征在于，所述图像情感标签分类器中的VGG-16网络用于提取所述原始图像的视觉特征vo和所述图像目标区域的视觉特征其中T为正整数，表示图像目标区域的个数；视觉特征为所述VGG-16网络中第五个卷积层的输出，其中n＝196为视觉特征图的个数。
5.根据权利要求4所述的图像情感分类方法，其特征在于，所述图像情感标签分类器中LSTM网络的初始状态v0，基于情感属性特征a和所述原始图像的视觉特征vo，并使用注意力机制进行计算：即通过转换矩阵U，将情感属性特征a作用在所述原始图像的视觉特征vo的196个特征图上，所得到特征图的权值向量v0作为LSTM网络的初始状态；其中所述情感属性特征a是将所述情感属性使用Glove词向量表示，每个情感属性都有唯一对应的Glove词向量。
6.根据权利要求5所述的图像情感分类方法，其特征在于，所述图像情感标签分类器中LSTM网络的初始状态v0的计算公式为：
其中n＝196。
7.根据权利要求6所述的图像情感分类方法，其特征在于，所述LSTM网络中的LSTM单元输出h(t)计算具体包括以下步骤：
所述LSTM单元包括记忆门、输入门和输出门；定义在第t个时序下，LSTM单元的输入为v(t)，LSTM单元的输出为h(t)；σ为sigmoid激活函数，f(x)＝1/[1+e^(-x)]；其中LSTM单元的输出h(t)即所述LSTM网络中softmax层的输出；
第t个LSTM单元的输入门计算公式为：
f(t)＝σ(Wfh(t-1)+Ufv(t)+bf)
其中f(t)为第t个LSTM单元输入门的输出；h(t-1)为第t-1个LSTM单元输入门的输出，v(t)为第t个LSTM单元的输入，Wf、Uf和bf为采用正态分布初始化得到的参数；
第t个LSTM单元的记忆门计算公式为；
i(t)＝σ(Wih(t-1)+Uiv(t)+bi)
a(t)＝tanh(Wah(t-1)+Uav(t)+ba)
C(t)＝C(t-1)e f(t)+i(t)e a(t)
其中C(t)为第t个LSTM单元记忆门的输出，C(t-1)为第t-1个LSTM单元记忆门的输出，f(t)为第t个LSTM单元输入门的输出，h(t-1)为第t-1个LSTM单元输入门的输出，v(t)为第t个LSTM单元的输入，Wi、Ui、bi、Wa、Ua和ba为采用正态分布初始化得到的参数；
第t个LSTM单元的输出门计算公式为：
o(t)＝σ(Woh(t-1)+Uov(t)+bo)
h(t)＝o(t)e tanh(C(t))
其中h(t)为第t个LSTM单元输出门的输出，C(t-1)为第t-1个LSTM单元记忆门的输出。
8.根据权利要求7所述的图像情感分类方法，其特征在于，所述LSTM网络的第t个LSTM单元输入v(t)基于所述图像目标区域的视觉特征vt和第t-1个LSTM单元的输出h(t-1)，通过变换矩阵U将h(t-1)作用到vt的不同特征图上，所得到特征图的权值向量v(t)即为第t个LSTM单元输入。
9.根据权利要求8所述的图像情感分类方法，其特征在于，所述LSTM网络的第t个LSTM单元输入v(t)的计算公式：
其中Wh,i、Wv,i为采用正态分布初始化得到的参数，n＝196。
10.根据权利要求9所述的图像情感分类方法，其特征在于，所述其中T个softmax层的输出进行求和后连接所述softmax分类器，通过所述softmax分类器计算得到预测情感标签的概率；其中所述softmax分类器包括全连接层和softmax层，所述softmax层输出的神经元数量与情感标签的类别数一致，全连接层输出的神经元数量与情感属性特征a的维度一致；
其中计算得到预测情感标签的概率的公式为：
其中ps为预测情感标签的概率，h(t)为LSTM单元的输出，T为正整数。
CN201910395478.1A 2019-05-13 2019-05-13 一种基于lstm网络和注意力机制的图像情感分类方法 Active CN110263808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910395478.1A CN110263808B (zh) 2019-05-13 2019-05-13 一种基于lstm网络和注意力机制的图像情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910395478.1A CN110263808B (zh) 2019-05-13 2019-05-13 一种基于lstm网络和注意力机制的图像情感分类方法

Publications (2)

Publication Number Publication Date
CN110263808A true CN110263808A (zh) 2019-09-20
CN110263808B CN110263808B (zh) 2023-07-25

Family

ID=67913171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910395478.1A Active CN110263808B (zh) 2019-05-13 2019-05-13 一种基于lstm网络和注意力机制的图像情感分类方法

Country Status (1)

Country Link
CN (1) CN110263808B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126194A (zh) * 2019-12-10 2020-05-08 郑州轻工业大学 一种社交媒体视觉内容情感分类方法
CN113436287A (zh) * 2021-07-05 2021-09-24 吉林大学 一种基于lstm网络与编解码网络的篡改图像盲取证方法
CN114201516A (zh) * 2020-09-03 2022-03-18 腾讯科技（深圳）有限公司 一种用户画像构建的方法、信息推荐的方法以及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066583A (zh) * 2017-04-14 2017-08-18 华侨大学 一种基于紧凑双线性融合的图文跨模态情感分类方法
CN107194371A (zh) * 2017-06-14 2017-09-22 易视腾科技股份有限公司 基于层次化卷积神经网络的用户专注度识别方法及系统
US20180189581A1 (en) * 2010-06-07 2018-07-05 Affectiva, Inc. Vehicle manipulation using convolutional image processing
CN109472292A (zh) * 2018-10-11 2019-03-15 平安科技（深圳）有限公司 一种图像的情感分类方法、存储介质和服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180189581A1 (en) * 2010-06-07 2018-07-05 Affectiva, Inc. Vehicle manipulation using convolutional image processing
CN107066583A (zh) * 2017-04-14 2017-08-18 华侨大学 一种基于紧凑双线性融合的图文跨模态情感分类方法
CN107194371A (zh) * 2017-06-14 2017-09-22 易视腾科技股份有限公司 基于层次化卷积神经网络的用户专注度识别方法及系统
CN109472292A (zh) * 2018-10-11 2019-03-15 平安科技（深圳）有限公司 一种图像的情感分类方法、存储介质和服务器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126194A (zh) * 2019-12-10 2020-05-08 郑州轻工业大学 一种社交媒体视觉内容情感分类方法
CN111126194B (zh) * 2019-12-10 2023-04-07 郑州轻工业大学 一种社交媒体视觉内容情感分类方法
CN114201516A (zh) * 2020-09-03 2022-03-18 腾讯科技（深圳）有限公司 一种用户画像构建的方法、信息推荐的方法以及相关装置
CN113436287A (zh) * 2021-07-05 2021-09-24 吉林大学 一种基于lstm网络与编解码网络的篡改图像盲取证方法

Also Published As

Publication number Publication date
CN110263808B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Chrysos et al. Deep polynomial neural networks
Li et al. Cifar10-dvs: an event-stream dataset for object classification
Alnujaim et al. Generative adversarial networks for classification of micro-Doppler signatures of human activity
CN106599797B (zh) 一种基于局部并行神经网络的红外人脸识别方法
CN107194433A (zh) 一种基于深度自编码网络的雷达一维距离像目标识别方法
CN108921051A (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN110263808A (zh) 一种基于lstm网络和注意力机制的图像情感分类方法
CN110047069A (zh) 一种图像检测装置
CN106971200A (zh) 一种基于自适应迁移学习的图像记忆度预测方法
CN110263822A (zh) 一种基于多任务学习方式的图像情感分析方法
CN110310345A (zh) 一种基于自动分工隐聚类生成对抗网络的图像生成方法
Zhang et al. A novel MAS-GAN-based data synthesis method for object surface defect detection
CN108154156A (zh) 基于神经主题模型的图像集成分类方法及装置
Hung et al. Violent video detection by pre-trained model and CNN-LSTM approach
Wang et al. Basketball shooting angle calculation and analysis by deeply-learned vision model
CN110390307A (zh) 表情识别方法、表情识别模型训练方法及装置
Bourouis et al. Bayesian frameworks for traffic scenes monitoring via view-based 3D cars models recognition
Wang et al. MetricMask: Single category instance segmentation by metric learning
AlDahoul et al. Local receptive field-extreme learning machine based adult content detection
Sivanarayana et al. Review on the methodologies for image segmentation based on CNN
CN110245706A (zh) 一种针对嵌入式应用的轻量化目标检测网络
Sun et al. Smart phone-based intelligent invoice classification method using deep learning
Saad et al. Face recognition approach using an enhanced particle swarm optimization and support vector machine
Grd A survey on neural networks for face age estimation
Crum et al. Teaching ai to teach: Leveraging limited human salience data into unlimited saliency-based training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant