CN108416397A - 一种基于ResNet-GCN网络的图像情感分类方法 - Google Patents

一种基于ResNet-GCN网络的图像情感分类方法 Download PDF

Info

Publication number
CN108416397A
CN108416397A CN201810292286.3A CN201810292286A CN108416397A CN 108416397 A CN108416397 A CN 108416397A CN 201810292286 A CN201810292286 A CN 201810292286A CN 108416397 A CN108416397 A CN 108416397A
Authority
CN
China
Prior art keywords
image
emotional semantic
semantic classification
resnet
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810292286.3A
Other languages
English (en)
Inventor
王伟凝
李乐敏
黄杰雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810292286.3A priority Critical patent/CN108416397A/zh
Publication of CN108416397A publication Critical patent/CN108416397A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于ResNet‑GCN网络的图像情感分类方法，包括以下步骤：(1)图像情感分类网络设计：由前部分结构ResNet‑50网络和后部分结构GCN网络组成；(2)图像情感分类框架设计：包含一个图像情感分类网络ResNet‑GCN和一个用于决策融合网络特征的支持向量分类器；(3)对原始图像进行显著主体提取和金字塔切割；(4)训练图像情感分类网络；(5)测试图像情感分类框架；(6)用户图像使用已训练好的图像情感分类框架进行分类，实现图像情感分类。本发明得到的图像情感分类结果符合人类情感标准，判断过程无需人工参与，实现了机器全自动图像情感分类。

Description

一种基于ResNet-GCN网络的图像情感分类方法
技术领域
本发明涉及图像分类的技术领域，特别涉及一种基于ResNet-GCN网络的图像情感分类方法。
背景技术
我们容易受到视觉内容尤其是图像的刺激而产生各种情感。图像情感分类，就是针对图像所唤醒的人类情感对图像进行分类。研究中常用的图像情感分别为愉悦、敬畏、满足、兴奋、愤怒、厌恶、恐惧、悲伤共8类。由于图像的复杂性和人类情感的主观性，通过计算机模拟人类高层感知来判断图像情感，自动实现图像情感分类是一项非常具有挑战性的任务。
现有的图像情感分类方法经历了传统手工特征方法和深度学习方法两个阶段。与传统手工特征方法相比，深度学习方法不仅省去繁琐的特征设计和提取的过程，更能在样本中学习到更抽象更高层次的图像特征，提高了图像情感分类的泛化能力。目前常用的卷积神经网络模型有AlexNet、VGG和ResNet等。
在基于深度学习方法的图像情感分类研究中，悉尼科技大学学者Rao等人从图像情感、纹理和美学三个角度出发，通过组合3个AlexNet，提出一个多层深度表达网络MldrNet。该网络盲目地学习图像不同因素的特征，缺少对影响图像情感表达的相关因素的具体分析，不仅无法显著提升图像情感分类性能，还增加了网络的复杂性，降低了网络的泛化能力。
现有的图像情感分类方法缺乏针对性的模型设计，无法有效地综合表达全局和局部图像信息。因此需要一种新的图像情感分类方法来克服现有技术存在的问题。
发明内容
为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于ResNet-GCN网络的图像情感分类方法，效地综合表达全局和局部图像信息，自动实现图像情感分类。
本发明的目的通过以下技术方案实现：
一种基于ResNet-GCN网络的图像情感分类方法，包括如下步骤：
(1)图像情感分类网络设计：所述图像情感分类网络由前后两部分结构组成，前部分为残差网络ResNet-50结构，后部分为全卷积网络GCN结构；
所述ResNet-50结构包含第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组、第五卷积层组、1个完全连接层和1个Softmax层；
所述GCN结构四个GCN结构，分别接在前部分结构ResNet-50的第二、三、四和五卷积层组之后；每个GCN结构后紧跟一个池化层，其中最后一个池化层连接到前部分的完全连接层的神经元中；
所述完全连接层根据图像情感种类，将神经元数量设为图像情感类别数N；
所述第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组、第五卷积层组的输出通道，根据图像情感种类，将其设为图像情感类别数N；
(2)图像情感分类框架设计：所述图像情感分类框架包含一个图像情感分类网络和一个支持向量分类器；
(3)图像预处理：对原始图像进行显著主体提取、金字塔切割，共得到包含原始图像在内的三种输入图像；
(4)训练图像情感分类网络：基于输入的原始图像，有监督地训练图像情感分类网络；
(5)测试图像情感分类框架：针对原始图像、显著主体提取、金字塔切割三形式的输入图像，图像情感分类网络学习相应的情感特征，决策融合三种情感特征，训练和测试SVM分类器并输出分类结果；
其中，情感特征包含原始图像特征、显著主体图特征和金字塔分割子图特征；
(6)对用户图像使用已训练好的图像情感分类框架，实现图像的情感分类。
步骤(3)所述对原始图像进行显著主体提取，具体为：当原始图像有多个显著主体，则将所有显著主体作为显著主体图；当原始图像没有显著主体，则将该原始图像作为其唯一的显著主体图。
步骤(3)所述金字塔切割，具体为：采用金字塔切割算法，将原始图像切割为5幅，得到金字塔切割子图。
步骤(4)所述训练图像情感分类网络，具体包括以下步骤：
(4-1)网络初始化：前部分ResNet结构的卷积层组的网络权值采用ResNet-50的网络权值初始化；前部分ResNet结构的完全连接层和后部分GCN结构的网络权值则为随机初始化；
(4-2)设置训练参数：前部分ResNet结构的卷积层组的初始学习率设置为0.001，全连接层和后部分GCN结构的初始学习率设置为0.01，所有学习率都在损失函数收敛后下降50％；每一次训练迭代的图像数量设置为64；
(4-3)加载训练数据：选用图像情感数据库，随机选取80％的图像作为训练集，15％的图像作为测试集，5％的图像作为验证集；输入训练集和验证集的原始图像；对应图像情感分类网络的输入大小；
(4-4)采用随机梯度下降算法，对图像情感分类网络进行迭代训练；
(4-5)取原始图像的验证集上损失函数最小的网络模型作为图像情感分类网络的最优模型。
步骤(5)所述测试图像情感分类框架，具体步骤如下：
(5-1)先后输入测试集图像的原始图像、显著主体图和金字塔切割子图到图像情感分类框架中的基础网络；其中基础网络取其训练阶段的最优模型；
(5-2)针对不同形式的输入图像，图像情感分类框架中的基础网络学习到相应的图像情感特征；
(5-3)显著主体图特征和金字塔切割子图特征，分别经过情感分数计算和特征融合，得到对应每幅原始图像的主体特征和金字塔特征；
(5-4)利用决策融合方法，融合原始图像特征、主体特征和金字塔特征，将最终的决策融合特征输入到SVM分类器，用五折交叉验证的方法对SVM分类器进行训练和测试，得到测试集图像最终的情感分类结果。
所述主体特征的计算过程如下：
基于显著主体图特征，通过情感分数计算每幅图像的主体特征，scorei是每幅图像中第i个显著主体图的情感分数，sal_feature是每幅图像的主体特征，其中,i＝1,2…N，N是该图像的显著主体图的总数；scorei的计算公式如下列公式表示：
其中pij是该图像的第i个显著主体图属于第j种情感类别的概率，C是图像情感类别数；
主体特征sal_feature的计算公式如下列公式所示：
Pi＝{pi1,pi2,…,piC}
其中，N是图像中显著主体图的数量，Pi是第i个显著主体的情感特征。
所述金字塔特征为金字塔切割子图特征通过均值聚合函数融合特征得到。
所述GCN结构的积层组中，用一个1×K+K×1和K×1+1×K的卷积核组合替代传统的K×K的卷积核。
步骤(6)所述对用户图像使用已训练好的图像情感分类框架，实现图像的情感分类，具体为：
用户图像输入到已训练的图像情感分类框架中，实现自动进行特征学习和图像情感分类，其中的SVM分类器计算图像属于不同情感类别的概率值，取概率最高的类别作为最终的分类结果。
与现有技术相比，本发明具有以下优点和有益效果：
1、本发明相比现有的卷积神经网络模型用于图像情感分类的方法，通过图像情感分类网络学习图像情感特征，决策融合多种图像情感特征，再训练和测试支持向量(SVM)分类器并输出图像的情感分类结果，取得了最好的情感分类准确率。
2、本发明通过有效组合残差网络ResNet-50和全卷积网络GCN，设计图像情感分类网络ResNet-GCN，该网络增加了有效学习视野，降低图像语义学习的偏差，能更好地学习图像的语义概念和语义信息。
3、本发明相比现有的卷积神经网络模型用于图像情感分类的方法，通过将预处理图像，得到包含原始图像在内的3种不同输入图像。图像情感分类网络针对性地对图像的不同方面信息进行深度学习，使网络表达的图像情感特征更加全面、清晰、明确。
附图说明
图1为本发明的图像情感分类网络结构图；
图2为本发明的图像情感分类框架结构图；
图3为本发明的GCN网络结构图。
具体实施方式
下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，本实施的基于ResNet-GCN网络的图像情感分类方法，包括如下步骤：
(1)图像情感分类网络的结构设计，具体网络参数设置和方法如下：
如图2所示，本发明的图像情感分类网络ResNet-GCN由前、后两部分组成。前部分结构借用了ResNet-50[K.He,X.Zhang,S.Ren,et al,Deep Residual Learning for ImageRecognition,IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pp:770-778,2016.]的结构与参数。此部分包含5个卷积层组、1个完全连接层和1个Softmax层。
如图3所示，后部分结构借用了GCN[Peng C,Zhang X,Yu G,et al.Large KernelMatters—Improve Semantic Segmentation by Global Convolutional Network[C],IEEE Conference on Computer Vision and Pattern Recognition.2017:1743-1751.]的网络结构。该部分一共有四个GCN结构，分别接在前部分结构ResNet-50的第二、三、四和五卷积层组之后。每个GCN结构后紧跟一个池化层，其中最后一个池化层连接到前部分的完全连接层的神经元中。
网络的输入图像大小为256*256*3，这三维数值分别是图像的宽度、高度和通道数。每一张输入图像数据被随机裁剪成224*224*3的大小。通过这样的方式，确保不会丢失图像的全局信息。网络前部分结构的卷积层组的具体结构参照ResNet-50的结构，全连接层的神经元个数设置为图像的情感类别数。网络后部分结构的卷积层组的具体结构参照GCN的结构，卷积层组的输出通道数设置为图像的情感类别数。通过这种方式，使网络每一个输出通道对应一种情感类别，进而更对应性地学习图像情感特征。此外，四个GCN结构的卷积核尺寸依次设置为15、13、11和9。本发明将图像情感类别数设置为8。
图像情感分类框架具体设计方法如下：
(2-1)首先将在大规模数据集上预训练得到的最新网络模型结构迁移到图像情感分类网络的前部分结构中，选用网络模型ResNet-50。该网络模型ResNet-50使用大规模的数据集ImageNet预训练得到的，并且引入残差网络结构；
(2-2)然后将GCN网络结构迁移到图像情感分类网络的后部分结构中。该网络结构GCN用一个1×K+K×1和K×1+1×K的卷积核组合替代传统的K×K的卷积核；
(2-3)所述网络的后部分结构是四个GCN结构，分别接在ResNet-50的第二、三、四和五卷积层组之后。每一个GCN网络结构紧跟着一个池化层，并由最后一个池化层连接到前部分结构的全连接层；
(2-4)所述网络的前部分结构迁移的是ResNet-50的卷积层组；网络的后部分结构迁移的是GCN整体结构；
(2-5)所述网络的前部分结构的全连接层，根据图像情感种类，将神经元数量设为图像情感类别数N；
(2-6)所述网络的后部分结构的卷积层组的输出通道，根据图像情感种类，将其设为图像情感类别数N；
(2-7)所述网络的前部分结构的卷积层组的结构、参数及其初始权值均与ResNet-50一致。
(2)图像情感分类框架的结构设计：包含一个图像情感分类网络ResNet-GCN和一个用于决策融合网络特征的支持向量机(SVM)分类器。
(3)图像预处理：
为了从全局视野和局部视野的角度对图像情感进行深度学习表达，本发明将图像情感分类框架的输入图像预处理为3种形式，分别为原始图像、显著主体图和金字塔分割子图。
显著主体图：采用Zhang等人[J.Zhang,S.Sclaroff,Z.Lin,X.Shen,etal.Unconstrained salient object detection via proposal subset optimization,CVPR2016:5733-5742.]提出的显著主体检测算法，提取原始图像的所有显著主体作为显著主体图。当无法检测原始图像的显著主体，则将整幅原始图像视为其唯一的显著主体图。
金字塔分割子图：采用Antonisse等人[H.Antonisse,Image segmentation inpyramids,Computer Graphics and Image Processing,vol.19,no.4,pp.367–383,1982.]提出的金字塔切割算法，将原始图像切割为五幅子图像。
(4)训练图像情感分类网络具体步骤如下：
仅输入训练集和验证集的原始图像，训练图像情感分类网络。
(4-1)网络初始化：图像情感分类网络ResNet-GCN中，前部分ResNet结构的卷积层组的网络权值采用已预训练的ResNet-50模型的网络权值初始化；前部分ResNet结构的全连接层和后部分GCN结构的网络权值则为随机初始化。
(4-2)设置训练参数：前部分ResNet结构的卷积层组的初始学习率设置为0.001，全连接层和后部分GCN结构的初始学习率设置为0.01，所有学习率都在损失函数收敛后下降50％。每一次训练迭代的图像数量设置为64。
(4-3)加载训练数据：采用You等人构建的图像情感数据集，随机选取80％的图像(18445张)作为训练集，15％的图像(3459张)作为测试集，5％的图像(1153张)作为验证集。
(4-4)采用随机梯度下降算法，对图2的图像情感分类网络ResNet-GCN进行迭代训练。
(4-5)本发明取在验证集上损失函数最小的模型作为最优ResNet-GCN模型。
(5)测试图像情感分类框架，具体步骤如下：
图像情感分类框架，包含一个图像情感分类网络ResNet-GCN和支持向量(SVM)分类器。其中输入图像包含原始图像在内的3种形式。
(5-1)输入图像：先后输入测试集图像的原始图像、显著主体图和金字塔切割子图到图像情感分类框架中的基础网络ResNet-GCN。其中网络ResNet-GCN取其训练阶段的最优模型。
(5-2)特征提取：针对不同形式的输入图像，图像情感分类框架中的基础网络ResNet-GCN学习相应图像的情感信息，并由其Softmax层输出相应图像的情感特征。其中，情感特征包含原始图像特征、显著主体图特征和金字塔分割子图特征。
(5-3)特征整理：显著主体图特征和金字塔切割子图特征，分别经过情感分数计算和特征融合等特征整理手段，得到对应原始图像的主体特征和金字塔特征。
基于显著主体图特征，通过情感分数计算每幅图像的主体特征。scorei是每幅图像中第i个显著主体图的情感分数，sal_feature是每幅图像的主体特征。scorei的计算公式如下列公式表示：
其中pij是该图像的第i个显著主体属于第j种情感类别的概率，C是图像情感类别数，j＝1,2…C。本发明将图像情感类别数设置为8。
主体特征sal_feature的计算公式如下列公式所示：
Pi＝{pi1,pi2,…,piC}
其中，N是图像中显著主体图的数量，Pi是第i个显著主体的情感特征。
基于金字塔切割子图特征，通过均值聚合函数融合特征得到金字塔特征。即所有子图的特征取均值作为原始图像的情感特征。
(5-3)融合特征，训练SVM分类器：
结合步骤(5-2)和(5-3)得到原始图像特征、主体特征和金字塔特征。利用决策融合方法，融合该三种特征。将最终的决策融合特征输入到SVM分类器，用五折交叉验证的方法对SVM分类器进行训练和测试，得到测试集图像最终的情感分类结果。
(6)对于用户图像，使用已训练的图像情感分类框架对其情感进行分类：
用户图像输入到已训练的图像情感分类框架中，实现自动进行特征学习和图像情感分类。其中的SVM分类器计算图像属于不同情感类别的概率值，取概率最高的类别作为最终的分类结果。
利用本发明设计的基于ResNet-GCN网络的图像情感分类方法，用户给定图像后，以ResNet-GCN网络为基础网络的图像情感分类框架给出具体参考意义的情感分类。
本发明在You等构建的大数据级情感图库上，本发明取得了68.12％的分类准确率，比You等人取得的58.3％准确率提高了9.82％。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于ResNet-GCN网络的图像情感分类方法，其特征在于，包括如下步骤：
(1)图像情感分类网络设计：所述图像情感分类网络由前后两部分结构组成，前部分为残差网络ResNet-50结构，后部分为全卷积网络GCN结构；
所述ResNet-50结构包含第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组、第五卷积层组、1个完全连接层和1个Softmax层；
所述GCN结构四个GCN结构，分别接在前部分结构ResNet-50的第二、三、四和五卷积层组之后；每个GCN结构后紧跟一个池化层，其中最后一个池化层连接到前部分的完全连接层的神经元中；
所述完全连接层根据图像情感种类，将神经元数量设为图像情感类别数N；
所述第一卷积层组、第二卷积层组、第三卷积层组、第四卷积层组、第五卷积层组的输出通道，根据图像情感种类，将其设为图像情感类别数N；
(2)图像情感分类框架设计：所述图像情感分类框架包含一个图像情感分类网络和一个支持向量分类器；
(3)图像预处理：对原始图像进行显著主体提取、金字塔切割，共得到包含原始图像在内的三种输入图像；
(4)训练图像情感分类网络：基于输入的原始图像，有监督地训练图像情感分类网络；
(5)测试图像情感分类框架：针对原始图像、显著主体提取、金字塔切割三形式的输入图像，图像情感分类网络学习相应的情感特征，决策融合三种情感特征，训练和测试SVM分类器并输出分类结果；
其中，情感特征包含原始图像特征、显著主体图特征和金字塔分割子图特征；
(6)对用户图像使用已训练好的图像情感分类框架，实现图像的情感分类。
2.根据权利要求1所述的基于ResNet-GCN网络的图像情感分类方法，其特征在于，步骤(3)所述对原始图像进行显著主体提取，具体为：当原始图像有多个显著主体，则将所有显著主体作为显著主体图；当原始图像没有显著主体，则将该原始图像作为其唯一的显著主体图。
3.根据权利要求1所述的基于ResNet-GCN网络的图像情感分类方法，其特征在于，步骤(3)所述金字塔切割，具体为：采用金字塔切割算法，将原始图像切割为5幅，得到金字塔切割子图。
4.根据权利要求1所述的基于ResNet-GCN网络的图像情感分类方法，其特征在于，步骤(4)所述训练图像情感分类网络，具体包括以下步骤：
(4-1)网络初始化：前部分ResNet结构的卷积层组的网络权值采用ResNet-50的网络权值初始化；前部分ResNet结构的完全连接层和后部分GCN结构的网络权值则为随机初始化；
(4-2)设置训练参数：前部分ResNet结构的卷积层组的初始学习率设置为0.001，全连接层和后部分GCN结构的初始学习率设置为0.01，所有学习率都在损失函数收敛后下降50％；每一次训练迭代的图像数量设置为64；
(4-3)加载训练数据：选用图像情感数据库，随机选取80％的图像作为训练集，15％的图像作为测试集，5％的图像作为验证集；输入训练集和验证集的原始图像；对应图像情感分类网络的输入大小；
(4-4)采用随机梯度下降算法，对图像情感分类网络进行迭代训练；
(4-5)取原始图像的验证集上损失函数最小的网络模型作为图像情感分类网络的最优模型。
5.根据权利要求1所述的基于ResNet-GCN网络的图像情感分类方法，其特征在于，步骤(5)所述测试图像情感分类框架，具体步骤如下：
(5-1)先后输入测试集图像的原始图像、显著主体图和金字塔切割子图到图像情感分类框架中的基础网络；其中基础网络取其训练阶段的最优模型；
(5-2)针对不同形式的输入图像，图像情感分类框架中的基础网络学习到相应的图像情感特征；
(5-3)显著主体图特征和金字塔切割子图特征，分别经过情感分数计算和特征融合，得到对应每幅原始图像的主体特征和金字塔特征；
(5-4)利用决策融合方法，融合原始图像特征、主体特征和金字塔特征，将最终的决策融合特征输入到SVM分类器，用五折交叉验证的方法对SVM分类器进行训练和测试，得到测试集图像最终的情感分类结果。
6.根据权利要求5所述的基于ResNet-GCN网络的图像情感分类方法，其特征在于，所述主体特征的计算过程如下：
基于显著主体图特征，通过情感分数计算每幅图像的主体特征，scorei是每幅图像中第i个显著主体图的情感分数，sal_feature是每幅图像的主体特征，其中,i＝1,2…N，N是该图像的显著主体图的总数；scorei的计算公式如下列公式表示：
其中pij是该图像的第i个显著主体图属于第j种情感类别的概率，C是图像情感类别数；
主体特征sal_feature的计算公式如下列公式所示：
Pi＝{pi1,pi2,…,piC}
其中，N是图像中显著主体图的数量，Pi是第i个显著主体的情感特征。
7.根据权利要求5所述的基于ResNet-GCN网络的图像情感分类方法，其特征在于，所述金字塔特征为金字塔切割子图特征通过均值聚合函数融合特征得到。
8.根据权利要求1所述的基于ResNet-GCN网络的图像情感分类方法，其特征在于，所述GCN结构的积层组中，用一个1×K+K×1和K×1+1×K的卷积核组合替代传统的K×K的卷积核。
9.根据权利要求1所述的基于ResNet-GCN网络的图像情感分类方法，其特征在于，步骤(6)所述对用户图像使用已训练好的图像情感分类框架，实现图像的情感分类，具体为：
用户图像输入到已训练的图像情感分类框架中，实现自动进行特征学习和图像情感分类，其中的SVM分类器计算图像属于不同情感类别的概率值，取概率最高的类别作为最终的分类结果。
CN201810292286.3A 2018-03-30 2018-03-30 一种基于ResNet-GCN网络的图像情感分类方法 Pending CN108416397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810292286.3A CN108416397A (zh) 2018-03-30 2018-03-30 一种基于ResNet-GCN网络的图像情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810292286.3A CN108416397A (zh) 2018-03-30 2018-03-30 一种基于ResNet-GCN网络的图像情感分类方法

Publications (1)

Publication Number Publication Date
CN108416397A true CN108416397A (zh) 2018-08-17

Family

ID=63134535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810292286.3A Pending CN108416397A (zh) 2018-03-30 2018-03-30 一种基于ResNet-GCN网络的图像情感分类方法

Country Status (1)

Country Link
CN (1) CN108416397A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399857A (zh) * 2019-08-01 2019-11-01 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN111191704A (zh) * 2019-12-24 2020-05-22 天津师范大学 一种基于任务图卷积网络的地基云分类方法
CN111563192A (zh) * 2020-04-28 2020-08-21 腾讯科技（深圳）有限公司 实体对齐方法、装置、电子设备及存储介质
CN112381176A (zh) * 2020-12-03 2021-02-19 天津大学 一种基于双目特征融合网络的图像分类方法
CN112712127A (zh) * 2021-01-07 2021-04-27 北京工业大学 一种结合图卷积神经网络的图像情感极性分类方法
CN113255844A (zh) * 2021-07-06 2021-08-13 中国传媒大学 基于图卷积神经网络交互的推荐方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN107590457A (zh) * 2017-09-07 2018-01-16 竹间智能科技（上海）有限公司 基于级联转换网络架构的情绪识别方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN107590457A (zh) * 2017-09-07 2018-01-16 竹间智能科技（上海）有限公司 基于级联转换网络架构的情绪识别方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHAO PENG: "《Kernel Matters—Improve Semantic Segmentation by Global Convolutional Network》", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399857A (zh) * 2019-08-01 2019-11-01 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN111191704A (zh) * 2019-12-24 2020-05-22 天津师范大学 一种基于任务图卷积网络的地基云分类方法
CN111191704B (zh) * 2019-12-24 2023-05-02 天津师范大学 一种基于任务图卷积网络的地基云分类方法
CN111563192A (zh) * 2020-04-28 2020-08-21 腾讯科技（深圳）有限公司 实体对齐方法、装置、电子设备及存储介质
CN111563192B (zh) * 2020-04-28 2023-05-30 腾讯科技（深圳）有限公司 实体对齐方法、装置、电子设备及存储介质
CN112381176A (zh) * 2020-12-03 2021-02-19 天津大学 一种基于双目特征融合网络的图像分类方法
CN112712127A (zh) * 2021-01-07 2021-04-27 北京工业大学 一种结合图卷积神经网络的图像情感极性分类方法
CN113255844A (zh) * 2021-07-06 2021-08-13 中国传媒大学 基于图卷积神经网络交互的推荐方法及系统
CN113255844B (zh) * 2021-07-06 2021-12-10 中国传媒大学 基于图卷积神经网络交互的推荐方法及系统

Similar Documents

Publication Publication Date Title
CN108416397A (zh) 一种基于ResNet-GCN网络的图像情感分类方法
CN110097550B (zh) 一种基于深度学习的医学图像分割方法及系统
CN107341506A (zh) 一种基于多方面深度学习表达的图像情感分类方法
CN106650806B (zh) 一种用于行人检测的协同式深度网络模型方法
CN104361363B (zh) 深度反卷积特征学习网络、生成方法及图像分类方法
CN105975573B (zh) 一种基于knn的文本分类方法
CN108596329A (zh) 基于端到端深度集成学习网络的三维模型分类方法
CN107977629A (zh) 一种基于特征分离对抗网络的人脸图像衰老合成方法
CN106651830A (zh) 一种基于并行卷积神经网络的图像质量测试方法
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN107886117A (zh) 基于多特征提取和多任务融合的目标检测算法
CN107610123A (zh) 一种基于深度卷积神经网络的图像美学质量评价方法
CN108961245A (zh) 基于双通道深度并行卷积网络的图像质量分类方法
CN107633513A (zh) 基于深度学习的3d图像质量的度量方法
CN107545245A (zh) 一种年龄估计方法及设备
CN109166100A (zh) 基于卷积神经网络的多任务学习细胞计数方法
CN103207910B (zh) 基于分层特征和遗传规划相关反馈的图像检索方法
CN108109160A (zh) 一种基于深度学习的免交互式GrabCut舌体分割方法
CN106156793A (zh) 结合深层特征提取和浅层特征提取的医学图像分类方法
CN107154043A (zh) 一种基于3dcnn的肺结节假阳性样本抑制方法
CN106295506A (zh) 一种基于集成卷积神经网络的年龄识别方法
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN107679543A (zh) 稀疏自动编码器与极限学习机立体图像质量评价方法
CN106529503A (zh) 一种集成卷积神经网络人脸情感识别方法
CN106778852A (zh) 一种修正误判的图像内容识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180817