CN107341506A - 一种基于多方面深度学习表达的图像情感分类方法 - Google Patents

一种基于多方面深度学习表达的图像情感分类方法 Download PDF

Info

Publication number
CN107341506A
CN107341506A CN201710438419.9A CN201710438419A CN107341506A CN 107341506 A CN107341506 A CN 107341506A CN 201710438419 A CN201710438419 A CN 201710438419A CN 107341506 A CN107341506 A CN 107341506A
Authority
CN
China
Prior art keywords
image
mrow
network
emotional semantic
semantic classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710438419.9A
Other languages
English (en)
Inventor
王伟凝
黄杰雄
李乐敏
赵明权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710438419.9A priority Critical patent/CN107341506A/zh
Publication of CN107341506A publication Critical patent/CN107341506A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Abstract

本发明公开了一种基于多方面深度学习表达的图像情感分类的方法,包括以下步骤:(1)图像情感分类模型设计:包括一个并行卷积神经网络模型和一个用于决策融合网络特征的支持向量机分类器;(2)并行卷积神经网络结构设计:共5个结构相同的网络,每个网络包括五个卷积层组、一个全连接层和一个softmax层;(3)对原始图像进行显著主体提取、HSV格式转换;(4)训练卷积神经网络模型;(5)融合多个卷积神经网络学习表达的图像情感特征,训练SVM分类器对图像情感特征进行决策融合;(5)用户图像使用已训练好的图像情感分类模型进行分类,实现图像情感分类。本发明得到的图像情感分类结果符合人类情感标准,判断过程无需人工参与,实现了机器全自动图像情感分类。

Description

一种基于多方面深度学习表达的图像情感分类方法
技术领域
本发明涉及图像分类的技术领域,具体涉及一种基于多方面深度学习表达的图像情感分类方法。
背景技术
人们容易受到视觉内容尤其是图像的刺激而产生各种情感。图像情感分类,就是针对图像所唤醒的人类情感对图像进行分类。研究中常用的八类图像情感分别为愉悦、敬畏、满足、兴奋、愤怒、厌恶、恐惧、悲伤共8类。由于图像的复杂性和人类情感的主观性,通过计算机模拟人类高层感知来判断图像情感,自动实现对图像情感进行分类是一项非常具有挑战性的任务。
传统的图像情感分类方法大多采用设计手工特征并构建图像情感分类器的方式。研究者们根据艺术元素或者艺术原理,从图像中提取多种图像特征,如颜色特征、纹理特征、形状特征等等。这些特征在早期的研究中都取得了较好的应用价值。但是,手工特征仅在小规模数据集上有效,一旦应用于大规模数据集上,就会显示出提取特征耗时长和分类准确率低等缺点。
深度学习在解决传统计算机视觉问题上有突破性进展,尤其是卷积神经网络(CNN)的应用。通过利用多层CNN直接对大量的数据进行监督学习,网络可以在不需要先验知识和经验的情况下针对学习任务自动且有效地学习到图像的特征。这种方法不仅省去了繁琐的特征设计和提取的过程,更能在样本中学习到更抽象更高层次的图像特征,提高了特征的鲁棒性。目前常用的CNN模型有AlexNet、VGG、ResNet等。利用深度学习进行图像情感分类研究中,罗切斯特大学的学者You等人通过建立大规模图像情感数据集,微调AlexNet来提取图像的情感特征,然后使用支持向量机(SVM)进行图像情感分类,取得了不错的分类效果。
实际上,现有的深度学习将CNN应用于图像情感分类,实则将网络视为在全局视野中学习图像的黑盒子,忽略了图像中其他能够唤醒情感的局部元素或者性质。图像信息、深度学习网络和学习任务之间的关系很少被考虑到,这也成为了图像情感分类的瓶颈。
因此需要一种新的图像情感分类方法来克服现有技术存在的问题。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于多方面深度学习表达的图像情感分类方法,能自动地对图像情感进行分类。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种基于多方面深度学习表达的图像情感分类方法,包括如下步骤:
(1)图像情感分类模型设计:包含一个并行卷积神经网络模型和一个支持向量机SVM分类器;
(2)并行卷积神经网络模型结构设计:包括5个结构相同的卷积神经网络,每个卷积神经网络包括五个卷积层组、一个全连接层和一个Softmax层的设计;
(3)图像预处理:对原始图像进行显著主体提取、HSV格式转换,对原始图像和HSV格式图像进行金字塔切割,共得到包含原始图像在内的5种形式的输入图像;
(4)训练卷积神经网络模型:针对5种形式的输入图像,5个网络分别对应一种输入图像,分别对每个网络进行有监督的训练;
(5)融合多个卷积神经网络学习表达的图像情感特征,训练SVM分类器对多方面学习表达的图像情感特征进行决策融合;
(6)对目标图像使用已训练好的卷积神经网络模型和SVM分类器实现对图像的情感分类。
作为优选的技术方案,步骤(1)中,所述并行卷积神经网络模型自动对输入图像进行多方面深度学习,并输出学习到的图像情感特征,SVM分类器将并行卷积神经网络模型学习得到的图像情感特征做决策融合并输出图像的情感分类结果。
作为优选的技术方案,步骤(2)中,所述并行卷积神经网络由5个结构相同的卷积神经网络组成,其中,单个卷积神经网络模型的设计方法如下:
(2-1)首先利用在大规模数据集上预训练得到的最新网络模型结构迁移到图像情感分类网络结构中,作为网络模型中每个网络的主体,选用网络模型ResNet-50-layer,该网络模型ResNet-50-layer使用大规模的数据集ImageNet预训练得到的,并且引入残差网络结构;
(2-2)网络迁移的部分为ResNet-50-layer的卷积层组;
(2-3)所述每个网络的全连接层,根据图像情感种类,将神经元数量设为图像情感类别数N;
(2-4)所述每个网络的卷积层组的结构、参数及其初始权值均与ResNet-50-layer一致。
作为优选的技术方案,步骤(3)中,所述5种形式的输入图像为原始图像、显著主体图像、HSV图像、原始图像块、HSV图像块,分别独立地输入到并行卷积神经网络模型,实现从图像的主体、颜色、全局和局部视角对图像情感的多方面深度学习表达。
作为优选的技术方案,步骤(3)中,在图像预处理阶段,当原始图像有多个显著主体,则选取最大的主体作为显著主体图像;当原始图像中没有显著主体,则选取原始图像作为显著主体图像;
当原始图像是单通道的不包含颜色信息的灰色图像,则将原始图像作为HSV图像。
作为优选的技术方案,所属步骤(3)中,图像预处理阶段,采用金字塔切割算法,分别将原始图像和HSV图像切割为5块,得到原始图像块和HSV图像块。
作为优选的技术方案,所属步骤(4)中,多个卷积神经网络并行的模型中,每个网络的结构及权值初始化相同,训练参数的设置也相同,训练过程中相互独立,具体步骤如下:
(4-1)模型初始化:每个网络的卷积层的网络权值采用ResNet-50-layer的网络权值来初始化;全连接层的网络权值则为随机初始化
(4-2)设置训练参数:卷积层组的初始学习速率设置为0.001,全连接层的初始学习率设置为0.005,当训练样本集遍历8次后学习率均降低90%;每一次训练迭代的图像数量设置为16张,最大的训练迭代次数设为50000次;
(4-3)加载训练数据:采用23308张带情感类别标签的图像数据集对模型训练、验证和测试,其中随机选取80%的图像作为训练集,5%的图像作为验证集,15%的图像作为测试集,对应网络模型的输入大小,所有图像的尺寸统一归一化为256*256;
(4-4)采用随机梯度下降算法,对卷积神经网络模型中的5个卷积神经网络分别进行迭代训练,训练过程中,采用基本的softmax计算损失函数,假设图像输入为x,标签为y,θ为模型所有的参数,hθ(x)为模型的预测函数,hθ(x)的计算公式如下列公式表示:
损失函数l(θ)的计算如下列公式所示:
其中,m为图像样本的数量;k为图像情感类别数,在本发明中,k=8;θT为模型所有参数的转置;xi为第i个输入图像;yi为第i个输入图像的情感标签;为模型输出的图像属于第j个情感类别的概率值;1(yi=l)为指示函数,当yi=l时指示函数为1,反之指示函数为0;
(4-5)对每个不同输入图像的卷积网络,分别取在测试集上损失函数最小的网络为这种形式输入图像的最优卷积神经网络将5个最优的卷积神经网络组合起来,即得到多个并行卷积神经网络模型的最优解。
作为优选的技术方案,所述步骤(5)中,融合图像特征,训练SVM分类器的方法为:
(5-1)当卷积神经网络的输入图像为原始图像块和HSV图像块时,对于一个使用金字塔分割成5个图像块的母图像,取其所有图像块的网络输出值的平均值为其母图像的值;
(5-2)将测试集图像的5种形式输入到已训练且最优的多个并行卷积神经网络模型,得到的模型输出视为5个方面深度学习表达的图像情感特征,利用决策融合的方法,将这5个方面的特征输入到SVM分类器中,用五折交叉验证的方法对SVM分类器进行训练和测试,融合这5个方面的特征并得到测试集图像最终的情感分类结果。
作为优选的技术方案,所述步骤(5)中,融合多个方面深度学习表达的图像情感特征阶段,使用决策融合的方法,将多个网络的输出视为网络学习的特征并将其输入到SVM分类器中训练和测试,得到图像情感的分类结果。
作为优选的技术方案,所述步骤(6),目标图像输入到已训练的并行卷积神经网络模型和SVM分类器中,系统自动进行特征学习和图像情感分类,分类器计算图像属于不同情感类别的概率值,取概率最高的类别作为最终的评价结果。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明相比现有的通过提取图像的情感特征用于情感类别分类的方法,通过采用并行卷积神经网络模型自动学习图像的情感特征,减少了情感特征的设计和提取所耗费的大量时间,也提高了情感特征在不同情感图库上的鲁棒性,取得了更好的情感分类结果。
2、本发明相比现有的卷积神经网络模型用于图像情感分类的方法,通过将图像进行预处理,得到包含图像5中不同信息的输入图像,卷积神经网络能够针对性的对图像的不同方面信息进行深度学习,使网络表达的图像情感特征具有更加清晰、明确。
3、本发明相比现有的所有图像情感分类方法,通过并行卷积神经网络学习图像情感特征,再利用SVM分类器对特征做决策融合并输出图像的情感分类结果,取得了最好的情感分类结果。在You等构建的大数据量图像情感图库上,本发明取得了68.09%的分类准确率,比You等人取得的58.3%的准确率提高了9.79%。
附图说明
图1为本发明的实施例的基于多方面深度学习表达的图像情感分类方法的工作流程图;
图2为本发明的单个卷积神经网络结构图;
图3为本发明的并行卷积神经网络模型结构图;
图4为本发明的金字塔切割的切割方法。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,本实施的基于多方面深度学习表达的图像情感分类方法,包括如下步骤:
(1)图像情感分类模型设计:包括一个并行卷积神经网络模型(如图3所示)和一个用于决策融合网络特征的支持向量机(SVM)分类器。
(2)并行卷积神经网络模型的结构设计,具体网络参数设置和方法如下:
如图2所示,本发明的模型含有5个相互独立的网络,每个网络结构相同,借用了ResNet-50-layer[K.He,X.Zhang,S.Ren,et al,Deep Residual Learning for ImageRecognition,IEEE Conference on Computer Vision and Pattern Recognition(CVPR),pp:770-778,2016.]的结构与参数。每个网络均包含5层卷积层组、1个全连接层和1个Softmax层。
网络结构输入图像大小为256*256*3,这三维数值分别是图像的宽度、高度、通道数。每一张输入图像数据被随机裁剪成224*224*3的大小。通过这样的方式,确保不会丢失图像的全局信息。网络的卷积层组的具体结构参照ResNet-50-layer的结构,全连接层的神经元个数设置为图像的情感类别数。本发明将全连接的神经元数设置为8。
(3)图像预处理:
为了从图像的全局和局部、主体和颜色等视角对图像情感进行多方面深度学习表达,本发明将模型的输入图像预处理为5种形式,分别为原始图像、显著主体图像、HSV图像、原始图像块和HSV图像块。
显著主体图像:采用Zhang等人[J.Zhang,S.Sclaroff,Z.Lin,X.Shen,etal.Unconstrained salient object detection via proposal subsetoptimization,IEEE Conf.on Computer Visionand Pattern Recognition(CVPR),2016.]提出的检测显著主体的方法,对图像的显著主体进行提取。其中当原始图像中含有多个显著主体时,选取最大的主体作为显著主体图像;当原始图像中没有显著主体,则将原始图像作为显著主体图像。
HSV图像:将原始图像转化为HSV格式。若原始图像是单通道的不包含颜色信息的灰色图像,则将原始图像作为HSV图像。
原始图像块和HSV图像块:对于原始图像和HSV图像,本发明采用金字塔切割法[H.Antonisse,Image segmentation in pyramids,Computer Graphics and ImageProcessing,vol.19,no.4,pp.367–383,1982.]分别将其切割成5块,切割方法如图4所示。每个图像块的情感标签与其原图像保持一致。
(4)训练卷积神经网络模型阶段具体步骤如下:
多个卷积神经网络并行的模型中,每个网络的结构及权值初始化相同,训练参数的设置也相同,训练过程中相互独立。
(4-1)模型初始化:每个网络的卷积层的网络权值采用ResNet-50-layer的网络权值来初始化;全连接层的网络权值则为随机初始化。
(4-2)设置训练参数:卷积层组的初始学习速率设置为0.001,全连接层的初始学习率设置为0.005,当训练样本集遍历8次后学习率均降低90%。每一次训练迭代的图像数量设置为16张,最大的训练迭代次数设为50000次。
(4-3)加载训练数据:采用You等人构建的共23308张带情感类别标签的图像数据集对模型训练、验证和测试。其中随机选取80%的图像作为训练集,5%的图像作为验证集,15%的图像作为测试集。对应网络模型的输入大小,所有图像的尺寸统一归一化为256*256。
(4-4)采用随机梯度下降算法,对图2的卷积神经网络模型中的5个卷积神经网络分别进行迭代训练。训练过程中,
采用基本的softmax计算损失函数,假设图像输入为x,标签为y,θ为模型所有的参数,hθ(x)为模型的预测函数,hθ(x)的计算公式如下列公式表示:
损失函数l(θ)的计算如下列公式所示:
其中,m为图像样本的数量;k为图像情感类别数,在本发明中,k=8;θT为模型所有参数的转置;xi为第i个输入图像;yi为第i个输入图像的情感标签;为模型输出的图像属于第j个情感类别的概率值;1(yi=l)为指示函数,当yi=l时指示函数为1,反之指示函数为0;(4-5)对每个不同输入图像的卷积网络,本发明分别取在测试集上损失函数最小的网络为这种形式输入图像的最优卷积神经网络。将5个最优的卷积神经网络组合起来,即得到多个并行卷积神经网络模型的最优解。
(5)融合图像特征,训练SVM分类器:
(5-1)当卷积神经网络的输入图像为原始图像块和HSV图像块时,对于一个使用金字塔分割成5个图像块的母图像,取其所有图像块的网络输出值的平均值为其母图像的值,具体过程如图2所示。
(5-2)将测试集图像的5种形式输入到已训练且最优的多个并行卷积神经网络模型,得到的模型输出视为5个方面深度学习表达的图像情感特征。利用决策融合的方法,将这5个方面的特征输入到SVM分类器中,用五折交叉验证的方法对SVM分类器进行训练和测试,融合这5个方面的特征并得到测试集图像最终的情感分类结果。
(6)对于目标图像,使用已训练好的图像情感分类模型对不同情感类别的图像进行分类。
利用本发明设计的基于多方面深度学习表达的图像情感分类方法,用户给定图像后,系统根据已训练好的图像情感分类模型给出具体参考意义的情感分类。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种基于多方面深度学习表达的图像情感分类方法,其特征在于,包括如下步骤:
(1)图像情感分类模型设计:包含一个并行卷积神经网络模型和一个支持向量机SVM分类器;
(2)并行卷积神经网络模型结构设计:包括5个结构相同的卷积神经网络,每个卷积神经网络包括五个卷积层组、一个全连接层和一个Softmax层的设计;
(3)图像预处理:对原始图像进行显著主体提取、HSV格式转换,对原始图像和HSV格式图像进行金字塔切割,共得到包含原始图像在内的5种形式的输入图像;
(4)训练卷积神经网络模型:针对5种形式的输入图像,5个网络分别对应一种输入图像,分别对每个网络进行有监督的训练;
(5)融合多个卷积神经网络学习表达的图像情感特征,训练SVM分类器对多方面学习表达的图像情感特征进行决策融合;
(6)对目标图像使用已训练好的卷积神经网络模型和SVM分类器实现对图像的情感分类。
2.根据权利要求1所述基于多方面深度学习表达的图像情感分类方法,其特征在于,步骤(1)中,所述并行卷积神经网络模型自动对输入图像进行多方面深度学习,并输出学习到的图像情感特征,SVM分类器将并行卷积神经网络模型学习得到的图像情感特征做决策融合并输出图像的情感分类结果。
3.根据权利要求1所述基于多方面深度学习表达的图像情感分类方法,其特征在于,步骤(2)中,所述并行卷积神经网络由5个结构相同的卷积神经网络组成,其中,单个卷积神经网络模型的设计方法如下:
(2-1)首先利用在大规模数据集上预训练得到的最新网络模型结构迁移到图像情感分类网络结构中,作为网络模型中每个网络的主体,选用网络模型ResNet-50-layer,该网络模型ResNet-50-layer使用大规模的数据集ImageNet预训练得到的,并且引入残差网络结构;
(2-2)网络迁移的部分为ResNet-50-layer的卷积层组;
(2-3)所述每个网络的全连接层,根据图像情感种类,将神经元数量设为图像情感类别数N;
(2-4)所述每个网络的卷积层组的结构、参数及其初始权值均与ResNet-50-layer一致。
4.根据权利要求1所述基于多方面深度学习表达的图像情感分类方法,其特征在于,步骤(3)中,所述5种形式的输入图像为原始图像、显著主体图像、HSV图像、原始图像块、HSV图像块,分别独立地输入到并行卷积神经网络模型,实现从图像的主体、颜色、全局和局部视角对图像情感的多方面深度学习表达。
5.根据权利要求1或4所述基于多方面深度学习表达的图像情感分类方法,其特征在于,步骤(3)中,在图像预处理阶段,当原始图像有多个显著主体,则选取最大的主体作为显著主体图像;当原始图像中没有显著主体,则选取原始图像作为显著主体图像;
当原始图像是单通道的不包含颜色信息的灰色图像,则将原始图像作为HSV图像。
6.根据权利要求1和3所述的基于多方面深度学习表达的图像情感分类方法,其特征在于,所属步骤(3)中,图像预处理阶段,采用金字塔切割算法,分别将原始图像和HSV图像切割为5块,得到原始图像块和HSV图像块。
7.根据权利要求1所述的基于多方面深度学习表达的图像情感分类方法,其特征在于,所属步骤(4)中,多个卷积神经网络并行的模型中,每个网络的结构及权值初始化相同,训练参数的设置也相同,训练过程中相互独立,具体步骤如下:
(4-1)模型初始化:每个网络的卷积层的网络权值采用ResNet-50-layer的网络权值来初始化;全连接层的网络权值则为随机初始化
(4-2)设置训练参数:卷积层组的初始学习速率设置为0.001,全连接层的初始学习率设置为0.005,当训练样本集遍历8次后学习率均降低90%;每一次训练迭代的图像数量设置为16张,最大的训练迭代次数设为50000次;
(4-3)加载训练数据:采用23308张带情感类别标签的图像数据集对模型训练、验证和测试,其中随机选取80%的图像作为训练集,5%的图像作为验证集,15%的图像作为测试集,对应网络模型的输入大小,所有图像的尺寸统一归一化为256*256;
(4-4)采用随机梯度下降算法,对卷积神经网络模型中的5个卷积神经网络分别进行迭代训练,训练过程中,采用基本的softmax计算损失函数,假设图像输入为x,标签为y,θ为模型所有的参数,hθ(x)为模型的预测函数,hθ(x)的计算公式如下列公式表示:
<mrow> <msub> <mi>h</mi> <mi>&amp;theta;</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;theta;</mi> <mi>j</mi> <mi>T</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;theta;</mi> <mn>1</mn> <mi>T</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;theta;</mi> <mn>2</mn> <mi>T</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mo>...</mo> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;theta;</mi> <mi>k</mi> <mi>T</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
损失函数l(θ)的计算如下列公式所示:
<mrow> <mi>l</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <mn>1</mn> <mrow> <mo>(</mo> <mrow> <msup> <mi>y</mi> <mi>i</mi> </msup> <mo>=</mo> <mi>l</mi> </mrow> <mo>)</mo> </mrow> <mi>ln</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mi>l</mi> <mi>T</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> </mrow> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <mi>exp</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mi>j</mi> <mi>T</mi> </msubsup> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
其中,m为图像样本的数量;k为图像情感类别数,在本发明中,k=8;θT为模型所有参数的转置;xi为第i个输入图像;yi为第i个输入图像的情感标签;为模型输出的图像属于第j个情感类别的概率值;1(yi=l)为指示函数,当yi=l时指示函数为1,反之指示函数为0;
(4-5)对每个不同输入图像的卷积网络,分别取在测试集上损失函数最小的网络为这种形式输入图像的最优卷积神经网络将5个最优的卷积神经网络组合起来,即得到多个并行卷积神经网络模型的最优解。
8.根据权利要求1所述的基于多方面深度学习表达的图像情感分类方法,其特征在于,所述步骤(5)中,融合图像特征,训练SVM分类器的方法为:
(5-1)当卷积神经网络的输入图像为原始图像块和HSV图像块时,对于一个使用金字塔分割成5个图像块的母图像,取其所有图像块的网络输出值的平均值为其母图像的值;
(5-2)将测试集图像的5种形式输入到已训练且最优的多个并行卷积神经网络模型,得到的模型输出视为5个方面深度学习表达的图像情感特征,利用决策融合的方法,将这5个方面的特征输入到SVM分类器中,用五折交叉验证的方法对SVM分类器进行训练和测试,融合这5个方面的特征并得到测试集图像最终的情感分类结果。
9.根据权利要求1或8所述的基于多方面深度学习表达的图像情感分类方法,其特征在于,所述步骤(5)中,融合多个方面深度学习表达的图像情感特征阶段,使用决策融合的方法,将多个网络的输出视为网络学习的特征并将其输入到SVM分类器中训练和测试,得到图像情感的分类结果。
10.根据权利要求1所述的基于多方面深度学习表达的图像情感分类方法,其特征在于,所述步骤(6),目标图像输入到已训练的并行卷积神经网络模型和SVM分类器中,系统自动进行特征学习和图像情感分类,分类器计算图像属于不同情感类别的概率值,取概率最高的类别作为最终的评价结果。
CN201710438419.9A 2017-06-12 2017-06-12 一种基于多方面深度学习表达的图像情感分类方法 Pending CN107341506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710438419.9A CN107341506A (zh) 2017-06-12 2017-06-12 一种基于多方面深度学习表达的图像情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710438419.9A CN107341506A (zh) 2017-06-12 2017-06-12 一种基于多方面深度学习表达的图像情感分类方法

Publications (1)

Publication Number Publication Date
CN107341506A true CN107341506A (zh) 2017-11-10

Family

ID=60221450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710438419.9A Pending CN107341506A (zh) 2017-06-12 2017-06-12 一种基于多方面深度学习表达的图像情感分类方法

Country Status (1)

Country Link
CN (1) CN107341506A (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909095A (zh) * 2017-11-07 2018-04-13 江苏大学 一种基于深度学习的图像识别方法
CN107958219A (zh) * 2017-12-06 2018-04-24 电子科技大学 基于多模型和多尺度特征的图像场景分类方法
CN108305229A (zh) * 2018-01-29 2018-07-20 深圳市唯特视科技有限公司 一种基于深度学习轮廓网络的多视图重建方法
CN108388544A (zh) * 2018-02-10 2018-08-10 桂林电子科技大学 一种基于深度学习的图文融合微博情感分析方法
CN108416397A (zh) * 2018-03-30 2018-08-17 华南理工大学 一种基于ResNet-GCN网络的图像情感分类方法
CN108470061A (zh) * 2018-03-26 2018-08-31 福州大学 一种针对视角级文本的情感分类系统
CN108647723A (zh) * 2018-05-11 2018-10-12 湖北工业大学 一种基于深度学习网络的图像分类方法
CN108714026A (zh) * 2018-03-27 2018-10-30 杭州电子科技大学 基于深度卷积神经网络和在线决策融合的细粒度心电信号分类方法
CN108830282A (zh) * 2018-05-29 2018-11-16 电子科技大学 一种乳腺x光图像的乳腺肿块信息提取及分类方法
CN108985377A (zh) * 2018-07-18 2018-12-11 太原理工大学 一种基于深层网络的多特征融合的图像高级语义识别方法
CN109086868A (zh) * 2018-07-09 2018-12-25 南京邮电大学 一种抽象图像情感识别方法
CN109101999A (zh) * 2018-07-16 2018-12-28 华东师范大学 基于支持向量机的协神经网络可信决策方法
CN109325521A (zh) * 2018-08-24 2019-02-12 北京陌上花科技有限公司 用于虚拟人物的检测方法及装置
CN109543749A (zh) * 2018-11-22 2019-03-29 云南大学 基于深度学习的绘画情感分析方法
CN109685127A (zh) * 2018-12-17 2019-04-26 郑州云海信息技术有限公司 一种并行深度学习初至拾取的方法和系统
CN109740631A (zh) * 2018-12-07 2019-05-10 中国科学院东北地理与农业生态研究所 基于对象的obia-svm-cnn遥感影像分类方法
CN109781732A (zh) * 2019-03-08 2019-05-21 江西憶源多媒体科技有限公司 一种微小物检测并分类计数的方法
CN109783749A (zh) * 2018-12-10 2019-05-21 深圳变设龙信息科技有限公司 一种设计素材智能推荐方法、装置及终端设备
CN110119688A (zh) * 2019-04-18 2019-08-13 南开大学 一种利用视觉注意力协同网络的图像情感分类方法
CN110135461A (zh) * 2019-04-18 2019-08-16 南开大学 基于分层注意感知深度度量学习的情感图像检索的方法
CN110188791A (zh) * 2019-04-18 2019-08-30 南开大学 基于自动估计的视觉情感标签分布预测方法
CN110197206A (zh) * 2019-05-10 2019-09-03 杭州深睿博联科技有限公司 图像处理的方法及装置
CN110263822A (zh) * 2019-05-29 2019-09-20 广东工业大学 一种基于多任务学习方式的图像情感分析方法
CN110287990A (zh) * 2019-05-21 2019-09-27 山东大学 微型藻类图像分类方法、系统、设备及存储介质
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
CN110378406A (zh) * 2019-07-12 2019-10-25 北京字节跳动网络技术有限公司 图像情感分析方法、装置及电子设备
CN110796150A (zh) * 2019-10-29 2020-02-14 中山大学 一种基于情感显著性区域检测的图片情感识别方法
CN110866426A (zh) * 2018-08-28 2020-03-06 天津理工大学 基于光场相机和深度学习的行人识别方法
CN110910334A (zh) * 2018-09-15 2020-03-24 北京市商汤科技开发有限公司 一种实例分割方法、图像处理设备及计算机可读存储介质
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111193917A (zh) * 2018-12-29 2020-05-22 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN111488915A (zh) * 2020-03-17 2020-08-04 天津大学 一种用于中国画分类的端到端的多任务特征融合方法
CN111582397A (zh) * 2020-05-14 2020-08-25 杭州电子科技大学 一种基于注意力机制的cnn-rnn图像情感分析方法
CN111612090A (zh) * 2020-05-29 2020-09-01 中国科学技术大学 基于内容颜色交叉相关的图像情感分类方法
CN111666956A (zh) * 2020-06-09 2020-09-15 齐鲁工业大学 一种多尺度特征提取及融合方法及装置
CN111680755A (zh) * 2020-06-11 2020-09-18 上海交通大学医学院附属第九人民医院 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN111832573A (zh) * 2020-06-12 2020-10-27 桂林电子科技大学 一种基于类激活映射和视觉显著性的图像情感分类方法
CN111898400A (zh) * 2019-12-30 2020-11-06 南京信息工程大学 一种基于多模态特征融合的指纹活性检测方法
CN112567474A (zh) * 2018-08-07 2021-03-26 第一百欧有限公司 利用多重颜色模型和神经网络的疾病诊断系统和方法
CN112613552A (zh) * 2020-12-18 2021-04-06 北京工业大学 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法
CN113496442A (zh) * 2020-03-19 2021-10-12 荷盛崧钜智财顾问股份有限公司 图表征产生系统,图表征产生方法与其图表征智能模块
CN113642627A (zh) * 2021-08-09 2021-11-12 中国人民解放军海军航空大学航空作战勤务学院 一种基于深度学习的图像与决策多源异类信息融合识别方法和装置
CN113706524A (zh) * 2021-09-17 2021-11-26 上海交通大学 基于持续学习方法改进的卷积神经网络翻拍图像检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法
WO2016168235A1 (en) * 2015-04-17 2016-10-20 Nec Laboratories America, Inc. Fine-grained image classification by exploring bipartite-graph labels
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016168235A1 (en) * 2015-04-17 2016-10-20 Nec Laboratories America, Inc. Fine-grained image classification by exploring bipartite-graph labels
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HE K ET AL: "《Deep Residual Learning for Image Recognition》", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
SERMANET P ET AL: "《OverFeat:Integrated Recognition, Localization and Detection using Convolutional Networks》", 《EPRINT ARXIV》 *
周伟等: "《基于显著图的花卉图像分类算法研究》", 《计算机技术与发展》 *
王伟凝等: "《基于并行深度卷积神经网络的图像美感分类》", 《自动化学报》 *
陈敏: "《认知计算导论》", 30 April 2017, 华中科技大学出版社 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909095A (zh) * 2017-11-07 2018-04-13 江苏大学 一种基于深度学习的图像识别方法
CN107958219A (zh) * 2017-12-06 2018-04-24 电子科技大学 基于多模型和多尺度特征的图像场景分类方法
CN108305229A (zh) * 2018-01-29 2018-07-20 深圳市唯特视科技有限公司 一种基于深度学习轮廓网络的多视图重建方法
CN108388544A (zh) * 2018-02-10 2018-08-10 桂林电子科技大学 一种基于深度学习的图文融合微博情感分析方法
CN108470061A (zh) * 2018-03-26 2018-08-31 福州大学 一种针对视角级文本的情感分类系统
CN108714026A (zh) * 2018-03-27 2018-10-30 杭州电子科技大学 基于深度卷积神经网络和在线决策融合的细粒度心电信号分类方法
CN108416397A (zh) * 2018-03-30 2018-08-17 华南理工大学 一种基于ResNet-GCN网络的图像情感分类方法
CN108647723A (zh) * 2018-05-11 2018-10-12 湖北工业大学 一种基于深度学习网络的图像分类方法
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
CN108830282A (zh) * 2018-05-29 2018-11-16 电子科技大学 一种乳腺x光图像的乳腺肿块信息提取及分类方法
CN109086868B (zh) * 2018-07-09 2022-07-26 南京邮电大学 一种抽象图像情感识别方法
CN109086868A (zh) * 2018-07-09 2018-12-25 南京邮电大学 一种抽象图像情感识别方法
CN109101999A (zh) * 2018-07-16 2018-12-28 华东师范大学 基于支持向量机的协神经网络可信决策方法
CN109101999B (zh) * 2018-07-16 2021-06-25 华东师范大学 基于支持向量机的协神经网络可信决策方法
CN108985377A (zh) * 2018-07-18 2018-12-11 太原理工大学 一种基于深层网络的多特征融合的图像高级语义识别方法
CN112567474A (zh) * 2018-08-07 2021-03-26 第一百欧有限公司 利用多重颜色模型和神经网络的疾病诊断系统和方法
CN109325521B (zh) * 2018-08-24 2021-09-07 北京陌上花科技有限公司 用于虚拟人物的检测方法及装置
CN109325521A (zh) * 2018-08-24 2019-02-12 北京陌上花科技有限公司 用于虚拟人物的检测方法及装置
CN110866426A (zh) * 2018-08-28 2020-03-06 天津理工大学 基于光场相机和深度学习的行人识别方法
CN110910334A (zh) * 2018-09-15 2020-03-24 北京市商汤科技开发有限公司 一种实例分割方法、图像处理设备及计算机可读存储介质
CN109543749A (zh) * 2018-11-22 2019-03-29 云南大学 基于深度学习的绘画情感分析方法
CN109740631A (zh) * 2018-12-07 2019-05-10 中国科学院东北地理与农业生态研究所 基于对象的obia-svm-cnn遥感影像分类方法
CN109783749A (zh) * 2018-12-10 2019-05-21 深圳变设龙信息科技有限公司 一种设计素材智能推荐方法、装置及终端设备
CN109685127A (zh) * 2018-12-17 2019-04-26 郑州云海信息技术有限公司 一种并行深度学习初至拾取的方法和系统
CN111193917A (zh) * 2018-12-29 2020-05-22 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN111193917B (zh) * 2018-12-29 2021-08-10 中科寒武纪科技股份有限公司 运算方法、装置及相关产品
CN109781732A (zh) * 2019-03-08 2019-05-21 江西憶源多媒体科技有限公司 一种微小物检测并分类计数的方法
CN110119688A (zh) * 2019-04-18 2019-08-13 南开大学 一种利用视觉注意力协同网络的图像情感分类方法
CN110188791B (zh) * 2019-04-18 2023-07-07 南开大学 基于自动估计的视觉情感标签分布预测方法
CN110188791A (zh) * 2019-04-18 2019-08-30 南开大学 基于自动估计的视觉情感标签分布预测方法
CN110135461A (zh) * 2019-04-18 2019-08-16 南开大学 基于分层注意感知深度度量学习的情感图像检索的方法
CN110197206A (zh) * 2019-05-10 2019-09-03 杭州深睿博联科技有限公司 图像处理的方法及装置
CN110287990A (zh) * 2019-05-21 2019-09-27 山东大学 微型藻类图像分类方法、系统、设备及存储介质
CN110263822A (zh) * 2019-05-29 2019-09-20 广东工业大学 一种基于多任务学习方式的图像情感分析方法
CN110378406A (zh) * 2019-07-12 2019-10-25 北京字节跳动网络技术有限公司 图像情感分析方法、装置及电子设备
CN110796150B (zh) * 2019-10-29 2022-09-16 中山大学 一种基于情感显著性区域检测的图片情感识别方法
CN110796150A (zh) * 2019-10-29 2020-02-14 中山大学 一种基于情感显著性区域检测的图片情感识别方法
CN111898400A (zh) * 2019-12-30 2020-11-06 南京信息工程大学 一种基于多模态特征融合的指纹活性检测方法
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法
CN111488915B (zh) * 2020-03-17 2023-04-11 天津大学 一种用于中国画分类的端到端的多任务特征融合方法
CN111488915A (zh) * 2020-03-17 2020-08-04 天津大学 一种用于中国画分类的端到端的多任务特征融合方法
CN113496442A (zh) * 2020-03-19 2021-10-12 荷盛崧钜智财顾问股份有限公司 图表征产生系统,图表征产生方法与其图表征智能模块
CN111582397A (zh) * 2020-05-14 2020-08-25 杭州电子科技大学 一种基于注意力机制的cnn-rnn图像情感分析方法
CN111582397B (zh) * 2020-05-14 2023-04-07 杭州电子科技大学 一种基于注意力机制的cnn-rnn图像情感分析方法
CN111612090A (zh) * 2020-05-29 2020-09-01 中国科学技术大学 基于内容颜色交叉相关的图像情感分类方法
CN111612090B (zh) * 2020-05-29 2022-09-06 中国科学技术大学 基于内容颜色交叉相关的图像情感分类方法
CN111666956A (zh) * 2020-06-09 2020-09-15 齐鲁工业大学 一种多尺度特征提取及融合方法及装置
CN111680755B (zh) * 2020-06-11 2023-06-27 上海交通大学医学院附属第九人民医院 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN111680755A (zh) * 2020-06-11 2020-09-18 上海交通大学医学院附属第九人民医院 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN111832573B (zh) * 2020-06-12 2022-04-15 桂林电子科技大学 一种基于类激活映射和视觉显著性的图像情感分类方法
CN111832573A (zh) * 2020-06-12 2020-10-27 桂林电子科技大学 一种基于类激活映射和视觉显著性的图像情感分类方法
CN112613552A (zh) * 2020-12-18 2021-04-06 北京工业大学 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法
CN113642627A (zh) * 2021-08-09 2021-11-12 中国人民解放军海军航空大学航空作战勤务学院 一种基于深度学习的图像与决策多源异类信息融合识别方法和装置
CN113642627B (zh) * 2021-08-09 2024-03-08 中国人民解放军海军航空大学航空作战勤务学院 一种基于深度学习的图像与决策多源异类信息融合识别方法和装置
CN113706524A (zh) * 2021-09-17 2021-11-26 上海交通大学 基于持续学习方法改进的卷积神经网络翻拍图像检测系统
CN113706524B (zh) * 2021-09-17 2023-11-14 上海交通大学 基于持续学习方法改进的卷积神经网络翻拍图像检测系统

Similar Documents

Publication Publication Date Title
CN107341506A (zh) 一种基于多方面深度学习表达的图像情感分类方法
CN106650806B (zh) 一种用于行人检测的协同式深度网络模型方法
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN103258204B (zh) 一种基于Gabor和EOH特征的自动微表情识别方法
CN104281853B (zh) 一种基于3d卷积神经网络的行为识别方法
CN108491858A (zh) 基于卷积神经网络的疲劳驾驶检测方法及系统
CN106651830A (zh) 一种基于并行卷积神经网络的图像质量测试方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN108171209A (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN108509978A (zh) 基于cnn的多级特征融合的多类目标检测方法及模型
CN106599933A (zh) 一种基于联合深度学习模型的文本情感分类方法
CN108764308A (zh) 一种基于卷积循环网络的行人重识别方法
CN107622272A (zh) 一种图像分类方法及装置
CN106951825A (zh) 一种人脸图像质量评估系统以及实现方法
CN107818302A (zh) 基于卷积神经网络的非刚性多尺度物体检测方法
CN106980858A (zh) 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法
CN106295506A (zh) 一种基于集成卷积神经网络的年龄识别方法
CN107368787A (zh) 一种面向深度智驾应用的交通标志识别算法
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN108109160A (zh) 一种基于深度学习的免交互式GrabCut舌体分割方法
CN106485251A (zh) 基于深度学习的鸡蛋胚胎分类
CN108961245A (zh) 基于双通道深度并行卷积网络的图像质量分类方法
CN110516539A (zh) 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备
CN101667245B (zh) 基于支持向量新颖检测分类器级联的人脸检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171110