CN110796150B - 一种基于情感显著性区域检测的图片情感识别方法 - Google Patents

一种基于情感显著性区域检测的图片情感识别方法 Download PDF

Info

Publication number
CN110796150B
CN110796150B CN201911036178.0A CN201911036178A CN110796150B CN 110796150 B CN110796150 B CN 110796150B CN 201911036178 A CN201911036178 A CN 201911036178A CN 110796150 B CN110796150 B CN 110796150B
Authority
CN
China
Prior art keywords
emotion
layer
convolution
picture
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911036178.0A
Other languages
English (en)
Other versions
CN110796150A (zh
Inventor
郑伟诗
余嘉豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201911036178.0A priority Critical patent/CN110796150B/zh
Publication of CN110796150A publication Critical patent/CN110796150A/zh
Application granted granted Critical
Publication of CN110796150B publication Critical patent/CN110796150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于情感显著性区域检测的图片情感识别方法，包括下述步骤：S1、构建一个双任务深度网络模型；S2、将同一张图片缩放成两张尺寸大小不同的图片，并将这两张图片分别输入到结构相同的深度网络；S3、两个深度网络的输出都是图片提取到的有用特征，然后这两部分图片特征将会进行合并，衍生出两个任务分支；S4、一个分支负责利用这些图片特征来推测出这张图片中对观看者情感有决定性影响的情感显著性区域，另一个分支则根据前一个任务分支推测出的情感显著区域来进一步提取图片特征和进行情感分类。本发明创新的将情感显著性区域检测引入到图片情感识别问题中，对图片的情感识别分类效果更好，准确率更高。

Description

一种基于情感显著性区域检测的图片情感识别方法
技术领域
本发明属于计算机视觉、情感计算的技术领域，涉及一种基于情感显著性区域检测的图片情感识别方法。
背景技术
人的情感会受到视觉刺激而发生改变，图片则是一种常见的视觉刺激手段。有些色彩明亮鲜艳的图片会给观看者一种愉悦放松的感觉，而有些印有恐怖内容的图片则会给观看者带来恐怖害怕的感受。图片情感识别问题是为了预测图片会给观看者带来一种怎样的情感体验。一般来说，人的情感可以离散分类成以下六个类别：惊讶、高兴、害怕、厌恶、伤心、生气等，因此图片情感识别就会为每张图片从这六个情感类标中选择一个情感类别作为这张图片的情感类标。比如有一张图片往往会让观看者感受到悲伤，那么这张图片就被标记上“伤心”的类标。图片情感识别有着广泛的应用场景，可以用于图片检索，图片描述，个性化推荐等等。大多数现有的图片情感识别方法是基于人工定义的特征，如基于心理学、美学制定的特征，还有依据图片颜色、纹理以及组成制定的特征。这些特征根据相关定义被提取后将会进入到分类器，如支持向量机、贝叶斯网络等，相关分类器进行训练后便具备了预测图片情感类别的能力。随着深度学习的快速发展，近几年有一些图片情感识别方法利用深度网络来构建分类模型。这些以深度学习为基础的识别方法常常将一整张图片作为深度网络的输入，通过深度网络提取特征后进行分类。其中深度网络提取的特征相较于人工定义的特征，效果更好识别正确率更高。
现有的以深度学习为基础的模型都以整张图片作为网络的输入来提取图片的深度特征，然而这些模型忽略了很重要的一个客观事实，实际上一张图片对观看者情感的影响往往是由这张图片的局部内容决定的，也就是说，对一整张图片直接建模提取全局特征是不够理想的，应该先找出这张图片中对观看者情感有决定性影响的部分内容，也称之为“情感显著性区域”，然后针对这个情感显著性区域进行特征提取而不是直接对整张图片进行特征提取。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于情感显著性区域检测的图片情感识别方法，先检测情感显著性区域，然后再针对显著性区域来提取特征和分类。
为了达到上述目的，本发明采用以下技术方案：
本发明一种基于情感显著性区域检测的图片情感识别方法，包括下述步骤：
S1、构建一个双任务深度网络模型，所述双任务深度网络模型包括第一深度网络和第二深度网络，所述第一深度网络负责情感显著性区域检测，所述第二深度网络根据检测到的情感显著性区域来提取图片的特征；
S2、将同一张图片缩放成两张尺寸大小不同的图片，并将这两张图片分别输入到结构相同的第一深度网络和第二深度网络中，经过第一深度网络和第二深度网络的计算后得到两个输出；
S3、两个深度网络的输出都是图片提取到的有用特征，然后这两部分图片特征将会进行合并，衍生出两个任务分支，即情感显著性区域检测任务分支和图片情感分类分支；
S4、所述情感显著性区域检测任务分支负责利用这些图片特征来推测出这张图片中对观看者情感有决定性影响的情感显著性区域，所述图片情感分类分支则根据前一个任务分支推测出的情感显著区域来进一步提取图片特征和进行情感分类。
作为优选的技术方案，所述第一深度网络和第二深度网络的结构相同。
作为优选的技术方案，所述第一深度网络输入448*448的三通道图片，然后开始第一深度网络计算；
所述第二深度网络输入672*672的三通道图片，然后开始第二深度网络计算；
第一深度网络和第二深度网络均包括18层网络结构，具体为：
第一层：卷积模板为3*3*64的卷积层，卷积计算后生成64通道的特征图；
第二层：卷积模板为3*3*64的卷积层，卷积计算后生成64通道的特征图；
第三层：池化模板为2*2的池化层，池化计算后生成64通道的特征图；
第四层：卷积模板为3*3*128的卷积层，卷积计算后生成128通道的特征图；
第五层：卷积模板为3*3*128的卷积层，卷积计算后生成128通道的特征图；
第六层：池化模板为2*2的池化层，池化计算后生成128通道的特征图；
第七层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第八层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第九层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第十层：池化模板为2*2的池化层，池化计算后生成256通道的特征图；
第十一层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十二层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十三层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十四层：池化模板为2*2的池化层，池化计算后生成512通道的特征图；
第十五层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十六层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十七层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十八层：池化模板为2*2的池化层，池化计算后生成512通道的特征图；
第一深度网络18层计算完后的输出为14*14的512通道特征图；
第二深度网络18层计算完后的输出为21*21的512通道特征图。
作为优选的技术方案，在步骤S3中，对所述第一深度网络的输出进行上采样，采用后的输出与第二深度网络的输出相同。
作为优选的技术方案，步骤S3中，将两部分图片特征将会进行合并，经过对第一深度网络的输出进行上采样后，得到21*21*512的特征图，大小和第二深度网络的输出一致，都为21*21*512，然后这两个特征图以第三维为基准进行合并，得到21*21*1024的特征图，即合并后的新特征图前半部分21*21*512是第一深度网络得到的结果，后半部分21*21*512是第二深度网络得到的结果。
作为优选的技术方案，步骤S4中，所述情感显著性区域检测任务分支，通过对21*21*1024的Feature Map加以一个卷积模板为1*1*1的卷积层来生成一个大小为21*21的情感显著性区域预测图片，这张21*21的图片中越亮的部分表示其对观看者情感的影响起越重要的作用，而越黑的部分则表明其对观看者情感的影响起越不重要的作用。
作为优选的技术方案，在训练时，将情感显著性区域检测分支输出预测的显著性图片与实际经过人工标记的显著性图片做比较，这两张图片的差别作为反向更新网络参数的依据，具体损失函数的定义如下：
Figure BDA0002251559960000051
其中M表示每代训练的样本数量，pi表示模型预测的情感显著性区域图片，gi表示人工标记的真实情感显著性区域图片；有了这个损失函数的约束，在模型训练中深度网络便可以学习定位出情感显著性部分，以及把这个经验用于图片特征提取与情感分类任务分支上。
作为优选的技术方案，步骤S4中，所述图片情感分类分支是通过对21*21*1024的Feature Map加以多个全连接层来实现的，在分类任务分支的最后加以一个经典的Softmax层来达到分类目的。
作为优选的技术方案，在训练时，将情感分类任务分支输出预测的图片情感类标与实际经过人工标记的真实图片情感类标比较，这两个类标的差别作为反向更新网络参数的依据，具体损失函数的定义如下：
Figure BDA0002251559960000052
其中M表示每代训练的样本数量，s(y＝yi)表示预测为正确类别概率，d,W表示网络的参数。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明创新性地将情感显著性区域检测引入到图片情感识别问题中，即先检测图片中对观看者情感起决定性影响的显著性部分，然后在根据检测到显著性部分来进行特征提取和分类。通过构建双任务网络模型，其中一个任务负责检测情感显著性区域，另一个任务根据显著性区域这个先验知识来提取图片的特征，继而完成情感识别分类任务。而现有的模型则是以整张图片作为网络的输入，且这个网络是单任务网络，只负责提取特征和分类，不负责检测具体的情感显著性区域，忽略了情感显著性区域的重要性，这就是本发明和现有模型最大的不同。
2、本发明对图片的情感识别分类效果更好，准确率更高。这个优点是根据图片对观看者情感的影响主要取决于图片的局部这个事实，然后依托情感显著性区域的检测来实现的。
附图说明
图1是本发明的方法流程图；
图2是本发明的深度网络的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本发明构建了一个双任务深度网络模型，所述双任务深度网络模型包括第一深度网络和第二深度网络，所述第一深度网络负责情感显著性区域检测，所述第二深度网络根据检测到的情感显著性区域来提取图片的特征，继而完成图片的情感识别分类。
如图1所示，为了更好的从图片中挖掘有用信息，本发明将同一张图片缩放成两张尺寸大小不同的图片，一大一小，这样有利于从不同尺度来衡量图片。这两张图片将分别输入到结构相同的深度网络中，经过深度网络的计算后得到两个输出，这时候两个深度网络的输出都是图片提取到的有用特征(FeatureMap)，然后这两部分图片特征将会进行合并，进而衍生出两个任务分支。其中一个任务分支负责利用这些图片特征来推测出这张图片中对观看者情感有决定性影响的局部内容(情感显著性区域)，另一个任务分支则根据前一个任务分支推测出的情感显著区域来进一步提取图片特征和进行情感分类，通过这样双任务模型的构建，创新性地将情感显著性区域检测引入到图片情感识别问题中，即先检测图片中对观看者情感起决定性影响的显著性部分，然后在根据检测到情感显著性部分来进行特征提取和分类。
下面结合具体的实验对本发明做进一步的阐述：
如图2所示，本实施例将一张图片缩放成两张大小不同的图片，一张尺寸为448*448，另一张尺寸为672*672。这两张图片分别输入到网络结构相同的深度网络中，该深度网络由卷积模板为3*3的卷积层、池化层、激活函数为Relu的激活层等构成，总共18层，详细的深度网络内部结构如图2所示，第一深度网络和第二深度网络均包括18层网络结构，具体为：
第一层：卷积模板为3*3*64的卷积层，卷积计算后生成64通道的特征图；
第二层：卷积模板为3*3*64的卷积层，卷积计算后生成64通道的特征图；
第三层：池化模板为2*2的池化层，池化计算后生成64通道的特征图；
第四层：卷积模板为3*3*128的卷积层，卷积计算后生成128通道的特征图；
第五层：卷积模板为3*3*128的卷积层，卷积计算后生成128通道的特征图；
第六层：池化模板为2*2的池化层，池化计算后生成128通道的特征图；
第七层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第八层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第九层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第十层：池化模板为2*2的池化层，池化计算后生成256通道的特征图；
第十一层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十二层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十三层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十四层：池化模板为2*2的池化层，池化计算后生成512通道的特征图；
第十五层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十六层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十七层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十八层：池化模板为2*2的池化层，池化计算后生成512通道的特征图。
上述第一深度网络和第二深度网络的输出分别是14*14*512以及21*21*512的Feature Map，为了将这两个部分的Feature Map进行整合，必须使其尺寸一致化，因此对14*14*512的Feature Map进行上采样，得到21*21*512的Feature Map，然后与先前的21*21*512的Feature Map进行合并(concat)，得到21*21*1024的Feature Map。然后该模型进一步衍生出两个任务分支，即情感显著性区域检测任务分支和图片情感分类分支，情感显著性区域检测任务分支负责利用这些Feature Map来预测出这张图片中对观看者情感有决定性影响的局部内容(情感显著性区域)，图片情感分类分支则根据前一个任务分支推测出的情感显著区域来进一步提取图片特征和进行情感分类。具体来看，情感显著性区域检测任务分支是通过对21*21*1024的Feature Map加以一个卷积模板为1*1*1的卷积层来生成一个大小为21*21的情感显著性区域预测图片，这张21*21的图片中越亮的部分表示其对观看者情感的影响起越重要的作用，而越黑的部分则表明其对观看者情感的影响起越不重要的作用。在模型训练中，将情感显著性区域检测分支输出预测的显著性图片与实际经过人工标记的显著性图片做比较，这两张图片的差别作为反向更新网络参数的依据，具体损失函数的定义如下：
Figure BDA0002251559960000091
其中M表示每代训练的样本数量，pi表示模型预测的情感显著性区域图片，gi表示人工标记的真实情感显著性区域图片。有了这个损失函数的约束，在模型训练中深度网络便可以学习定位出情感显著性部分，以及把这个经验用于图片特征提取与情感分类任务分支上。接下来看另一个分支，图片情感分类分支是通过对21*21*1024的Feature Map加以多个全连接层来实现的，在分类任务分支的最后加以一个经典的Softmax层来达到分类目的。在模型训练中，将情感分类任务分支输出预测的图片情感类标与实际经过人工标记的真实图片情感类标比较，这两个类标的差别作为反向更新网络参数的依据，具体损失函数的定义如下：
Figure BDA0002251559960000101
其中M表示每代训练的样本数量，s(y＝yi)表示预测为正确类别概率，d,W表示网络的参数。通过上述两个分支的联合训练，便可实现本发明提出的一种基于情感显著性区域检测的图片情感识别方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于情感显著性区域检测的图片情感识别方法，其特征在于，包括下述步骤：
S1、构建一个双任务深度网络模型，所述双任务深度网络模型包括第一深度网络和第二深度网络；
所述第一深度网络输入448*448的三通道图片，然后开始第一深度网络计算；
所述第二深度网络输入672*672的三通道图片，然后开始第二深度网络计算；
第一深度网络和第二深度网络均包括18层网络结构，具体为：
第一层：卷积模板为3*3*64的卷积层，卷积计算后生成64通道的特征图；
第二层：卷积模板为3*3*64的卷积层，卷积计算后生成64通道的特征图；
第三层：池化模板为2*2的池化层，池化计算后生成64通道的特征图；
第四层：卷积模板为3*3*128的卷积层，卷积计算后生成128通道的特征图；
第五层：卷积模板为3*3*128的卷积层，卷积计算后生成128通道的特征图；
第六层：池化模板为2*2的池化层，池化计算后生成128通道的特征图；
第七层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第八层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第九层：卷积模板为3*3*256的卷积层，卷积计算后生成256通道的特征图；
第十层：池化模板为2*2的池化层，池化计算后生成256通道的特征图；
第十一层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十二层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十三层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十四层：池化模板为2*2的池化层，池化计算后生成512通道的特征图；
第十五层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十六层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十七层：卷积模板为3*3*512的卷积层，卷积计算后生成512通道的特征图；
第十八层：池化模板为2*2的池化层，池化计算后生成512通道的特征图；
第一深度网络18层计算完后的输出为14*14的512通道特征图；
第二深度网络18层计算完后的输出为21*21的512通道特征图；
S2、将同一张图片缩放成两张尺寸大小不同的图片，并将这两张图片分别输入到结构相同的第一深度网络和第二深度网络中，经过第一深度网络和第二深度网络的计算后得到两个输出；
S3、两个深度网络的输出都是图片提取到的有用特征，然后这两部分图片特征将会进行合并，衍生出两个任务分支，即情感显著性区域检测任务分支和图片情感分类分支；
S4、所述情感显著性区域检测任务分支负责利用这些图片特征来推测出这张图片中对观看者情感有决定性影响的情感显著性区域，所述图片情感分类分支则根据前一个任务分支推测出的情感显著区域来进一步提取图片特征和进行情感分类。
2.根据权利要求1所述基于情感显著性区域检测的图片情感识别方法，其特征在于，在步骤S3中，对所述第一深度网络的输出进行上采样，采样后的输出与第二深度网络的输出相同。
3.根据权利要求1所述基于情感显著性区域检测的图片情感识别方法，其特征在于，步骤S3中，将两部分图片特征将会进行合并，经过对第一深度网络的输出进行上采样后，得到21*21*512的特征图，大小和第二深度网络的输出一致，都为21*21*512，然后这两个特征图以第三维为基准进行合并，得到21*21*1024的特征图，即合并后的新特征图前半部分21*21*512是第一深度网络得到的结果，后半部分21*21*512是第二深度网络得到的结果。
4.根据权利要求1所述基于情感显著性区域检测的图片情感识别方法，其特征在于，步骤S4中，所述情感显著性区域检测任务分支，通过对21*21*1024的特征图加以一个卷积模板为1*1*1的卷积层来生成一个大小为21*21的情感显著性区域预测图片，这张21*21的图片中越亮的部分表示其对观看者情感的影响起越重要的作用，而越黑的部分则表明其对观看者情感的影响起越不重要的作用。
5.根据权利要求4所述基于情感显著性区域检测的图片情感识别方法，其特征在于，在训练时，将情感显著性区域检测分支输出预测的显著性图片与实际经过人工标记的显著性图片做比较，这两张图片的差别作为反向更新网络参数的依据，具体损失函数的定义如下：
Figure DEST_PATH_IMAGE001
其中M表示每代训练的样本数量，pi表示模型预测的情感显著性区域图片，gi表示人工标记的真实情感显著性区域图片；有了这个损失函数的约束，在模型训练中深度网络便可以学习定位出情感显著性部分，以及把这个经验用于图片特征提取与情感分类任务分支上。
6.根据权利要求1所述基于情感显著性区域检测的图片情感识别方法，其特征在于，步骤S4中，所述图片情感分类分支是通过对21*21*1024的特征图加以多个全连接层来实现的，在分类任务分支的最后加以一个经典的Softmax层来达到分类目的。
7.根据权利要求6所述基于情感显著性区域检测的图片情感识别方法，其特征在于，在训练时，将情感分类任务分支输出预测的图片情感类标与实际经过人工标记的真实图片情感类标比较，这两个类标的差别作为反向更新网络参数的依据，具体损失函数的定义如下：
Figure 939678DEST_PATH_IMAGE002
其中M表示每代训练的样本数量，s(y=yi)表示预测为正确类别概率，d,W表示网络的参数。
CN201911036178.0A 2019-10-29 2019-10-29 一种基于情感显著性区域检测的图片情感识别方法 Active CN110796150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911036178.0A CN110796150B (zh) 2019-10-29 2019-10-29 一种基于情感显著性区域检测的图片情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911036178.0A CN110796150B (zh) 2019-10-29 2019-10-29 一种基于情感显著性区域检测的图片情感识别方法

Publications (2)

Publication Number Publication Date
CN110796150A CN110796150A (zh) 2020-02-14
CN110796150B true CN110796150B (zh) 2022-09-16

Family

ID=69441728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911036178.0A Active CN110796150B (zh) 2019-10-29 2019-10-29 一种基于情感显著性区域检测的图片情感识别方法

Country Status (1)

Country Link
CN (1) CN110796150B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797936B (zh) * 2020-07-13 2023-08-08 长沙理工大学 基于显著性检测和多层次特征融合的图像情感分类方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN107392151A (zh) * 2017-07-21 2017-11-24 竹间智能科技（上海）有限公司 基于神经网络的人脸影像多维度情感判别系统及方法
CN110119688A (zh) * 2019-04-18 2019-08-13 南开大学 一种利用视觉注意力协同网络的图像情感分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815785A (zh) * 2018-12-05 2019-05-28 四川大学 一种基于双流卷积神经网络的人脸情绪识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341506A (zh) * 2017-06-12 2017-11-10 华南理工大学 一种基于多方面深度学习表达的图像情感分类方法
CN107392151A (zh) * 2017-07-21 2017-11-24 竹间智能科技（上海）有限公司 基于神经网络的人脸影像多维度情感判别系统及方法
CN110119688A (zh) * 2019-04-18 2019-08-13 南开大学 一种利用视觉注意力协同网络的图像情感分类方法

Also Published As

Publication number Publication date
CN110796150A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN107451607B (zh) 一种基于深度学习的典型人物的身份识别方法
CN107391703B (zh) 图像库的建立方法及系统、图像库和图像分类方法
CN107679522B (zh) 基于多流lstm的动作识别方法
CN105045907B (zh) 一种用于个性化社会图像推荐的视觉注意‑标签‑用户兴趣树的构建方法
CN109815785A (zh) 一种基于双流卷积神经网络的人脸情绪识别方法
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN107368787A (zh) 一种面向深度智驾应用的交通标志识别算法
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN107105310A (zh) 一种视频直播中人物形象替换方法、装置和一种录播系统
CN107341506A (zh) 一种基于多方面深度学习表达的图像情感分类方法
CN108629326A (zh) 目标体的动作行为识别方法及装置
CN112446302B (zh) 一种人体姿态检测方法、系统、电子设备和存储介质
CN106951825A (zh) 一种人脸图像质量评估系统以及实现方法
CN107239801A (zh) 视频属性表示学习方法及视频文字描述自动生成方法
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN108416288A (zh) 基于全局与局部网络融合的第一视角交互动作识别方法
CN109948714A (zh) 基于残差卷积和递归神经网络的中文场景文本行识别方法
CN110148400A (zh) 发音类型的识别方法、模型的训练方法、装置及设备
CN111028319B (zh) 一种基于面部运动单元的三维非真实感表情生成方法
CN105210085A (zh) 使用最短连线特征的图像标记
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN109409199B (zh) 微表情训练方法、装置、存储介质及电子设备
CN108664885A (zh) 基于多尺度级联HourGlass网络的人体关键点检测方法
CN112183198A (zh) 肢体骨架和头手部件轮廓融合的手势识别方法
CN110288513A (zh) 用于改变人脸属性的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant