CN110555379B - 一种根据性别动态调整特征的人脸愉悦度估计方法 - Google Patents

一种根据性别动态调整特征的人脸愉悦度估计方法 Download PDF

Info

Publication number
CN110555379B
CN110555379B CN201910692940.4A CN201910692940A CN110555379B CN 110555379 B CN110555379 B CN 110555379B CN 201910692940 A CN201910692940 A CN 201910692940A CN 110555379 B CN110555379 B CN 110555379B
Authority
CN
China
Prior art keywords
module
bottleneeck
pleasure
network
downsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910692940.4A
Other languages
English (en)
Other versions
CN110555379A (zh
Inventor
彭德智
唐珩膑
舒琳
邢晓芬
张国雄
王岽然
巫朝政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910692940.4A priority Critical patent/CN110555379B/zh
Publication of CN110555379A publication Critical patent/CN110555379A/zh
Application granted granted Critical
Publication of CN110555379B publication Critical patent/CN110555379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种根据性别动态调整特征的人脸愉悦度估计方法，包括以下步骤：S1、通过对人脸图片进行数据预处理得到经过预处理的图片I；S2、将经过预处理的图片I输入到性别识别网络中进行性别识别；S3、根据性别识别结果，将经过预处理的图片I输入到对应的特征调整网络，得到特征图调整矩阵；S4、将经过预处理的图片I输入到愉悦度估计网络中，通过特征图调整矩阵对愉悦度估计网络的特征图进行调整，最终输出愉悦度估计的结果。所述方法结合人脸的性别特征，自动识别人脸图片的性别，通过特征调整网络动态地调整愉悦度估计网络的特征，得到了准确的愉悦度估计结果，具有广阔的应用前景。

Description

一种根据性别动态调整特征的人脸愉悦度估计方法
技术领域
本发明涉及图像处理领域和深度学习领域，尤其在人脸愉悦度估计方面提出了一种根据性别自动调整特征的解决方案。
背景技术
近年来，随着移动互联网和移动硬件的迅速发展，自拍已经成为人们日常生活中不可缺少的一部分，各种美颜、特效自拍软件也如雨后春笋般涌现。在人脸检测和识别技术已经非常成熟的情况下，对人脸情感的分析成为下一个非常具有应用价值的领域。但是由于情感的分析涉及到非常抽象的语义且各种情感之间的界限并不清晰，传统的方法在情感分析方面的效果较差。随着深度学习技术的发展，深度神经网络强大的特征提取能力为提升情感分析的效果提供了可能。借助深度学习技术对人脸图片进行愉悦度的估计，能够帮助人们找到平凡生活中愉快的瞬间，保存最珍贵的回忆。
由于人脸愉悦度估计的高度复杂性和抽象性，传统的基于手工提取的特征，如局部二值模式(LBP)、方向梯度直方图(HOG)等，得到的准确率较差；简单使用深度神经分类网络如VGG、ResNet等的效果也有待提升。
发明内容
本发明的目的是针对现有技术的不足，提供了一种根据性别动态调整特征的人脸愉悦度估计方法，所述方法借助性别信息，根据人脸图片的性别识别结果，采用两个针对不同性别的特征调整网络，动态地调整愉悦度估计网络的特征，使其针对不同性别的人脸图片，提取更加具有针对性的特征，提升了愉悦度估计的准确率。
本发明的目的可以通过如下技术方案实现：
一种根据性别动态调整特征的人脸愉悦度估计方法，所述方法包括以下步骤：
S1、通过对人脸图片进行数据预处理得到经过预处理的图片I；
S2、将经过预处理的图片I输入到性别识别网络中进行性别识别；
S3、根据性别识别结果，将经过预处理的图片I输入到对应的特征调整网络，得到特征图调整矩阵；
S4、将经过预处理的图片I输入到愉悦度估计网络中，通过特征图调整矩阵对愉悦度估计网络的特征图进行调整，最终输出愉悦度估计的结果。
进一步地，步骤S1中所述数据预处理的具体过程为：读取人脸图片得到3×H×W的矩阵，其中H为图片在竖直方向上的像素数量，W为图片在水平方向上的像素数量，3表示为RGB三通道图片；矩阵中的所有元素都为[0,255]范围内的整数，对图片采用双线性插值方法将分辨率调整为256×256，然后对矩阵中的元素进行归一化，即对矩阵中的每一个元素都除以255，得到预处理后的数据，一个大小为3×256×256，元素数值在[0,1]范围内的矩阵。
进一步地，步骤S2中所述性别识别网络Ng的结构如下：
(1)卷积核大小为7、步长为2、通道数为64、边界补零长度为3的卷积层；BatchNorm层；激活层ReLU；
(2)核大小为3、步长为2、边界补零长度为1的最大池化层；
(3)连续2个通道数为64的无下采样的Bottleneck模块；
(4)通道数为128的带有下采样的Bottleneck模块；通道数为128的无下采样的Bottleneck模块；
(5)通道数为256的带有下采样的Bottleneck模块；通道数为256的无下采样的Bottleneck模块；
(6)通道数为512的带有下采样的Bottleneck模块；通道数为512的无下采样的Bottleneck模块；
(7)全局平均池化层；
(8)输入特征数量为2048，输出特征数量为2的全连接层。
进一步地，步骤S3中所述特征调整网络共有两个，分别为Nm、Nf，其中Nm用于人脸图片识别为男性时的动态特征调整，Nf用于人脸图片识别为女性时的动态特征调整；所述特征调整网络的结构如下：
(1)卷积核大小为7、步长为2、通道数为64、边界补零长度为3的卷积层；BatchNorm层；激活层ReLU；
(2)核大小为3、步长为2、边界补零长度为1的最大池化层；
(3)连续2个通道数为64的无下采样的Bottleneck模块；
(4)通道数为128的带有下采样的Bottleneck模块；通道数为128的无下采样的Bottleneck模块；
(5)通道数为256的带有下采样的Bottleneck模块；通道数为256的无下采样的Bottleneck模块；
(6)通道数为512的带有下采样的Bottleneck模块；通道数为512的无下采样的Bottleneck模块。
进一步地，步骤S4中所述愉悦度估计网络Nh的结构如下：
(1)卷积核大小为7、步长为2、通道数为64、边界补零长度为3的卷积层；BatchNorm层；激活层ReLU；
(2)核大小为3、步长为2、边界补零长度为1的最大池化层；
(3)连续3个通道数为64的无下采样的Bottleneck模块；
(4)通道数为128的带有下采样的Bottleneck模块；连续3个通道数为128的无下采样的Bottleneck模块；
(5)通道数为256的带有下采样的Bottleneck模块；连续5个通道数为256的无下采样的Bottleneck模块；
(6)通道数为512的带有下采样的Bottleneck模块；连续2个通道数为512的无下采样的Bottleneck模块；
(7)全局平均池化层；
(8)输入特征数量为2048，输出特征数量为2的全连接层。
进一步地，所述Bottleneck模块，假设Bottleneck的通道数为cb，则Bottleneck模块的结构如下：
(1)卷积核大小为1、步长为1、通道数为cb的卷积层；BatchNorm层；激活层ReLU；
(2)如果该模块为包含下采样的Bottleneck，则为卷积核大小为3、步长为2、通道数为cb、边界补零长度为1的卷积层；BatchNorm层；激活层ReLU；
如果该模块不包含下采样，则为卷积核大小为3、步长为1、通道数为cb、边界补零长度为1的卷积层；BatchNorm层；激活层ReLU；
(3)卷积核大小为1、步长为1、通道数为4×cb的卷积层；BatchNorm层；
(4)如果该模块为包含下采样的Bottleneck，则将模块输入经过一个卷积核大小为3、步长为2、通道数为4×cb、边界补零长度为1的卷积层和BatchNorm层，将输出与(3)中输出相加；
如果该模块不包含下采样，则将模块输入与(3)中输出相加；
(5)激活层ReLU。
进一步地，步骤S2中，将经过预处理的图片I输入到性别识别网络Ng中，得到输出Og＝[of，om]，对Og进行Softmax操作，得到人脸图片属于女性的概率pf以及属于男性的概率pm：
Figure BDA0002148453910000031
Figure BDA0002148453910000032
其中，pf+pm＝1，选择概率大的作为性别识别的结果。
进一步地，步骤S3中，若性别识别结果为男性，则将经过预处理的图片I输入特征调整网络Nm；若得到的性别识别结果为女性，则将经过预处理的图片I输入特征调整网络Nf；最终得到特征图调整矩阵M1，M2，M3，M4，所述特征图调整矩阵M1，M2，M3，M4分别对应于特征调整网络中(3)、(4)、(5)、(6)的输出。
进一步地，步骤S4中，将经过预处理的图片I输入到愉悦度估计网络中，愉悦度估计网络(3)、(4)、(5)、(6)处分别得到特征图f1，f2，f3，f4，通过特征图调整矩阵对愉悦度估计网络的特征图进行如下调整得到新的特征图F1，F2，F3，F4，用新的特征图替代原本的特征图：
F1＝f1+M1；F2＝f2+M2；F3＝f3+M3；F4＝f4+M4
得到愉悦度估计网络的输出为Oh＝[ouh，oh]，对Oh进行Softmax操作得到不愉悦的概率puh和愉悦的概率ph：
Figure BDA0002148453910000041
Figure BDA0002148453910000042
ph的百分数形式即为对该人脸图片的愉悦度估计。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明提供的一种根据性别动态调整特征的人脸愉悦度估计方法，将性别识别和愉悦度估计结合起来，能够同时得到性别识别结果和愉悦度估计结果。
2、本发明提供的一种根据性别动态调整特征的人脸愉悦度估计方法，通过性别识别结果动态地调整愉悦度估计网络的特征，针对不同性别的人脸图片进行优化，提升了愉悦度估计的效果。
附图说明
图1为本发明实施例实现根据性别动态调整特征的人脸愉悦度估计的整体结构图。
图2为本发明实施例无下采样的Bottleneck模块示意图。
图3为本发明实施例有下采样的Bottleneck模块示意图。
图4为本发明实施例性别识别网络的示意图。
图5为本发明实施例特征调整网络的示意图。
图6为本发明实施例愉悦度估计网络的示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
本实施例提供了一种根据性别动态调整特征的人脸愉悦度估计方法，所述方法实现的整体结构图如图1所示，具体流程如下：
首先进行数据准备：下载公开数据集Large-scale CelebFaces Attributes(CelebA)：CelebA数据集包含202599张人脸图片，每张人脸图片有对应的40种属性标注，本实施例仅采用性别和笑容两种标注；划分训练数据和测试数据：选择序号在000001至182637范围内的数据作为训练集，序号在182638至202599范围内的数据作为测试集；数据预处理：人脸图片以jpg格式存储在硬盘中，读取图片得到3×H×W的矩阵，其中H为图片在竖直方向上的像素数量，W为图片在水平方向上的像素数量，3表示为RGB三通道图片，矩阵中的所有元素都为[0，255]范围内的整数，对图片采用双线性插值方法将分辨率调整为256×256，然后对矩阵中的元素进行归一化，即对矩阵中的每一个元素都除以255，得到预处理后的数据，一个大小为3×256×256，元素数值在[0，1]范围内的矩阵，即完成对人脸图片进行数据预处理得到经过预处理的图片I。
然后对性别识别网络、特征调整网络以及愉悦度估计网络进行联合训练：
性别识别网络的训练：对于经过预处理后的数据(I，lg)(lg为I对应的性别标签，lg＝0表示为女性，lg＝1表示为男性)，性别识别网络Ng输出为一个二维的向量Og，即：
Og＝fg(I)＝[of，om]
其中，fg为网络Ng等效的函数。Ng的损失函数Lg采用交叉熵损失，如下：
Figure BDA0002148453910000051
特征调整网络的训练：对于经过预处理后的数据I，特征调整网络输出4个特征图调整矩阵M1，M2，M3，M4，维度分别为256×64×64，512×32×32，1024×16×16，2048×8×8，对应于特征调整网络中(3)、(4)、(5)、(6)的输出，特征调整网络无损失函数，训练时参数更新的梯度由愉悦度估计网络的梯度通过链式法则传递而来；
愉悦度估计网络的训练：对于经过预处理后的数据(I，lh)(lh为数据I对应的愉悦度标签，lh＝0表示不愉快，lh＝1表示愉快)；愉悦度估计网络Nh输出为一个二维的向量Oh，即：
Oh＝fh(I)＝[ouh，oh]
其中，fh为网络Nh等效的函数。Nh的损失函数Lh采用交叉熵损失，如下：
Figure BDA0002148453910000061
性别识别网络、特征调整网络、愉悦度估计网络联合训练：对于经过预处理后的数据(I，lg，lh)，首先输入到性别识别网络并计算Lg，同时根据标签lg选择对应的特征调整网络，当lg＝0时，选择特征调整网络Nf；当lg＝1时，选择特征调整网络Nm，将I输入到选定的特征调整网络得到特征调整矩阵M1，M2，M3，M4；将I输入到愉悦度估计网络中，对愉悦度估计网络在(3)、(4)、(5)、(6)处得到特征图f1，f2，f3，f4进行如下调整得到新的特征图F1，F2，F3，F4，用新的特征图替代原本的特征图：
F1＝f1+M1；F2＝f2+M2；F3＝f3+M3；F4＝f4+M4
然后计算愉悦度估计网络的损失Lh，整个模型总的损失为：
L＝Lh+Lg
根据整个模型的损失函数计算各个参数的梯度，对参数进行优化。模型使用随机梯度下降方法进行优化，动量(momentum)设为0.9，权重衰减设为0.0005，总共训练30个epoch，前15个epoch的学习率为0.01，16到25个epoch的学习率为0.001，后5个epoch的学习率为0.0001。
加载上述训练好的模型的权重：模型训练完成后将权重保存在文件中，在对人脸图片的愉悦度进行估计时，如果未加载已经训练完成的模型参数，需要通过读取保存的权重文件，将已经优化完成的参数权重加载到模型中。
所述方法涉及性别识别网络Ng、特征调整网络Nf和Nm、愉悦度估计网络Nh，网络的基本组成部分为有下采样的Bottleneck模块(如图3所示)和无下采样的Bottleneck模块(如图2所示)。
在进行人脸图片的愉悦度估计时，将经过预处理的图片I输入到性别识别网络(如图4所示)中，对性别识别网络的输出Og进行Softmax操作得到人脸图片属于女性的概率pf以及属于男性的概率pm：
Figure BDA0002148453910000062
Figure BDA0002148453910000063
从上式可知：pf+pm＝1，选择其中概率较大的作为性别识别的结果。
然后根据性别识别网络的结果选取对应的特征调整网络：若得到的性别识别结果为男性，则选择特征调整网络Nm；若得到的性别识别结果为女性，则选择特征调整网络Nf，将I输入到选定的特征调整网络(如图5所示)中，得到特征图调整矩阵M1，M2，M3，M4；
通过特征调整矩阵M1，M2，M3，M4对愉悦度估计网络(如图6所示)中对应深度的特征图进行调整，如下所示：
F1＝f1+M1；F2＝f2+M2；F3＝f3+M3；F4＝f4+M4
对愉悦度估计网络的输出Oh进行Softmax操作得到不愉悦的概率puh和愉悦的概率ph：
Figure BDA0002148453910000071
Figure BDA0002148453910000072
ph的百分数形式即为对该人脸图片的愉悦度估计。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (9)

1.一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于，所述方法包括以下步骤：
S1、通过对人脸图片进行数据预处理得到经过预处理的图片I；
S2、将经过预处理的图片I输入到性别识别网络中进行性别识别；
S3、根据性别识别结果，将经过预处理的图片I输入到对应的特征调整网络，得到特征图调整矩阵；
S4、将经过预处理的图片I输入到愉悦度估计网络中，通过特征图调整矩阵对愉悦度估计网络的特征图进行调整，最终输出愉悦度估计的结果。
2.根据权利要求1所述的一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于，步骤S1中所述数据预处理的具体过程为：读取人脸图片得到3×H×W的矩阵，其中H为图片在竖直方向上的像素数量，W为图片在水平方向上的像素数量，3表示为RGB三通道图片；矩阵中的所有元素都为[0,255]范围内的整数，对图片采用双线性插值方法将分辨率调整为256×256，然后对矩阵中的元素进行归一化，即对矩阵中的每一个元素都除以255，得到预处理后的数据，一个大小为3×256×256，元素数值在[0,1]范围内的矩阵。
3.根据权利要求1所述的一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于，步骤S2中所述性别识别网络Ng的结构如下：
(1)卷积核大小为7、步长为2、通道数为64、边界补零长度为3的卷积层；BatchNorm层；激活层ReLU；
(2)核大小为3、步长为2、边界补零长度为1的最大池化层；
(3)连续2个通道数为64的无下采样的Bottleneck模块；
(4)通道数为128的带有下采样的Bottleneck模块；通道数为128的无下采样的Bottleneck模块；
(5)通道数为256的带有下采样的Bottleneck模块；通道数为256的无下采样的Bottleneck模块；
(6)通道数为512的带有下采样的Bottleneck模块；通道数为512的无下采样的Bottleneck模块；
(7)全局平均池化层；
(8)输入特征数量为2048，输出特征数量为2的全连接层。
4.根据权利要求1所述的一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于，步骤S3中所述特征调整网络共有两个，分别为Nm、Nf，其中Nm用于人脸图片识别为男性时的动态特征调整，Nf用于人脸图片识别为女性时的动态特征调整；所述特征调整网络Nm、Nf的结构均如下：
(1)卷积核大小为7、步长为2、通道数为64、边界补零长度为3的卷积层；BatchNorm层；激活层ReLU；
(2)核大小为3、步长为2、边界补零长度为1的最大池化层；
(3)连续2个通道数为64的无下采样的Bottleneck模块；
(4)通道数为128的带有下采样的Bottleneck模块；通道数为128的无下采样的Bottleneck模块；
(5)通道数为256的带有下采样的Bottleneck模块；通道数为256的无下采样的Bottleneck模块；
(6)通道数为512的带有下采样的Bottleneck模块；通道数为512的无下采样的Bottleneck模块。
5.根据权利要求4所述的一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于，步骤S4中所述愉悦度估计网络Nh的结构如下：
(1)卷积核大小为7、步长为2、通道数为64、边界补零长度为3的卷积层；BatchNorm层；激活层ReLU；
(2)核大小为3、步长为2、边界补零长度为1的最大池化层；
(3)连续3个通道数为64的无下采样的Bottleneck模块；
(4)通道数为128的带有下采样的Bottleneck模块；连续3个通道数为128的无下采样的Bottleneck模块；
(5)通道数为256的带有下采样的Bottleneck模块；连续5个通道数为256的无下采样的Bottleneck模块；
(6)通道数为512的带有下采样的Bottleneck模块；连续2个通道数为512的无下采样的Bottleneck模块；
(7)全局平均池化层；
(8)输入特征数量为2048，输出特征数量为2的全连接层。
6.根据权利要求3～5任一条权利要求所述的一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于，所述Bottleneck模块，假设Bottleneck的通道数为cb，则Bottleneck模块的结构如下：
(1)卷积核大小为1、步长为1、通道数为cb的卷积层；BatchNorm层；激活层ReLU；
(2)如果该模块为包含下采样的Bottleneck，则为卷积核大小为3、步长为2、通道数为cb、边界补零长度为1的卷积层；BatchNorm层；激活层ReLU；
如果该模块不包含下采样，则为卷积核大小为3、步长为1、通道数为cb、边界补零长度为1的卷积层；BatchNorm层；激活层ReLU；
(3)卷积核大小为1、步长为1、通道数为4×cb的卷积层；BatchNorm层；
(4)如果该模块为包含下采样的Bottleneck，则将模块输入经过一个卷积核大小为3、步长为2、通道数为4×cb、边界补零长度为1的卷积层和BatchNorm层，将输出与(3)中输出相加；
如果该模块不包含下采样，则将模块输入与(3)中输出相加；
(5)激活层ReLU。
7.根据权利要求1所述的一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于：步骤S2中，将经过预处理的图片I输入到性别识别网络Ng中，得到输出Og＝[of,om]，对Og进行Softmax操作，得到人脸图片属于女性的概率pf以及属于男性的概率pm：
Figure FDA0003328812070000031
Figure FDA0003328812070000032
其中，pf+pm＝1，选择概率大的作为性别识别的结果。
8.根据权利要求5所述的一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于：步骤S3中，若性别识别结果为男性，则将经过预处理的图片I输入特征调整网络Nm；若得到的性别识别结果为女性，则将经过预处理的图片I输入特征调整网络Nf；最终得到特征图调整矩阵M1,M2,M3,M4，所述特征图调整矩阵M1,M2,M3,M4分别对应于特征调整网络中(3)、(4)、(5)、(6)的输出。
9.根据权利要求8所述的一种根据性别动态调整特征的人脸愉悦度估计方法，其特征在于：步骤S4中，将经过预处理的图片I输入到愉悦度估计网络中，愉悦度估计网络中(3)、(4)、(5)、(6)处分别得到特征图f1,f2,f3,f4，通过特征图调整矩阵对愉悦度估计网络的特征图进行如下调整得到新的特征图F1,F2,F3,F4，用新的特征图替代原本的特征图：
F1＝f1+M1；F2＝f2+M2；F3＝f3+M3；F4＝f4+M4
得到愉悦度估计网络的输出为Oh＝[Ouh,Oh]，对Oh进行Softmax操作得到不愉悦的概率puh和愉悦的概率ph：
Figure FDA0003328812070000033
Figure FDA0003328812070000041
ph的百分数形式即为对该人脸图片的愉悦度估计。
CN201910692940.4A 2019-07-30 2019-07-30 一种根据性别动态调整特征的人脸愉悦度估计方法 Active CN110555379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910692940.4A CN110555379B (zh) 2019-07-30 2019-07-30 一种根据性别动态调整特征的人脸愉悦度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910692940.4A CN110555379B (zh) 2019-07-30 2019-07-30 一种根据性别动态调整特征的人脸愉悦度估计方法

Publications (2)

Publication Number Publication Date
CN110555379A CN110555379A (zh) 2019-12-10
CN110555379B true CN110555379B (zh) 2022-03-25

Family

ID=68736834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910692940.4A Active CN110555379B (zh) 2019-07-30 2019-07-30 一种根据性别动态调整特征的人脸愉悦度估计方法

Country Status (1)

Country Link
CN (1) CN110555379B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222464B (zh) * 2020-01-07 2023-11-07 中国医学科学院生物医学工程研究所 情感分析方法以及系统
CN112115847B (zh) * 2020-09-16 2024-05-17 深圳印像数据科技有限公司 人脸情绪愉悦度判断方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869657A (zh) * 2016-06-03 2016-08-17 竹间智能科技（上海）有限公司 语音情感辨识系统及方法
CN106803069A (zh) * 2016-12-29 2017-06-06 南京邮电大学 基于深度学习的人群高兴程度识别方法
CN107392109A (zh) * 2017-06-27 2017-11-24 南京邮电大学 一种基于深度神经网络的新生儿疼痛表情识别方法
CN108776774A (zh) * 2018-05-04 2018-11-09 华南理工大学 一种基于复杂度感知分类算法的面部表情识别方法
CN109036405A (zh) * 2018-07-27 2018-12-18 百度在线网络技术（北京）有限公司 语音交互方法、装置、设备及存储介质
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、系统及电子设备
CN110047516A (zh) * 2019-03-12 2019-07-23 天津大学 一种基于性别感知的语音情感识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672825B2 (en) * 2013-01-03 2017-06-06 Sestek Ses Iletisim Bilgisayar Teknolojileri Sanayi Ve Ticaret Anonim Sirketi Speech analytics system and methodology with accurate statistics

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869657A (zh) * 2016-06-03 2016-08-17 竹间智能科技（上海）有限公司 语音情感辨识系统及方法
CN106803069A (zh) * 2016-12-29 2017-06-06 南京邮电大学 基于深度学习的人群高兴程度识别方法
CN107392109A (zh) * 2017-06-27 2017-11-24 南京邮电大学 一种基于深度神经网络的新生儿疼痛表情识别方法
CN108776774A (zh) * 2018-05-04 2018-11-09 华南理工大学 一种基于复杂度感知分类算法的面部表情识别方法
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、系统及电子设备
CN109036405A (zh) * 2018-07-27 2018-12-18 百度在线网络技术（北京）有限公司 语音交互方法、装置、设备及存储介质
CN110047516A (zh) * 2019-03-12 2019-07-23 天津大学 一种基于性别感知的语音情感识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Automatic Group Happiness Intensity Analysis";Abhinav Dhall等;《IEEE Transactions on Affective Computing》;20150202;13-26页 *
"基于深度学习与信息融合的路怒情绪识别研究";于申浩;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115;正文33-57页 *

Also Published As

Publication number Publication date
CN110555379A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN106778928B (zh) 图像处理方法及装置
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN108596024B (zh) 一种基于人脸结构信息的肖像生成方法
CN110473164B (zh) 一种基于注意力机制的图像美学质量评价方法
CN110969124B (zh) 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN108470320B (zh) 一种基于cnn的图像风格化方法及系统
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
KR20220066366A (ko) 예측적 개인별 3차원 신체 모델
CN109308725B (zh) 一种移动端表情趣图生成的系统
CN108537754B (zh) 基于形变引导图的人脸图像复原系统
CN112949565A (zh) 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN112088393B (zh) 图像处理方法、装置及设备
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111476178A (zh) 一种基于2d-3d cnn的微表情识别方法
CN110599411A (zh) 一种基于条件生成对抗网络的图像修复方法及系统
CN110555379B (zh) 一种根据性别动态调整特征的人脸愉悦度估计方法
CN111814611A (zh) 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN113792635A (zh) 一种基于轻量化卷积神经网络的手势识别方法
CN113936309A (zh) 一种基于面部分块的表情识别方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN111507184B (zh) 基于并联空洞卷积和身体结构约束的人体姿态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant