CN110378237A - 基于深度度量融合网络的面部表情识别方法 - Google Patents

基于深度度量融合网络的面部表情识别方法 Download PDF

Info

Publication number
CN110378237A
CN110378237A CN201910542467.1A CN201910542467A CN110378237A CN 110378237 A CN110378237 A CN 110378237A CN 201910542467 A CN201910542467 A CN 201910542467A CN 110378237 A CN110378237 A CN 110378237A
Authority
CN
China
Prior art keywords
facial expression
converged network
depth measure
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910542467.1A
Other languages
English (en)
Other versions
CN110378237B (zh
Inventor
杨文武
陈拓
邢帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201910542467.1A priority Critical patent/CN110378237B/zh
Publication of CN110378237A publication Critical patent/CN110378237A/zh
Application granted granted Critical
Publication of CN110378237B publication Critical patent/CN110378237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明公开了一种基于深度度量融合网络的面部表情识别方法，包括如下步骤：首先，对输入图像进行预处理；然后，构建了结合多种表情特征表示的深度度量融合网络，最后，利用训练样本对深度度量融合网络进行训练；测试时将待检测的人脸表情图像输入到训练好的深度度量融合网络中，得到表情的分类类别。本发明具有如下有益效果：本发明利用多个阈值信息来学习不同的表情分布，使得学习到的特征更具有鲁棒性和可辨别性；本发明使用对称三元组损失函数，能够避免不完整判断和锚点选择敏感的问题，加速了深度度量融合网络的收敛并且提高了学习能力；能够提高面部表情识别的准确率。

Description

基于深度度量融合网络的面部表情识别方法
技术领域
本发明涉及面部表情识别技术领域，尤其是涉及一种能够提高脸部表情识别准确率的基于深度度量融合网络的面部表情识别方法。
背景技术
面部表情是人类传递情感状态最自然和普遍的信号之一，表情识别在商业、安全、医学等领域有着广泛的应用前景，能够快速准确地识别出面部表情对其研究与应用具有重要意义。传统的机器学习方法需要手工提取特征且准确率难以保证。近年来，卷积神经网络因其良好的自学习和泛化能力在表情识别中得到了广泛应用，但是由于姿势、光照以及面部图像中个体身份的变化，表情识别仍然是一个挑战。例如，面部图像中的特征可能更多的受到身份变化而不是表情信息的主导，即具有相同表情的不同个体之间的特征距离可能大于相同个体的不同表情之间的特征距离，这将导致基于图像特征的表情分类十分困难。因此，一个有效的表情特征表示对于提高表情的辨别能力至关重要。
度量学习机制有从训练数据中学习有效表示表情变化的特征但对其他面部特征变化忽略的能力。基于深度度量学习的面部表情识别尝试构建从图像x到特征空间Rd的表情特征表示f(x)，使得具有相同表情的所有面部图像之间的特征距离很小，而具有不同表情的特征距离很大。但是基于度量学习的方法会遇到两个问题：第一点是传统的三元组损失虽然结构简单，如图3所示，但可能受到不完整判断的影响，这种情况下相应的三元组损失为0，网络在反向传播的过程中并未将其优化，但实际由于锚点到正样本的距离大于正样本到负样本的距离，因此学习很难收敛，将导致网络的学习能力不足。第二点，在先前的方法中，为了可以有效的分开来自不同类别的样本，阈值π通常是固定的并且需要手动的调整和验证。
发明内容
本发明为了克服现有技术中存在的基于图像特征的表情分类十分困难，度量学习难收敛，将导致网络的学习能力不足，识别准确率低的不足，提供了一种能够提高脸部表情识别准确率的基于深度度量融合网络的面部表情识别方法。
为了实现上述目的，本发明采用了以下技术方案：
一种基于深度度量融合网络的面部表情识别方法，包括如下步骤：
(1-1)输入图像的预处理；
(1-2)构建深度度量融合网络；
(1-2-1)利用DCNN模块提取面部表情特征；
(1-2-2)利用N-metric模块融合不同表情特征；
(1-3)对面部表情图像进行分类。
本发明输入的是带有面部表情信息的人脸图像，首先，对输入图像进行预处理；然后，构建了结合多种表情特征表示的深度度量融合网络，最后，利用训练样本对深度度量融合网络进行训练；测试时将待检测的人脸表情图像输入到训练好的深度度量融合网络中，得到表情的分类类别。
作为优选，步骤(1-2-1)的具体步骤如下：
(2-1)初始化DCNN模块；
(2-2)在人脸表情数据库上，利用softmax损失函数对DCNN模块进行微调，得到预训练的DCNN模块。
作为优选，步骤(1-2-2)的具体步骤如下：
(3-1)N-metric模块使用多个全连接的分支层，DCNN模块的最后一层全连接作为N-metric模块的每一个分支的输入，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi，i∈{1，2，...，N}；
(3-2)将图像x嵌入到欧式空间得到嵌入特征fi(x)，在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi，i∈{1，2，...，N}。
作为优选，步骤(3-2)中对称三元组损失由如下步骤计算：
(4-1)在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点与查询样本具有相同表情的图像样本作为正样本具有不同表情的图像样本作为负样本
(4-2)对称三元组的目标是确保正样本到锚点的距离小于负样本到锚点距离一个阈值π的大小，并且确保正样本到锚点的距离小于正样本到负样本距离一个阈值π的大小，即且其中，D(·，·)为计算样本之间的欧式距离；
(4-3)最终对称三元组损失的形式如下
使用对称三元组损失函数，加速了深度度量融合网络的收敛并且提高了学习能力。
作为优选，步骤(1-3)的具体步骤如下：
(5-1)将N-metric模块中所有分支学习到的表情特征进行融合；
(5-2)使用两个全连接层，联合softmax损失函数进行面部表情分类，第二个全连接层的输出作为面部表情分类层的输入。
作为优选，步骤(1-1)的具体步骤如下：
(6-1)使用面部关键点来剪裁感兴趣的面部区域并将对剪裁后的图像进行缩放；
(6-2)采用离线和在线的数据增强方法对缩放后的图像进行图像增强，增强过的图像作为深度度量融合网络的输入图像。
因此，本发明具有如下有益效果：本发明利用多个阈值信息来学习不同的表情分布，使得学习到的特征更具有鲁棒性和可辨别性；本发明使用对称三元组损失函数，能够避免不完整判断和锚点选择敏感的问题，加速了深度度量融合网络的收敛并且提高了学习能力；能够提高面部表情识别的准确率。
附图说明
图1是本发明的一种流程图；
图2是本发明的深度度量融合网络的一种结构示意图；
图3是本发明的传统的三元组损失不完整判断的一种示意图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步描述：
如图1所示的实施例是一种基于深度度量融合网络的面部表情识别方法，包括如下步骤：
步骤100，输入图像的预处理
使用面部关键点来剪裁感兴趣的面部区域，并将对剪裁后的图像进行缩放，缩放到236*236的大小；采用离线和在线的数据增强方法对缩放后的图像进行图像增强：离线增强即将输入图像相应旋转{-10°，-5°，0，5°，10°}得到增强后的图像数据；在线增强即在网络训练时将图像随机从四个方向(中心，左上，左下，右上，右下)裁剪出224*224大小的图像，并随机水平翻转作为深度度量融合网络的输入图像；
步骤200，构建深度度量融合网络
深度度量融合网络使用深度卷积神经网络，如图2所示，主要由两个模块构成：提取面部表情特征的DCNN模块以及融合不同表情特征分布的N-metric模块；所述用于提取面部表情特征的DCNN模块采用VGG16网络结构；
步骤201，利用DCNN模块提取面部表情特征
用VGG16-Face model初始化DCNN模块；在FER2013人脸表情数据库上，利用softmax损失函数对DCNN模块进行微调，得到预训练的DCNN模块；
步骤202，利用N-metric模块融合不同表情特征
N-metric模块使用多个全连接的分支层，每个分支层含有512个神经元，DCNN模块的最后一层全连接作为N-metric模块的每一个分支的输入，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi，i∈{1，2，...，N}；将图像x嵌入到欧式空间得到嵌入特征fi(x)，在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi，i∈{1，2，...，N}；
其中，对称三元组损失由如下方法计算：
在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点与查询样本具有相同表情的图像样本作为正样本具有不同表情的图像样本作为负样本对称三元组的目标是确保正样本到锚点的距离小于负样本到锚点距离一个阈值π的大小，并且确保正样本到锚点的距离小于正样本到负样本距离一个阈值π的大小，即且其中，D(·，·)为计算样本之间的欧式距离；最终对称三元组损失的形式如下
步骤300，对面部表情图像进行分类
将N-metric模块中所有分支学习到的表情特征进行融合；
(5-2)在N-metric模块之后使用两个全连接层，每个全连接层含有256个神经元，联合softmax损失函数进行面部表情分类，第二个全连接层的输出作为面部表情分类层的输入；在训练期间，网络的不同模块采用端到端的形式进行联合优化，总损失定义如下：其中loss0为softmax损失函数的损失。
应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (6)

1.一种基于深度度量融合网络的面部表情识别方法，其特征在于，包括如下步骤：
(1-1)输入图像的预处理；
(1-2)构建深度度量融合网络；
(1-2-1)利用DCNN模块提取面部表情特征；
(1-2-2)利用N-metric模块融合不同表情特征；
(1-3)对面部表情图像进行分类。
2.根据权利要求1所述的基于深度度量融合网络的面部表情识别方法，其特征在于，步骤(1-2-1)的具体步骤如下：
(2-1)初始化DCNN模块；
(2-2)在人脸表情数据库上，利用softmax损失函数对DCNN模块进行微调，得到预训练的DCNN模块。
3.根据权利要求1所述的基于深度度量融合网络的面部表情识别方法，其特征在于，步骤(1-2-2)的具体步骤如下：
(3-1)N-metric模块使用多个全连接的分支层，DCNN模块的最后一层全连接作为N-metric模块的每一个分支的输入，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi,i∈{1，2，...，N}；
(3-2)将图像x嵌入到欧式空间得到嵌入特征fi(x),在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi,i∈{1，2，...，N}。
4.根据权利要求3所述的基于深度度量融合网络的面部表情识别方法，其特征在于，步骤(3-2)中对称三元组损失由如下步骤计算：
(4-1)在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点与查询样本具有相同表情的图像样本作为正样本具有不同表情的图像样本作为负样本
(4-2)对称三元组的目标是确保正样本到锚点的距离小于负样本到锚点距离一个阈值π的大小，并且确保正样本到锚点的距离小于正样本到负样本距离一个阈值π的大小，即且其中，D(∵)为计算样本之间的欧式距离；
(4-3)最终对称三元组损失的形式如下
5.根据权利要求1所述的基于深度度量融合网络的面部表情识别方法，其特征在于，步骤(1-3)的具体步骤如下：
(5-1)将N-metric模块中所有分支学习到的表情特征进行融合；
(5-2)使用两个全连接层，联合softmax损失函数进行面部表情分类，第二个全连接层的输出作为面部表情分类层的输入。
6.根据权利要求1所述的基于深度度量融合网络的面部表情识别方法，其特征在于，步骤(1-1)的具体步骤如下：
(6-1)使用面部关键点来剪裁感兴趣的面部区域并将对剪裁后的图像进行缩放；
(6-2)采用离线和在线的数据增强方法对缩放后的图像进行图像增强，增强过的图像作为深度度量融合网络的输入图像。
CN201910542467.1A 2019-06-21 2019-06-21 基于深度度量融合网络的面部表情识别方法 Active CN110378237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542467.1A CN110378237B (zh) 2019-06-21 2019-06-21 基于深度度量融合网络的面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542467.1A CN110378237B (zh) 2019-06-21 2019-06-21 基于深度度量融合网络的面部表情识别方法

Publications (2)

Publication Number Publication Date
CN110378237A true CN110378237A (zh) 2019-10-25
CN110378237B CN110378237B (zh) 2021-06-11

Family

ID=68250597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542467.1A Active CN110378237B (zh) 2019-06-21 2019-06-21 基于深度度量融合网络的面部表情识别方法

Country Status (1)

Country Link
CN (1) CN110378237B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144466A (zh) * 2019-12-17 2020-05-12 武汉大学 一种图像样本自适应的深度度量学习方法
CN111310821A (zh) * 2020-02-11 2020-06-19 佛山科学技术学院 多视图特征融合方法、系统、计算机设备及存储介质
CN111738157A (zh) * 2020-06-23 2020-10-02 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
CN115426505A (zh) * 2022-11-03 2022-12-02 北京蔚领时代科技有限公司 基于面部捕捉的预设表情特效触发方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
CN108197326A (zh) * 2018-02-06 2018-06-22 腾讯科技（深圳）有限公司 一种车辆检索方法及装置、电子设备、存储介质
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN109697399A (zh) * 2017-10-24 2019-04-30 普天信息技术有限公司 一种人脸表情识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
CN109697399A (zh) * 2017-10-24 2019-04-30 普天信息技术有限公司 一种人脸表情识别方法及装置
CN108197326A (zh) * 2018-02-06 2018-06-22 腾讯科技（深圳）有限公司 一种车辆检索方法及装置、电子设备、存储介质
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KUANG LIU: "Facial Expression Recognition with CNN Ensemble", 《IEEE》 *
WEIHUA CHEN: "Beyond triplet loss: a deep quadruplet network for person re-identification", 《ARXIV:1704.01719V1》 *
XIAOFENG LIU: "Adaptive Deep Metric Learning for Identity-Aware Facial Expression Recognition", 《IEEE》 *
ZHENGHAO LI: "Facial Expression Recognition by Multi-Scale CNN with Regularized Center Loss", 《IEEE》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144466A (zh) * 2019-12-17 2020-05-12 武汉大学 一种图像样本自适应的深度度量学习方法
CN111144466B (zh) * 2019-12-17 2022-05-13 武汉大学 一种图像样本自适应的深度度量学习方法
CN111310821A (zh) * 2020-02-11 2020-06-19 佛山科学技术学院 多视图特征融合方法、系统、计算机设备及存储介质
CN111310821B (zh) * 2020-02-11 2023-11-21 佛山科学技术学院 多视图特征融合方法、系统、计算机设备及存储介质
CN111738157A (zh) * 2020-06-23 2020-10-02 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
WO2021259012A1 (zh) * 2020-06-23 2021-12-30 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
CN111738157B (zh) * 2020-06-23 2023-07-21 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
CN115426505A (zh) * 2022-11-03 2022-12-02 北京蔚领时代科技有限公司 基于面部捕捉的预设表情特效触发方法及相关设备
CN115426505B (zh) * 2022-11-03 2023-03-24 北京蔚领时代科技有限公司 基于面部捕捉的预设表情特效触发方法及相关设备

Also Published As

Publication number Publication date
CN110378237B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN110378237A (zh) 基于深度度量融合网络的面部表情识别方法
CN109165566B (zh) 一种基于新型损失函数的人脸识别卷积神经网络训练方法
US11417148B2 (en) Human face image classification method and apparatus, and server
Wu et al. Convolution neural network based transfer learning for classification of flowers
CN110163110B (zh) 一种基于迁移学习和深度特征融合的行人重识别方法
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN107766850B (zh) 基于结合人脸属性信息的人脸识别方法
Li et al. Action unit detection with region adaptation, multi-labeling learning and optimal temporal fusing
Lake et al. Deep neural networks predict category typicality ratings for images.
CN108073917A (zh) 一种基于卷积神经网络的人脸识别方法
Cai et al. Facial expression recognition method based on sparse batch normalization CNN
CN108764207A (zh) 一种基于多任务卷积神经网络的人脸表情识别方法
CN111414862B (zh) 基于神经网络融合关键点角度变化的表情识别方法
CN105574215A (zh) 一种基于多层特征表示的实例级图像搜索方法
CN106651915B (zh) 基于卷积神经网络的多尺度表达的目标跟踪方法
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN111709266A (zh) 基于时空融合网络的面部表情识别方法
CN102262729B (zh) 基于集成学习的混合融合人脸识别方法
Ji et al. Asymmetric cross-scale alignment for text-based person search
CN108399185A (zh) 一种多标签图像的二值向量生成方法及图像语义相似度查询方法
Zhai et al. Asian female facial beauty prediction using deep neural networks via transfer learning and multi-channel feature fusion
El Kessab et al. Extraction method of handwritten digit recognition tested on the mnist database
Jin et al. Image credibility analysis with effective domain transferred deep networks
Cai et al. Cloud classification of satellite image based on convolutional neural networks
Qin et al. A new improved convolutional neural network flower image recognition model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant