CN110378237B - 基于深度度量融合网络的面部表情识别方法 - Google Patents

基于深度度量融合网络的面部表情识别方法 Download PDF

Info

Publication number
CN110378237B
CN110378237B CN201910542467.1A CN201910542467A CN110378237B CN 110378237 B CN110378237 B CN 110378237B CN 201910542467 A CN201910542467 A CN 201910542467A CN 110378237 B CN110378237 B CN 110378237B
Authority
CN
China
Prior art keywords
image
facial expression
fusion network
module
depth measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910542467.1A
Other languages
English (en)
Other versions
CN110378237A (zh
Inventor
杨文武
陈拓
邢帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201910542467.1A priority Critical patent/CN110378237B/zh
Publication of CN110378237A publication Critical patent/CN110378237A/zh
Application granted granted Critical
Publication of CN110378237B publication Critical patent/CN110378237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度度量融合网络的面部表情识别方法，包括如下步骤：首先，对输入图像进行预处理；然后，构建了结合多种表情特征表示的深度度量融合网络，最后，利用训练样本对深度度量融合网络进行训练；测试时将待检测的人脸表情图像输入到训练好的深度度量融合网络中，得到表情的分类类别。本发明具有如下有益效果：本发明利用多个阈值信息来学习不同的表情分布，使得学习到的特征更具有鲁棒性和可辨别性；本发明使用对称三元组损失函数，能够避免不完整判断和锚点选择敏感的问题，加速了深度度量融合网络的收敛并且提高了学习能力；能够提高面部表情识别的准确率。

Description

基于深度度量融合网络的面部表情识别方法
技术领域
本发明涉及面部表情识别技术领域，尤其是涉及一种能够提高脸部表情识别准确率的基于深度度量融合网络的面部表情识别方法。
背景技术
面部表情是人类传递情感状态最自然和普遍的信号之一，表情识别在商业、安全、医学等领域有着广泛的应用前景，能够快速准确地识别出面部表情对其研究与应用具有重要意义。传统的机器学习方法需要手工提取特征且准确率难以保证。近年来，卷积神经网络因其良好的自学习和泛化能力在表情识别中得到了广泛应用，但是由于姿势、光照以及面部图像中个体身份的变化，表情识别仍然是一个挑战。例如，面部图像中的特征可能更多的受到身份变化而不是表情信息的主导，即具有相同表情的不同个体之间的特征距离可能大于相同个体的不同表情之间的特征距离，这将导致基于图像特征的表情分类十分困难。因此，一个有效的表情特征表示对于提高表情的辨别能力至关重要。
度量学习机制有从训练数据中学习有效表示表情变化的特征但对其他面部特征变化忽略的能力。基于深度度量学习的面部表情识别尝试构建从图像x到特征空间Rd的表情特征表示f(x),使得具有相同表情的所有面部图像之间的特征距离很小，而具有不同表情的特征距离很大。但是基于度量学习的方法会遇到两个问题：第一点是传统的三元组损失虽然结构简单，如图3所示，但可能受到不完整判断的影响，这种情况下相应的三元组损失为0，网络在反向传播的过程中并未将其优化，但实际由于锚点到正样本的距离大于正样本到负样本的距离，因此学习很难收敛，将导致网络的学习能力不足。第二点，在先前的方法中，为了可以有效的分开来自不同类别的样本，阈值π通常是固定的并且需要手动的调整和验证。
发明内容
本发明为了克服现有技术中存在的基于图像特征的表情分类十分困难，度量学习难收敛，将导致网络的学习能力不足，识别准确率低的不足，提供了一种能够提高脸部表情识别准确率的基于深度度量融合网络的面部表情识别方法。
为了实现上述目的，本发明采用了以下技术方案：
一种基于深度度量融合网络的面部表情识别方法，包括如下步骤：
(1-1)输入图像的预处理；
(1-2)构建深度度量融合网络；
(1-3)利用DCNN模块提取面部表情特征；
(1-4)利用N-metric模块融合不同表情特征；
(1-5)对面部表情图像进行分类。
本发明输入的是带有面部表情信息的人脸图像，首先，对输入图像进行预处理；然后，构建了结合多种表情特征表示的深度度量融合网络，最后，利用训练样本对深度度量融合网络进行训练；测试时将待检测的人脸表情图像输入到训练好的深度度量融合网络中，得到表情的分类类别。
作为优选，步骤(1-3)的具体步骤如下：
(2-1)初始化DCNN模块；
(2-2)在人脸表情数据库上，利用softmax损失函数对DCNN模块进行微调，得到预训练的DCNN模块。
作为优选，步骤(1-4)的具体步骤如下：
(3-1)N-metric模块使用多个全连接的分支层，DCNN模块的最后一层全连接作为N-metric模块的每一个分支的输入，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi,i∈{1，2，...N}；
(3-2)将图像x嵌入到欧式空间得到嵌入特征fi(x),在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi,i∈{1，2，...，N}。
作为优选，步骤(3-2)中对称三元组损失由如下步骤计算：
(4-1)在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点
Figure GDA0002967373030000031
与查询样本具有相同表情的图像样本作为正样本
Figure GDA0002967373030000032
具有不同表情的图像样本作为负样本
Figure GDA0002967373030000033
(4-2)对称三元组的目标是确保正样本到锚点的距离小于负样本到锚点距离一个阈值π的大小，并且确保正样本到锚点的距离小于正样本到负样本距离一个阈值π的大小，即
Figure GDA0002967373030000034
且
Figure GDA0002967373030000035
其中，D(·，·)为计算样本之间的欧式距离；
(4-3)最终对称三元组损失的形式如下
Figure GDA0002967373030000036
使用对称三元组损失函数，加速了深度度量融合网络的收敛并且提高了学习能力。
作为优选，步骤(1-3)的具体步骤如下：
(5-1)将N-metric模块中所有分支学习到的表情特征进行融合；
(5-2)使用两个全连接层，联合softmax损失函数进行面部表情分类，第二个全连接层的输出作为面部表情分类层的输入。
作为优选，步骤(1-1)的具体步骤如下：
(6-1)使用面部关键点来剪裁感兴趣的面部区域并将对剪裁后的图像进行缩放；
(6-2)采用离线和在线的数据增强方法对缩放后的图像进行图像增强，增强过的图像作为深度度量融合网络的输入图像。
因此，本发明具有如下有益效果：本发明利用多个阈值信息来学习不同的表情分布，使得学习到的特征更具有鲁棒性和可辨别性；本发明使用对称三元组损失函数，能够避免不完整判断和锚点选择敏感的问题，加速了深度度量融合网络的收敛并且提高了学习能力；能够提高面部表情识别的准确率。
附图说明
图1是本发明的一种流程图；
图2是本发明的深度度量融合网络的一种结构示意图；
图3是本发明的传统的三元组损失不完整判断的一种示意图。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步描述：
如图1所示的实施例是一种基于深度度量融合网络的面部表情识别方法，包括如下步骤：
步骤100，输入图像的预处理
使用面部关键点来剪裁感兴趣的面部区域，并将对剪裁后的图像进行缩放，缩放到236*236的大小；采用离线和在线的数据增强方法对缩放后的图像进行图像增强：离线增强即将输入图像相应旋转{-10°，-5°，0，5°，10°}得到增强后的图像数据；在线增强即在网络训练时将图像随机从四个方向(中心，左上，左下，右上，右下)裁剪出224*224大小的图像，并随机水平翻转作为深度度量融合网络的输入图像；
步骤200，构建深度度量融合网络
深度度量融合网络使用深度卷积神经网络，如图2所示，主要由两个模块构成：提取面部表情特征的DCNN模块以及融合不同表情特征分布的N-metric模块；所述用于提取面部表情特征的DCNN模块采用VGG16网络结构；
步骤201，利用DCNN模块提取面部表情特征
用VGG16-Face model初始化DCNN模块；在FER2013人脸表情数据库上，利用softmax损失函数对DCNN模块进行微调，得到预训练的DCNN模块；
步骤202，利用N-metric模块融合不同表情特征
N-metric模块使用多个全连接的分支层，每个分支层含有512个神经元，DCNN模块的最后一层全连接作为N-metric模块的每一个分支的输入，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi,i∈{1，2，...，N}；将图像x嵌入到欧式空间得到嵌入特征fi(x),在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi,i∈{1，2，...，N}；
其中，对称三元组损失由如下方法计算：
在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点
Figure GDA0002967373030000051
与查询样本具有相同表情的图像样本作为正样本
Figure GDA0002967373030000052
具有不同表情的图像样本作为负样本
Figure GDA0002967373030000053
对称三元组的目标是确保正样本到锚点的距离小于负样本到锚点距离一个阈值π的大小，并且确保正样本到锚点的距离小于正样本到负样本距离一个阈值π的大小，即
Figure GDA0002967373030000054
且
Figure GDA0002967373030000055
其中，D(·，·)为计算样本之间的欧式距离；最终对称三元组损失的形式如下
Figure GDA0002967373030000056
步骤300，对面部表情图像进行分类
将N-metric模块中所有分支学习到的表情特征进行融合；
(5-2)在N-metric模块之后使用两个全连接层，每个全连接层含有256个神经元，联合softmax损失函数进行面部表情分类，第二个全连接层的输出作为面部表情分类层的输入；在训练期间，网络的不同模块采用端到端的形式进行联合优化，总损失定义如下：
Figure GDA0002967373030000057
其中loss0为softmax损失函数的损失。
应理解，本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (4)

1.一种基于深度度量融合网络的面部表情识别方法，其特征在于，包括如下步骤：
(1-1)输入图像的预处理；
(1-2)构建深度度量融合网络，所述深度度量融合网络由DCNN模块以及N-metric模块构成；
(1-3)利用DCNN模块提取面部表情特征；
(1-4)利用N-metric模块融合不同表情特征，步骤(1-4)的具体步骤如下：
(3-1)N-metric模块使用多个全连接的分支层，DCNN模块的最后一层全连接作为N-metric模块的每一个分支的输入，每一个分支都有一个固定大小的全连接层以及相关联的阈值πi,i∈{1，2，...，N}；
(3-2)将图像x嵌入到欧式空间得到嵌入特征fi(x),在训练期间，每一个分支由对称三元组损失进行约束，表示为lossi,i∈{1，2，...，N}；
步骤(3-2)中对称三元组损失由如下步骤计算：
(4-1)在训练的每个batch中，将每一个训练样本作为查询图像，选择与查询样本具有相同表情的图像样本以及具有不同表情的图像样本来构造三元组；查询图像作为锚点
Figure FDA0003003615800000011
与查询样本具有相同表情的图像样本作为正样本
Figure FDA0003003615800000012
具有不同表情的图像样本作为负样本
Figure FDA0003003615800000013
(4-2)对称三元组的目标是确保正样本到锚点的距离小于负样本到锚点距离一个阈值π的大小，并且确保正样本到锚点的距离小于正样本到负样本距离一个阈值π的大小，即
Figure FDA0003003615800000014
且
Figure FDA0003003615800000021
其中，D(·，·)为计算样本之间的欧式距离；
(4-3)最终对称三元组损失的形式如下
Figure FDA0003003615800000022
(1-5)对面部表情图像进行分类。
2.根据权利要求1所述的基于深度度量融合网络的面部表情识别方法，其特征在于，步骤(1-3)的具体步骤如下：
(2-1)初始化DCNN模块；
(2-2)在人脸表情数据库上，利用softmax损失函数对DCNN模块进行微调，得到预训练的DCNN模块。
3.根据权利要求1所述的基于深度度量融合网络的面部表情识别方法，其特征在于，步骤(1-5)的具体步骤如下：
(5-1)将N-metric模块中所有分支学习到的表情特征进行融合；
(5-2)使用两个全连接层，联合softmax损失函数进行面部表情分类，第二个全连接层的输出作为面部表情分类层的输入。
4.根据权利要求1所述的基于深度度量融合网络的面部表情识别方法，其特征在于，步骤(1-1)的具体步骤如下：
(6-1)使用面部关键点来剪裁感兴趣的面部区域并将对剪裁后的图像进行缩放；
(6-2)采用离线和在线的数据增强方法对缩放后的图像进行图像增强，增强过的图像作为深度度量融合网络的输入图像。
CN201910542467.1A 2019-06-21 2019-06-21 基于深度度量融合网络的面部表情识别方法 Active CN110378237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910542467.1A CN110378237B (zh) 2019-06-21 2019-06-21 基于深度度量融合网络的面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910542467.1A CN110378237B (zh) 2019-06-21 2019-06-21 基于深度度量融合网络的面部表情识别方法

Publications (2)

Publication Number Publication Date
CN110378237A CN110378237A (zh) 2019-10-25
CN110378237B true CN110378237B (zh) 2021-06-11

Family

ID=68250597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910542467.1A Active CN110378237B (zh) 2019-06-21 2019-06-21 基于深度度量融合网络的面部表情识别方法

Country Status (1)

Country Link
CN (1) CN110378237B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144466B (zh) * 2019-12-17 2022-05-13 武汉大学 一种图像样本自适应的深度度量学习方法
CN111310821B (zh) * 2020-02-11 2023-11-21 佛山科学技术学院 多视图特征融合方法、系统、计算机设备及存储介质
CN111738157B (zh) * 2020-06-23 2023-07-21 平安科技（深圳）有限公司 面部动作单元数据集的构建方法、装置和计算机设备
CN115426505B (zh) * 2022-11-03 2023-03-24 北京蔚领时代科技有限公司 基于面部捕捉的预设表情特效触发方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
CN108197326A (zh) * 2018-02-06 2018-06-22 腾讯科技（深圳）有限公司 一种车辆检索方法及装置、电子设备、存储介质
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697399A (zh) * 2017-10-24 2019-04-30 普天信息技术有限公司 一种人脸表情识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
CN108197326A (zh) * 2018-02-06 2018-06-22 腾讯科技（深圳）有限公司 一种车辆检索方法及装置、电子设备、存储介质
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108596108A (zh) * 2018-04-26 2018-09-28 中国科学院电子学研究所 基于三元组语义关系学习的航拍遥感图像变化检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adaptive Deep Metric Learning for Identity-Aware Facial Expression Recognition;Xiaofeng Liu;《IEEE》;20170824;全文 *
Beyond triplet loss: a deep quadruplet network for person re-identification;Weihua Chen;《arXiv:1704.01719v1》;20180406;全文 *
Facial Expression Recognition by Multi-Scale CNN with Regularized Center Loss;Zhenghao Li;《IEEE》;20181129;全文 *
Facial Expression Recognition with CNN Ensemble;Kuang Liu;《IEEE》;20161124;全文 *

Also Published As

Publication number Publication date
CN110378237A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110378237B (zh) 基于深度度量融合网络的面部表情识别方法
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
US11417148B2 (en) Human face image classification method and apparatus, and server
CN111414862B (zh) 基于神经网络融合关键点角度变化的表情识别方法
CN107423701B (zh) 基于生成式对抗网络的人脸非监督特征学习方法及装置
US11263435B2 (en) Method for recognizing face from monitoring video data
CN109359541A (zh) 一种基于深度迁移学习的素描人脸识别方法
CN104504362A (zh) 基于卷积神经网络的人脸检测方法
CN111709266A (zh) 基于时空融合网络的面部表情识别方法
CN102902980B (zh) 一种基于线性规划模型的生物特征图像分析与识别方法
CN106503661B (zh) 基于烟花深度信念网络的人脸性别识别方法
CN112784763A (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
CN109359608A (zh) 一种基于深度学习模型的人脸识别方法
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
WO2021088640A1 (zh) 一种基于启发式高斯云变换的人脸识别技术
CN115131880B (zh) 一种多尺度注意力融合的双重监督人脸活体检测方法
CN114170655A (zh) 一种基于知识蒸馏的人脸伪造线索迁移方法
CN112364197B (zh) 一种基于文本描述的行人图像检索方法
CN111797696B (zh) 一种现场自主学习的人脸识别系统和方法
Jin et al. Image credibility analysis with effective domain transferred deep networks
CN109726703A (zh) 一种基于改进集成学习策略的人脸图像年龄识别方法
CN113221655A (zh) 基于特征空间约束的人脸欺骗检测方法
CN110633689B (zh) 基于半监督注意力网络的人脸识别模型
CN112597979B (zh) 一种实时更新余弦夹角损失函数参数的人脸识别方法
CN108573219B (zh) 一种基于深度卷积神经网络的眼睑关键点精确定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant