CN110427892A - 基于深浅层自相关融合的cnn人脸表情特征点定位方法 - Google Patents

基于深浅层自相关融合的cnn人脸表情特征点定位方法 Download PDF

Info

Publication number
CN110427892A
CN110427892A CN201910720503.9A CN201910720503A CN110427892A CN 110427892 A CN110427892 A CN 110427892A CN 201910720503 A CN201910720503 A CN 201910720503A CN 110427892 A CN110427892 A CN 110427892A
Authority
CN
China
Prior art keywords
layer
correlation
fusion
convolutional
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910720503.9A
Other languages
English (en)
Other versions
CN110427892B (zh
Inventor
陆建华
张袁
姚潇
刘小峰
徐宁
张婷婷
霍冠英
张学武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201910720503.9A priority Critical patent/CN110427892B/zh
Publication of CN110427892A publication Critical patent/CN110427892A/zh
Application granted granted Critical
Publication of CN110427892B publication Critical patent/CN110427892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深浅层自相关融合的CNN人脸表情特征点定位方法，S1，构建人脸样本数据集，S2，定位人脸眼睛、眉毛、嘴等区域，随后利用旋转、平移、翻转拓展数据集，S3，利用数据集训练深浅层自相关融合的卷积神经网络，完成对区域内的特征点的精确定位。本发明在样本人脸数据集的基础上，实现了人眼、眉毛、嘴巴等与表情相关较大的区域的特征点精确定位，解决了由于人脸表情变化大造成特征点定位不准等问题，并可藉由此方法完成表情识别的相关操作。

Description

基于深浅层自相关融合的CNN人脸表情特征点定位方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及基于深浅层自相关融合的卷积神经网络表情特征点定位法。
背景技术
随着计算机和网络技术的不断发展，如何保证信息安全成为人们关心的重点，人脸信息作为一种生物特征可以被用来进行身份鉴定已经有了长足的研究。而人脸特征点定位作为人脸识别的重要步骤也受到越来越多的关注。但是目前人脸特征点定位还存在着一些问题，使用经典的卷积神经网络结构如AlexNet进行特征点定位时会陷入过拟合的情况，同时当人脸表情变化较大时，特征点定位的准确性就会大幅下降。
发明内容
发明目的：为了克服现有技术的不足，本发明提供了基于深浅层自相关融合的CNN(卷积神经网络)人脸表情特征点定位方法。
本发明采用的技术方案为：
一种基于深浅层自相关融合的CNN人脸表情特征点定位方法，具体包括以下步骤：
S1，构建样本人脸的图像数据集；
S2，定位人脸相关器官区域，通过旋转、平移、翻转进行拓展所获取的数据集；
S3，利用样本数据集训练深浅层自相关融合的卷积神经网络，通过卷积神经网络对区域内的特征点进行精确定位，完成人脸表情特征点的定位。
在所述步骤S2中，获取并拓展人脸眼睛、眉毛、嘴区域的数据集，包括以下过程：
S21，构建人眼、眉毛、嘴巴方差滤波器；
S22，通过方差滤波器完成人眼、眉毛、嘴巴的区域定位。
在所述步骤S3中，深浅层自相关融合的卷积神经网络的融合层由池化层4、池化层5与池化层2进行融合操作得来的，包括以下过程：
首先将池化层5进行上采样至池化层4尺寸相同，对这两个池化层的特征图进行融合，然后再进行一次上采样和融合操作得到最终的融合层。融合操作首先设X(p，n)和Y(q，n)分别表示两个特征图的特征矩阵，n表示特征数量，p、q表示特征的维度，同时定义：
其中，X*和Y*表示原特征矩阵投影到一维的结果，和分别表示两个矩阵对应的投影向量的转置，其维度与矩阵的维度相同；
然后最大化相关系数：
其中，Cxx和Cyy分别表示各自的协方差矩阵，Cxy表示集合间的协方差矩阵，Wx和Wy分别表示两个矩阵对应的投影向量，和分别表示两个矩阵对应的投影向量的转置。使用拉格朗日乘子法来求解协方差的最大化问题，约束条件var(X*)＝var(Y*)＝1。
最后的融合矩阵Z可由下列公式得出：
在所述步骤S3中，深浅层自相关融合的卷积神经网络全连接层1、全连接层2后进行Dropout操作，提高泛化能力。
在所述步骤S3中，深浅层自相关融合的卷积神经网络包括五组卷积层，分别为卷积层1、卷积层2、卷积层3、卷积层4、卷积层5，所述卷积层2、卷积层3、卷积层4、卷积层5均由两个级联的卷积层组成，所述卷积神经网络还包括池化层1、池化层2、池化层3、池化层4、池化层5、全连接层1、全连接层2、全连接层3和一个融合层。
在所述步骤S3中，深浅层自相关融合的卷积神经网络的卷积层的卷积核为3×3，池化核为2×2，卷积神经网络采用Leaky ReLu激活函数。
有益效果：
1.本发明所使用的卷积神经网络基于AlexNet卷积神经网络，并在此基础上加深了网络结构，用以提高特征学习的能力，同时使用Leaky ReLu激活函数提高了收敛速度。
2.本发明所使用的卷积神经网络增加了融合层，将深层和浅层的特征进行融合后再和全连接层相连，减少了卷积神经网络在由于层数增加造成的信息丢失的问题。
3.在全连接层1和全连接层2后增加Dropout操作，提高了泛化能力，同时降低了过拟合。
附图说明
如图1所示为本发明的流程图。
如图2所示为深浅层自相关融合的卷积神经网络结构图。
具体实施方法
下面结合附图对本发明作更进一步的说明。
下面结合实例对本发明作更进一步的说明。
如图1所示，基于深浅层自相关融合的CNN人脸表情特征点定位方法，首先构建人脸样本数据集，然后定位人脸眼睛、眉毛、嘴等区域，随后利用旋转、平移、翻转拓展数据集，再通过卷积神经网络对区域内的特征点进行精确定位，完成人脸表情特征点的定位。具体包括以下步骤：
S1，构建样本人脸的图像数据集
从现有的人脸表情数据库中获取人脸表情图像数据集，并进行数据集预处理，具体包括以下过程：
获取ibug网站提供的LFPW、AFW等样本人脸数据集。
S2，获取并拓展人脸眼睛、眉毛、嘴区域的数据集
在样本人脸数据中，定位到人眼、眉毛、嘴的区域，并进行拓展，具体包括以下步骤：
S21，训练人眼方差滤波器；
首先，由于眼睛区域内灰度强度的变化比面部其他区域更明显，域上的方差被用作灰度强度变化的指标，并将面部区域Ω上的眼睛图像I(x，y)的方差被定义为
其中，AΩ和IΩ分别表示的是人脸眼部区域Ω的面积和平均灰度。
选择30幅不同人眼图像Ii(x，y)，i＝1，2，…，30，将图像划分成3×3非重叠子块，对于图像Ii(x，y)，有定义如下：
Vσ(i，j)＝σΩ (2)
Ωij＝{(i-1)l+1≤x≤il，(j-1)l+1≤y≤jl} (3)
其中，1和Ωij分别表示的是宽度(高度)和每个子块的面积。
通过等式1计算每个子块上的方差图像，每个子块具有不同的灰度强度特征。然后计算所有眼睛图像的方差图像平均值来构造人眼方差滤波，
其中[Vσ(i，j)]k代表第k个眼睛图像上的(i，j)子块的方差Vσ(i，j)，N是样本眼睛图像的数量。
眼睛方差分类器用于检测最有可能的眼睛区域，在面部上的分类器和眼睛与非眼部之间的相关性为：
其中，和是按行展开后得到的向量，D(·)和E(·)分别表示方差和数学期望。
眼睛区域图像具有大于0.32的相关值，而非眼部区域图像具有小于0.32的相关值。因此0.32可以作为眼睛方差分类器阈值。
S22，分别构建眉毛和嘴部的方差分类器
S23，将样本人脸数据通过方差分类器获得眼部、眉毛、嘴巴区域的图像
S24，对所得到的图像进行旋转、平移、翻转等处理，拓展数据集，降低过拟合的风险。
S3，利用表情区域的数据集训练深浅层自相关融合的卷积神经网络。
改进的卷积神经网络基于经典的Alexnet，包括卷积层1、卷积层2、卷积层3、卷积层4、卷积层5、池化层1、池化层2、池化层3、池化层4、池化层5、全连接层1、全连接层2、全连接层3和一个融合层。最后一个全连接层输出两倍的特征点数，如嘴巴的特征点的数目为8，则输出为16。
深浅层自相关融合的卷积神经网络的融合层由池化层4、池化层5与池化层2进行融合操作得来的，首先将池化层5进行上采样至与池化层4尺寸相同，对这两个池化层的特征图进行融合。得到上述特征图的融合后。再进行一次上采样与池化层2尺寸相同，并通过相同的方法得到最终的融合层。设X(p，n)和Y(q，n)分别表示两个特征图的特征矩阵，n表示特征数量，p、q表示特征的维度，定义：
其中，X*和Y*表示原特征矩阵投影到一维的结果，和分别表示两个矩阵对应的投影向量的转置，其维度与矩阵的维度相同。
然后最大化相关系数：
其中，Cxx和Cyy分别表示各自的协方差矩阵，Cxy表示集合间的协方差矩阵，Wx和Wy分别表示两个矩阵对应的投影向量，和分别表示两个矩阵对应的投影向量的转置。然后使用拉格朗日乘子法来求解协方差的最大化问题，约束条件var(X*)＝var(Y*)＝1。
最后的融合矩阵Z可由下列公式得出：
深浅层自相关融合的卷积神经网络的融合层具体结构如图2所示。
卷积层和池化层进行信息的提取和筛除，卷积层的卷积核为3×3，步长设置为1，最大池化层的池化核为2×2。在卷积层2、3、4、5中包括两个堆叠的卷积层，两个3×3卷积层的串联相当于1个5×5的卷积层，同时卷积层参数量远少于5×5的卷积层，能够减少整个网络的训练时间。
在全连接层1、2后进行Dropout操作，提高泛化能力。激活函数选择LeakyReLu：
LeakyReLu函数相较于传统的ReLu函数，收敛速度更快。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于深浅层自相关融合的CNN人脸表情特征点定位方法，其特征在于包括以下步骤：
S1，构建样本人脸的图像数据集；
S2，定位人脸相关器官区域，通过旋转、平移、翻转进行拓展所获取的数据集；
S3，利用样本数据集训练深浅层自相关融合的卷积神经网络，通过卷积神经网络对区域内的特征点进行精确定位，完成人脸表情特征点的定位。
2.根据权利要求1所述的基于深浅层自相关融合的CNN人脸表情特征点定位方法，其特征是，S2中，获取并拓展人脸眼睛、眉毛、嘴区域的数据集，包括以下过程：
S21，构建人眼、眉毛、嘴巴方差滤波器；
S22，通过方差滤波器完成人眼、眉毛、嘴巴的区域定位。
3.根据权利要求1所述的基于深浅层自相关融合的CNN人脸表情特征点定位方法，其特征在于所述步骤S3中，深浅层自相关融合的卷积神经网络包括五组卷积层，分别为卷积层1、卷积层2、卷积层3、卷积层4、卷积层5，所述卷积层2、卷积层3、卷积层4、卷积层5均由两个级联的卷积层组成，所述卷积神经网络还包括池化层1、池化层2、池化层3、池化层4、池化层5、全连接层1、全连接层2、全连接层3和一个融合层。
4.根据权利要求3所述的基于深浅层自相关融合的CNN人脸表情特征点定位方法，其特征在于所述深浅层自相关融合的卷积神经网络的融合层由池化层4、池化层5与池化层2进行融合操作得来的，首先将池化层5进行上采样至池化层4尺寸相同，对这两个池化层的特征图进行融合，然后再进行一次上采样、融合操作得到融合层图像。
5.根据权利要求4所述的基于深浅层自相关融合的CNN人脸表情特征点定位方法，其特征是在于所述深浅层自相关融合的卷积神经网络的融合操作为首先设X(p，n)和Y(q，n)分别表示两个特征图的特征矩阵，n表示特征数量，p、q表示特征的维度，同时定义：
其中，X*和Y*表示原特征矩阵投影到一维的结果，和分别表示两个矩阵对应的投影向量的转置，其维度与矩阵的维度相同；
然后最大化相关系数：
其中，Cxx和Cyy分别表示各自的协方差矩阵，Cxy表示集合间的协方差矩阵，Wx和Wy分别表示两个矩阵对应的投影向量，和分别表示两个矩阵对应的投影向量的转置，然后使用拉格朗日乘子法来求解协方差最大化问题，约束条件为var(X*)＝var(Y*)＝1；
最后的融合特征矩阵Z可由下列公式得出：
6.根据权利要求3所述的基于深浅层自相关融合的CNN人脸表情特征点定位方法，其特征是在于所述深浅层自相关融合的卷积神经网络在全连接层1、全连接层2后进行Dropout操作，提高泛化能力。
7.根据权利要求3所述的基于深浅层自相关融合的卷积神经网络表情特征点定位法，其特征在于所述深浅层自相关融合的卷积神经网络的卷积层的卷积核为3×3，池化核为2×2，卷积神经网络采用Leaky ReLu激活函数。
CN201910720503.9A 2019-08-06 2019-08-06 基于深浅层自相关融合的cnn人脸表情特征点定位方法 Active CN110427892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910720503.9A CN110427892B (zh) 2019-08-06 2019-08-06 基于深浅层自相关融合的cnn人脸表情特征点定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910720503.9A CN110427892B (zh) 2019-08-06 2019-08-06 基于深浅层自相关融合的cnn人脸表情特征点定位方法

Publications (2)

Publication Number Publication Date
CN110427892A true CN110427892A (zh) 2019-11-08
CN110427892B CN110427892B (zh) 2022-09-09

Family

ID=68414332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910720503.9A Active CN110427892B (zh) 2019-08-06 2019-08-06 基于深浅层自相关融合的cnn人脸表情特征点定位方法

Country Status (1)

Country Link
CN (1) CN110427892B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818982A (zh) * 2021-01-19 2021-05-18 中国科学院合肥物质科学研究院 基于深度特征自相关性激活的农业害虫图像检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140253A1 (en) * 2015-11-12 2017-05-18 Xerox Corporation Multi-layer fusion in a convolutional neural network for image classification
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140253A1 (en) * 2015-11-12 2017-05-18 Xerox Corporation Multi-layer fusion in a convolutional neural network for image classification
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
CN108615010A (zh) * 2018-04-24 2018-10-02 重庆邮电大学 基于平行卷积神经网络特征图融合的人脸表情识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818982A (zh) * 2021-01-19 2021-05-18 中国科学院合肥物质科学研究院 基于深度特征自相关性激活的农业害虫图像检测方法
CN112818982B (zh) * 2021-01-19 2022-09-09 中国科学院合肥物质科学研究院 基于深度特征自相关性激活的农业害虫图像检测方法

Also Published As

Publication number Publication date
CN110427892B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN104063719B (zh) 基于深度卷积网络的行人检测方法及装置
CN105426919B (zh) 基于显著性指导非监督特征学习的图像分类方法
CN103258204B (zh) 一种基于Gabor和EOH特征的自动微表情识别方法
CN106326886A (zh) 基于卷积神经网络的手指静脉图像质量评估方法及评估系统
CN110263912A (zh) 一种基于多目标关联深度推理的图像问答方法
CN109492529A (zh) 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN108304826A (zh) 基于卷积神经网络的人脸表情识别方法
CN108564097A (zh) 一种基于深度卷积神经网络的多尺度目标检测方法
CN101299235B (zh) 一种基于核主成分分析的人脸超分辨率重构方法
CN110378208B (zh) 一种基于深度残差网络的行为识别方法
CN107564025A (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN103824272B (zh) 基于k近邻重识别的人脸超分辨率重建方法
Cao et al. Rapid detection of blind roads and crosswalks by using a lightweight semantic segmentation network
CN104392246B (zh) 一种基于类间类内面部变化字典的单样本人脸识别方法
CN107145842A (zh) 结合lbp特征图与卷积神经网络的人脸识别方法
CN107679513A (zh) 图像处理方法、装置及服务器
CN109817276A (zh) 一种基于深度神经网络的蛋白质二级结构预测方法
CN108520202A (zh) 基于变分球面投影的对抗鲁棒性图像特征提取方法
CN107657204A (zh) 深层网络模型的构建方法及人脸表情识别方法和系统
CN107844760A (zh) 基于曲面法向分量图神经网络表示的三维人脸识别方法
CN104517274B (zh) 基于贪婪搜索的人脸画像合成方法
CN111462230A (zh) 一种基于深度强化学习的台风中心定位方法
CN109359527A (zh) 基于神经网络的头发区域提取方法及系统
CN110135277A (zh) 一种基于卷积神经网络的人体行为识别方法
CN110222568B (zh) 一种基于时空图的跨视角步态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant