CN110443323A - 基于长短期记忆网络和人脸关键点的相貌评估方法 - Google Patents

基于长短期记忆网络和人脸关键点的相貌评估方法 Download PDF

Info

Publication number
CN110443323A
CN110443323A CN201910762208.XA CN201910762208A CN110443323A CN 110443323 A CN110443323 A CN 110443323A CN 201910762208 A CN201910762208 A CN 201910762208A CN 110443323 A CN110443323 A CN 110443323A
Authority
CN
China
Prior art keywords
network
key point
face
shot
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910762208.XA
Other languages
English (en)
Inventor
程建
周晓晔
刘济樾
林莉
许轲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910762208.XA priority Critical patent/CN110443323A/zh
Publication of CN110443323A publication Critical patent/CN110443323A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

本发明涉及基于长短期记忆网络和人脸关键点的相貌评估方法，包括：A.采集输入图像中人脸的关键点，将预处理后的人脸数据分为训练集和测试集；B.构建包括前端网络和后端网络的深度学习模型，并完成对所述深度学习模型的初始化，在前端网络中包括不含全局平均池化层和全连接层的Resnext‑50神经网络，在后端网络中包括一个长短期记忆网络和一个全连接层；C.将训练集的数据输入到初始化后的深度学习模型中对深度学习模型进行训练，得到优化后的深度学习模型；D.将所述测试集的数据输入到优化后的深度学习模型，得到人脸相貌评估的结果。本发明大幅度减少了人脸相貌评估过程中的回归误，并且得到了更准确的人脸相貌评估效果。

Description

基于长短期记忆网络和人脸关键点的相貌评估方法
技术领域
本发明涉及长短期记忆神经网络深度学习的方法，具体讲是基于长短期记忆网络和人脸关键点的相貌评估方法。
背景技术
人脸的相貌在人际交往与社会活动中有着巨大的作用。使人愉悦的相貌作为第一印象可以影响企业用人的录用决策、相亲的成功概率、自媒体平台的关注率等。人脸相貌的评估也可以应用于对美妆、整容等行业的指导，以及社交平台与婚恋交友网站的个性化推荐。
传统的人脸相貌评估主要研究几何特征和纹理特征的影响。但现有的几何特征都有其局限性。纹理特征对同年龄段的人脸相貌不足以进行有效区分。因此，依据人工定义提取得到的相貌特征并不能完全解决人脸相貌评估问题。
近年来基于神经网络的深度学习模型在各个领域都取得了较大的进步，而长短期记忆网络(Long-Short Term Memory，LSTM)可以学习不同特征之间的相关性。因人脸相貌的特殊性，如何有效利用人脸的局部/细节信息是相貌评估问题的关键。而在现有的相貌评估方法中并没有相应的突破。
发明内容
本发明提供了一种基于长短期记忆网络和人脸关键点的相貌评估方法，以解决现有技术中的人脸局部信息利用率低、回归误差高的问题，提高人脸相貌评估的有效性。
本发明基于长短期记忆网络和人脸关键点的相貌评估方法，包括：
A.采集输入图像中人脸的关键点，根据所述关键点对人脸图像预处理后，将预处理后的人脸数据分为训练集和测试集；
B.构建包括前端网络和后端网络的深度学习模型，并完成对所述深度学习模型的初始化，在所述的前端网络中包括不含全局平均池化层和全连接层的Resnext-50神经网络，在后端网络中包括一个长短期记忆网络(Long-Short Term Memory，LSTM)和一个全连接层；
C.将所述训练集的数据输入到初始化后的深度学习模型中对深度学习模型进行训练，得到优化后的深度学习模型；
D.将所述测试集的数据输入到优化后的深度学习模型，得到人脸相貌评估的结果。
进一步的，步骤A所述的预处理包括通过仿射变换将倾斜的人脸区域进行校正，并计算校正后的关键点的位置。
具体的，步骤B所述的前端网络通过将所述关键点进行尺度变换映射至前端网络的输出特征图，再利用双线性插值计算关键点映射的深度特征信息，将得到的深度特征信息作为后端网络的输入，实现前端网络和后端网络的连接。
具体的，步骤B中，由所述的关键点得到人脸局部信息，所述后端网络中的长短期记忆网络根据人脸局部信息的相关性，使前端网络在将学习到的深度特征映射到不同的关键点位置之间时，各关键点的信息能够交互，以及学习不同局部位置的抽象信息和相关性。
具体的，步骤B中所述对深度学习模型的初始化包括：将通过ImageNet数据集(一个用于视觉对象识别软件研究的大型可视化数据库)预训练的参数作为前端网络的初始值，后端网络中长短期记忆网络的循环卷积层使用随机产生的标准均匀分布的参数进行初始化。
进一步的，步骤C所述的对深度学习模型的训练包括：以预测的相貌评估值的均方误差作为损失函数，以随机梯度下降算法对深度学习模型中的参数进行优化，其中初始学习率设置为0.001，训练过程中根据损失误差的下降程度相适应的降低学习率，直到损失误差不再下降时训练结束。
优选的，所述的关键点包括人脸图像中的两个眼睛关键点位置和两个嘴角关键点位置。
本发明以Resnext-50神经网络为主干网络提取人脸深度特征，利用人脸关键点尺度变换得到映射至人脸深度特征的关键点位置，采用双线性差值计算得到局部深度特征，再利用长短期记忆网络获取局部深度特征之间的相关性，有效解决了人脸相貌评估过程中回归误差大的问题，将长短期记忆网络结合局部深度特征最终得到了更准确的人脸相貌评估效果。
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
附图说明
图1为本发明基于长短期记忆网络和人脸关键点的相貌评估方法的流程图。
图2为图1中对深度学习模型训练的流程图。
具体实施方式
如图1所示本发明基于长短期记忆网络和人脸关键点的相貌评估方法，包括：
A.通过人脸检测器采集输入图像中人脸的关键点，包括人脸图像中的两个眼睛关键点位置和两个嘴角关键点位置。对所述关键点进行预处理，通过仿射变换将倾斜的人脸区域进行校正，并计算校正后的关键点的位置，再对校正后的人脸图像减去人脸图像的均值得到预处理后的人脸图像。然后将预处理后的人脸数据分为训练集和测试集。
B.构建包括前端网络和后端网络的深度学习模型，并对所述深度学习模型的初始化：将通过ImageNet数据集(一个用于视觉对象识别软件研究的大型可视化数据库)预训练的参数作为前端网络的初始值，在后端网络中包括有一个长短期记忆网络(Long-ShortTerm Memory，LSTM)，并且该长短期记忆网络的循环卷积层使用随机产生的标准均匀分布的参数进行初始化。
在基本的Resnext-50神经网络中一共具有六个卷积模块，第一个卷积模块包括大小为7×7、步长为2、输出通道为64的卷积层、一个BN层和非线性池化层；第二个卷积模块包括大小为3×3、步长为2的最大池化层和三个输入通道为128、输出通道为256的Resnext基本模块；第三个卷积模块包括四个输入通道为256、输出通道为512的Resnext基本模块；第四个卷积模块包括六个输入通道为512、输出通道为1024的Resnext基本模块；第五个卷积模块包括三个输入通道为1024、输出通道为2048的Resnext基本模块；第六个卷积模块包括和一个全局平均池化层和一个全连接层。其运算原理为，在Resnext基本模块中，首先对输入特征图进行卷积核大小为1×1，输出通道与Resnext基本模块的输入通道数相同的卷积运算，再将第一个卷积和输出通道平分成32等份，每份分别进行卷积核大小为3×3的卷积运算，将运算的结果串联到一起，输出与输入通道数相同的特征图，最后对特征图进行卷积核大小为1×1的卷积运算，输出特征图的通道数与Resnext基本模块的输出通道数相同。
本发明中所述的前端网络包括有不含全局平均池化层和全连接层(第六个卷积模块)的Resnext-50神经网络。前端网络使用Resnext-50神经网络的前五个卷积模块，通过将所述关键点进行尺度变换映射至前端网络的输出特征图，再利用双线性插值计算关键点映射的深度特征信息，将得到的深度特征信息作为后端网络的输入，实现前端网络和后端网络的连接。
在后端网络中包括一个步长为4、隐藏节点数为2048的长短期记忆网络和一个结点数为1的全连接层。通过所述的关键点得到人脸局部信息后，后端网络中的长短期记忆网络根据人脸局部信息的相关性，使前端网络在将学习到的深度特征映射到不同的关键点位置之间时，各关键点的信息能够交互，以及学习不同局部位置的抽象信息和相关性。长短期记忆网络采用最后一个输出状态序列作为输出，再连接所述的全连接层，将全连接层的输出作为深度学习模型的输出。
C.将所述训练集的数据输入到初始化后的深度学习模型中对深度学习模型进行训练：如图2所示，深度学习模型的前端网络通过将训练集中采集的关键点进行尺度变换映射至输出特征图，再利用双线性插值计算关键点映射的深度特征信息，将得到的深度特征信息输入到后端网络。后端网络以预测的相貌评估值的均方误差作为损失函数，以随机梯度下降算法对深度学习模型中的参数进行优化，其中初始学习率设置为0.001。在训练过程中根据损失误差的下降程度相适应的降低学习率，直到损失误差不再下降时训练结束。训练完成后得到优化后的深度学习模型。
D.将所述测试集的数据输入到优化后的深度学习模型，得到人脸相貌评估的结果。

Claims (7)

1.基于长短期记忆网络和人脸关键点的相貌评估方法，其特征包括：
A.采集输入图像中人脸的关键点，根据所述关键点对人脸图像预处理后，将预处理后的人脸数据分为训练集和测试集；
B.构建包括前端网络和后端网络的深度学习模型，并完成对所述深度学习模型的初始化，在所述的前端网络中包括不含全局平均池化层和全连接层的Resnext-50神经网络，在后端网络中包括一个长短期记忆网络和一个全连接层；
C.将所述训练集的数据输入到初始化后的深度学习模型中对深度学习模型进行训练，得到优化后的深度学习模型；
D.将所述测试集的数据输入到优化后的深度学习模型，得到人脸相貌评估的结果。
2.如权利要求1所述的基于长短期记忆网络和人脸关键点的相貌评估方法，其特征为：步骤A所述的预处理包括通过仿射变换将倾斜的人脸区域进行校正，并计算校正后的关键点的位置。
3.如权利要求1所述的基于长短期记忆网络和人脸关键点的相貌评估方法，其特征为：步骤B所述的前端网络通过将所述关键点进行尺度变换映射至前端网络的输出特征图，再利用双线性插值计算关键点映射的深度特征信息，将得到的深度特征信息作为后端网络的输入，实现前端网络和后端网络的连接。
4.如权利要求1所述的基于长短期记忆网络和人脸关键点的相貌评估方法，其特征为：步骤B中，由所述的关键点得到人脸局部信息，所述后端网络中的长短期记忆网络根据人脸局部信息的相关性，使前端网络在将学习到的深度特征映射到不同的关键点位置之间时，各关键点的信息能够交互，以及学习不同局部位置的抽象信息和相关性。
5.如权利要求1所述的基于长短期记忆网络和人脸关键点的相貌评估方法，其特征为：步骤B中所述对深度学习模型的初始化包括：将通过ImageNet数据集预训练的参数作为前端网络的初始值，后端网络中长短期记忆网络的循环卷积层使用随机产生的标准均匀分布的参数进行初始化。
6.如权利要求1所述的基于长短期记忆网络和人脸关键点的相貌评估方法，其特征为：步骤C所述的对深度学习模型的训练包括：以预测的相貌评估值的均方误差作为损失函数，以随机梯度下降算法对深度学习模型中的参数进行优化，其中初始学习率设置为0.001，训练过程中根据损失误差的下降程度相适应的降低学习率，直到损失误差不再下降时训练结束。
7.如权利要求1至6之一所述的基于长短期记忆网络和人脸关键点的相貌评估方法，其特征为：所述的关键点包括人脸图像中的两个眼睛关键点位置和两个嘴角关键点位置。
CN201910762208.XA 2019-08-19 2019-08-19 基于长短期记忆网络和人脸关键点的相貌评估方法 Pending CN110443323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910762208.XA CN110443323A (zh) 2019-08-19 2019-08-19 基于长短期记忆网络和人脸关键点的相貌评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910762208.XA CN110443323A (zh) 2019-08-19 2019-08-19 基于长短期记忆网络和人脸关键点的相貌评估方法

Publications (1)

Publication Number Publication Date
CN110443323A true CN110443323A (zh) 2019-11-12

Family

ID=68436280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910762208.XA Pending CN110443323A (zh) 2019-08-19 2019-08-19 基于长短期记忆网络和人脸关键点的相貌评估方法

Country Status (1)

Country Link
CN (1) CN110443323A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093140A (zh) * 2019-12-11 2020-05-01 上海闻泰信息技术有限公司 检测麦克和听筒防尘网缺陷的方法、装置、设备及存储介质
CN116805514A (zh) * 2023-08-25 2023-09-26 鲁东大学 一种基于深度学习的dna序列功能预测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714351A (zh) * 2013-12-18 2014-04-09 五邑大学 一种基于深度自学习的人脸美丽预测方法
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
CN105718869A (zh) * 2016-01-15 2016-06-29 网易（杭州）网络有限公司 一种评估图片中人脸颜值的方法和装置
CN106355138A (zh) * 2016-08-18 2017-01-25 电子科技大学 基于深度学习和关键点特征提取的人脸识别方法
CN109190514A (zh) * 2018-08-14 2019-01-11 电子科技大学 基于双向长短期记忆网络的人脸属性识别方法及系统
CN109344855A (zh) * 2018-08-10 2019-02-15 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
CN109800648A (zh) * 2018-12-18 2019-05-24 北京英索科技发展有限公司 基于人脸关键点校正的人脸检测识别方法及装置
CN110069994A (zh) * 2019-03-18 2019-07-30 中国科学院自动化研究所 基于人脸多区域的人脸属性识别系统、方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714351A (zh) * 2013-12-18 2014-04-09 五邑大学 一种基于深度自学习的人脸美丽预测方法
CN104537630A (zh) * 2015-01-22 2015-04-22 厦门美图之家科技有限公司 一种基于年龄估计的图像美颜方法和装置
CN105718869A (zh) * 2016-01-15 2016-06-29 网易（杭州）网络有限公司 一种评估图片中人脸颜值的方法和装置
CN106355138A (zh) * 2016-08-18 2017-01-25 电子科技大学 基于深度学习和关键点特征提取的人脸识别方法
CN109344855A (zh) * 2018-08-10 2019-02-15 华南理工大学 一种基于排序引导回归的深度模型的人脸美丽评价方法
CN109190514A (zh) * 2018-08-14 2019-01-11 电子科技大学 基于双向长短期记忆网络的人脸属性识别方法及系统
CN109800648A (zh) * 2018-12-18 2019-05-24 北京英索科技发展有限公司 基于人脸关键点校正的人脸检测识别方法及装置
CN110069994A (zh) * 2019-03-18 2019-07-30 中国科学院自动化研究所 基于人脸多区域的人脸属性识别系统、方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LINGYU LIANG 等: "SCUT-FBP5500z: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction", 《ARXIV》 *
LUOJUN LIN 等: "R2-ResNeXt: A ResNeXt-Based Regression Model with Relative Ranking for Facial Beauty Prediction", 《ICPR》 *
王飞: "基于卷积神经网络的人脸识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈良仁: "基于深度卷积神经网络的颜值计算研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093140A (zh) * 2019-12-11 2020-05-01 上海闻泰信息技术有限公司 检测麦克和听筒防尘网缺陷的方法、装置、设备及存储介质
CN116805514A (zh) * 2023-08-25 2023-09-26 鲁东大学 一种基于深度学习的dna序列功能预测方法
CN116805514B (zh) * 2023-08-25 2023-11-21 鲁东大学 一种基于深度学习的dna序列功能预测方法

Similar Documents

Publication Publication Date Title
US11487995B2 (en) Method and apparatus for determining image quality
CN111160440B (zh) 一种基于深度学习的安全帽佩戴检测方法及装置
CN110059750A (zh) 户型形状识别方法、装置和设备
CN106919897A (zh) 一种基于三级残差网络的人脸图像年龄估计方法
CN109377452B (zh) 基于vae和生成式对抗网络的人脸图像修复方法
CN106778584A (zh) 一种基于深层特征与浅层特征融合的人脸年龄估计方法
CN105760836A (zh) 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN109214298B (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN106529395B (zh) 基于深度置信网络和k均值聚类的签名图像鉴定方法
CN109408776A (zh) 一种基于生成式对抗网络的书法字体自动生成算法
CN110232326A (zh) 一种三维物体识别方法、装置及存储介质
CN107203752A (zh) 一种联合深度学习和特征二范数约束的人脸识别方法
CN111242837A (zh) 基于生成对抗网络的人脸匿名隐私保护方法
CN106875007A (zh) 用于语音欺骗检测的基于卷积长短期记忆端对端深度神经网络
CN108960404A (zh) 一种基于图像的人群计数方法及设备
CN105678248A (zh) 基于深度学习的人脸关键点对齐算法
CN109101938A (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN110059625B (zh) 一种基于mixup的人脸训练与识别方法
CN110443323A (zh) 基于长短期记忆网络和人脸关键点的相貌评估方法
CN108776835A (zh) 一种深度神经网络训练方法
CN109801225A (zh) 基于多任务全卷积神经网络的人脸网纹污迹去除方法
CN105139401A (zh) 一种深度图中深度的可信度的评估方法
CN103354073B (zh) 一种lcd色偏纠正方法
CN110490133A (zh) 一种基于生成对抗网络由父母照片生成子女照片的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191112

RJ01 Rejection of invention patent application after publication