CN108182384B - 一种人脸特征点定位方法及装置 - Google Patents

一种人脸特征点定位方法及装置 Download PDF

Info

Publication number
CN108182384B
CN108182384B CN201711288351.7A CN201711288351A CN108182384B CN 108182384 B CN108182384 B CN 108182384B CN 201711288351 A CN201711288351 A CN 201711288351A CN 108182384 B CN108182384 B CN 108182384B
Authority
CN
China
Prior art keywords
face
convolution
image
detected
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711288351.7A
Other languages
English (en)
Other versions
CN108182384A (zh
Inventor
李运涛
王刚
朱树磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201711288351.7A priority Critical patent/CN108182384B/zh
Publication of CN108182384A publication Critical patent/CN108182384A/zh
Application granted granted Critical
Publication of CN108182384B publication Critical patent/CN108182384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸特征点定位方法及装置，用以解决人脸特征点定位方法定位不准确，而且速度慢的问题。方法包括：获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将第i‑1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；通过第i个卷积模块中的第二卷积层将第一特征图再次基于多组权重进行融合，得到第二特征图；通过第i个卷积模块中的第三卷积层提取第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过第i个卷积模块中的融合层将第二特征图与第三特征图进行融合；将深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为待检测人脸图像的人脸特征图。

Description

一种人脸特征点定位方法及装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种人脸特征点定位方法及装置。
背景技术
在计算机视觉和模式识别领域里，人脸特征点(比如眼角点、虹膜中心、鼻尖点、鼻孔、嘴角点等)定位有着广泛的应用，比如人脸识别、人脸三维重建、动漫模拟等。通过人脸特征点定位可以确定人脸上眼角、眼中心、眉毛、鼻子、嘴角等的位置，但是在非可控环境下，人脸特征点定位受很多因素的干扰，如光照，姿态和遮挡等，使得人脸特征点定位依然面临着巨大的挑战。
传统的人脸图像特征点定位方法是通过对人脸形状利用主成分分析(英文：Principle Component Analysis，简称：PCA)算法进行统计分析，具体的，首先对训练集中的人脸样本图像通过手动定位特征点位置，进行PCA训练提取各特征点的主元特征矢量。然后对待检测图像进行人脸特征点初定位，并在待检测图像人脸特征点初定位的基础上，利用各特征点的主元特征，通过最小剩余误差能量的判决准则实现人脸特征点的自动定位。
但是，基于PCA算法的人脸特征点定位方法容易陷入局部最小值，导致定位不准确，而且速度慢，难以满足人脸特征点定位的实时性需求。
发明内容
本发明实施例提供一种人脸特征点定位方法及装置，用以解决现有技术中存在人脸特征点定位方法定位不准确，而且速度慢的问题。
第一方面，本发明实施例提供了一种人脸特征提取方法，包括：
获取待检测人脸图像；
通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；所述i从2开始取遍不大于所述深度卷积神经网络模型包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图；
通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；
通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；
通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；
将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。
本发明实施例通过获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。相比于现有技术中通过PCA算法进行统计分析，通过本发明实施例中的深度卷积神经网络提取人脸特征时可以提高人脸特征提取的准确度，并且可以减少提取人脸特征过程中的计算量，从而可以快速准确的提取人脸特征。
结合第一方面，在第一方面的第一种可能的实施方式中，通过所述第i个卷积模块的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图，包括：
针对每个所述第一特征图，将该第一特征图与所述第三卷积层的卷积核进行卷积得到一个卷积结果，并对该卷积结果进行批规范化BN算法以及修正线性单元ReLU函数处理；
将所有经过BN算法以及ReLU处理后的卷积结果基于多组权重进行合并，并对将合并的结果进行BN算法以及ReLU函数处理，得到所述第三特征图。
结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，在通过所述第i个卷积模块的融合层，将所述第二特征图与所述第三特征图进行融合之后，所述方法还包括：
通过所述第i个卷积模块中的池化层对所述融合层处理得到的结果进行降维处理，得到第i个卷积模块处理后的人脸特征图。
结合第一方面或第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，在获取待检测人脸图像之后，所述方法还包括：将所述待检测人脸图像进行亮度归一化处理。
第二方面，本发明实施例提供了一种基于第一方面或第一方面的任一种可能的实施方式中所述的人脸特征提取方法的人脸特征点定位方法，包括：
将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；
基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。
本发明实施例中通过将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差的多个特征值；然后基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。通过多阶段的级联回归，可以从粗到细定位人脸特征点，增加人脸特征点定位的鲁棒性。
结合第二方面，在第二方面的第一种可能的实施方式中，在获取待检测人脸图像之后，所述方法还包括：
将所述待检测人脸图像进行仿射变换处理，得到所述待检测人脸图像的正脸图像；
在基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置之后，所述方法还包括：
对所述多个人脸特征点的实际位置进行所述仿射变换处理的反变换处理。
结合第二方面或第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述深度卷积神经网络模型通过如下方式训练得到：
将若干个人脸样本图像输入初始化的深度卷积神经网络模型进行训练；其中，每个人脸样本图像均已预先确定多个人脸特征点位置；所述初始化的深度卷积神经网络模型包括权重和偏置；
在第K次训练过程中，通过经过K-1次调整的深度卷积神经网络模型的多个卷积模块提取所述人脸样本图像的人脸特征，得到人脸特征图；
将所述人脸特征图通过经过K-1次调整的深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述人脸样本图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
基于所述多个特征值调整所述人脸样本图像中包括的多个人脸特征点的初始位置，得到所述人脸样本图像中包括的多个人脸特征点的预测位置；
基于得到的所述多个人脸特征点的预测位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
将第P次通过所述深度卷积神经网络模型进行处理后所得到的所述多个人脸特征点的预测位置作为第K次训练确定的所述人脸特征图中包括的多个人脸特征点的预测位置；
在第K次训练后，获取所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值；
基于所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值，调整第K+1次训练过程所使用的权重和偏置。
第三方面，本发明实施例提供了一种人脸特征提取装置，包括：
获取模块，用于获取待检测人脸图像；
深度卷积神经网络模型，用于提取所述获取模块获取的所述待检测人脸图像的人脸轮廓特征以及五官特征；所述深度卷积神经网络模型为预先训练的，包括多个卷积模块，其中，每个卷积模块均包括第一卷积层、第二卷积层、第三卷积层以及融合层；
所述深度卷积神经网络模型的第i个卷积模块中的第一卷积层，用于将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；所述i从2开始取遍不大于所述深度卷积神经网络模型包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图；
所述第i个卷积模块中的第二卷积层，用于将所述第i个卷积模块中的第一卷积层得到的所述第一特征图再次基于多组权重进行融合，得到第二特征图；
所述第i个卷积模块中的第三卷积层，用于提取所述第i个卷积模块中的第一卷积层得到的所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；
所述第i个卷积模块中的融合层，用于将所述第i个卷积模块中的第二卷积层得到的所述第二特征图与所述第i个卷积模块中的第三卷积层得到的所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；
将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。
结合第三方面，在第三方面的第一种可能的实施方式中，所述第i个卷积模块中的第三卷积层，具体用于：
针对每个所述第一特征图，将该第一特征图与所述第三卷积层的卷积核进行卷积得到一个卷积结果，并对该卷积结果进行批规范化BN算法以及修正线性单元ReLU函数处理；
将所有经过BN算法以及ReLU处理后的卷积结果基于多组权重进行合并，并对将合并的结果进行BN算法以及ReLU函数处理，得到所述第三特征图。
结合第三方面的第一种可能的实施方式，在第三方面的第二种可能的实施方式中，所述第i个卷积模块还包括池化层；
所述第i个卷积模块的池化层，用于对所述第i个卷积模块的融合层处理得到的结果进行降维处理，得到所述第i个卷积模块处理后的人脸特征图。
结合第三方面或第三方面的第一种可能的实施方式或第三方面的第二种可能的实施方式，在第三方面的第三种可能的实施方式中，所述装置还包括：
归一化模块，用于在所述获取模块获取待检测人脸图像之后，将所述待检测人脸图像进行亮度归一化处理。
第四方面，本发明实施例提供了一种基于第三方面或第三方面的任一种可能的实施方式中所述的人脸特征提取装置的人脸特征点定位装置，包括：
深度卷积神经网络模型还包括全卷积层；
所述全卷积层，用于将待检测人脸图像的人脸特征图进行处理，得到多个特征值；所述多个特征值分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
调整模块，用于基于所述全卷积层得到的所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；
迭代模块，用于基于所述调整模块得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
输出模块，用于将所述迭代模块第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。
结合第四方面，在第四方面的第一种可能的实施方式中，所述装置还包括：
仿射变换模块，用于在所述获取模块获取待检测人脸图像之后，将所述待检测人脸图像进行仿射变换处理，得到所述待检测人脸图像的正脸图像；
反变换模块，用于在所述调整模块基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置之后，对所述多个人脸特征点的实际位置进行所述仿射变换处理的反变换处理。
结合第四方面或第四方面的第一种可能的实施方式，在第四方面的第二种可能的实施方式中，所述深度卷积神经网络模型通过如下方式训练得到：
将若干个人脸样本图像输入初始化的深度卷积神经网络模型进行训练；其中，每个人脸样本图像均已预先确定多个人脸特征点位置；所述初始化的深度卷积神经网络模型包括权重和偏置；
在第K次训练过程中，通过经过K-1次调整的深度卷积神经网络模型的多个卷积模块提取所述人脸样本图像的人脸特征，得到人脸特征图；
将所述人脸特征图通过经过K-1次调整的深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述人脸样本图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
基于所述多个特征值调整所述人脸样本图像中包括的多个人脸特征点的初始位置，得到所述人脸样本图像中包括的多个人脸特征点的预测位置；
基于得到的所述多个人脸特征点的预测位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
将第P次通过所述深度卷积神经网络模型进行处理后所得到的所述多个人脸特征点的预测位置作为第K次训练确定的所述人脸特征图中包括的多个人脸特征点的预测位置；
在第K次训练后，获取所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值；
基于所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值，调整第K+1次训练过程所使用的权重和偏置。本发明有益效果如下：
本发明实施例通过获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。相比于现有技术中通过PCA算法进行统计分析，通过本发明实施例中的深度卷积神经网络提取人脸特征时可以提高人脸特征提取的准确度，并且可以减少提取人脸特征过程中的计算量，从而可以快速准确的提取人脸特征。
并且，本发明实施例中通过将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差的多个特征值；然后基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。通过多阶段的级联回归，可以从粗到细定位人脸特征点，增加人脸特征点定位的鲁棒性。
附图说明
图1为本发明实施例提供的一种人脸特征提取方法的流程示意图；
图2为本发明实施例提供的一种深度卷积神经网络模型的结构示意图；
图3A为本发明实施例提供的一种标准卷积层的结构示意图；
图3B为本发明实施例提供的一种MobileNets单元的结构示意图；
图4为本发明实施例提供的一种人脸特征点定位方法的流程示意图；
图5为本发明实施例提供的训练深度卷积神经网络模型的流程示意图；
图6为本发明实施例提供的一种定位人脸特征点的流程示意图；
图7为本发明实施例提供的一种人脸特征提取装置的结构示意图；
图8为本发明实施例提供的一种人脸特征点定位装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供一种人脸特征点定位方法及装置，用以解决现有技术中存在人脸特征点定位方法定位不准确，而且速度慢的问题。其中，方法和装置是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。
为了使得本发明的实施例更容易被理解，下面，首先对本发明的实施例中涉及的一些描述加以说明，这些说明不应视为对本发明所要求的保护范围的限定。
MobileNets单元：一种基于深度可分解的卷积形式，包括一个卷积核(卷积核尺寸为n，n为大于1的整数)和一个点卷积(滤波通道数为H)。应用MobileNets单元进行卷积处理时，首先将h个输入特征图分别与该深度卷积核进行卷积，即：
F′g＝W*Fg；g∈(1,2……h)
其中，Fg为第g张输入特征图，W为深度卷积核，F′g为第g张输入特征图对应的卷积输出结果。然后将F′1至F′h与点卷积(1×1×H)进行卷积，即将独立的F′1至F′h进行结合。
下面结合附图对本发明优选的实施方式进行详细说明。
参阅图1所示，为本发明实施例提供的一种人脸特征提取方法，所述方法具体可以包括如下：
S101，获取待检测人脸图像。
S102，通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；
所述i从2开始取遍不大于所述深度卷积神经网络模型包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图。
S103，通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图。
S104，通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图。
S105，通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图。
S106，将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。
本发明实施例通过获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。相比于现有技术中通过PCA算法进行统计分析，通过本发明实施例中的深度卷积神经网络提取人脸特征时可以提高人脸特征提取的准确度，并且可以减少提取人脸特征过程中的计算量，从而可以快速准确的提取人脸特征。
可选的，在步骤S101，获取待检测人脸图像之后，可以对所述待检测人脸图像进行尺寸归一化处理。
由于光照变化对人脸特征提取的影响很大，因此在步骤S101，获取待检测人脸图像之后，还可以对所述待检测人脸图像进行亮度归一化处理。
具体的，可以通过如下公式对所述待检测人脸图像进行亮度归一化处理：
Xd＝(Xs-Means)×Sdvd/Sdvs+Meand；
其中，Xd表示所述待检测人脸图像的任一像素点经过亮度归一化处理后的像素值，Xs表示所述待检测人脸图像的所述任一像素点的原始像素值，Means表示用于训练所述深度卷积神经网络模型的多个人脸样本图像的所述任一像素点的平均像素值，Sdvd表示所述待检测人脸图像的所有像素点的像素值方差，Sdvs表示用于训练所述深度卷积神经网络模型的多个人脸样本图像的所述任一像素点的像素值方差，Meand表示所述待检测人脸图像的所有像素点的平均像素值。
深度卷积神经网络模型包括多个卷积模块，本发明实施例在这里不具体限定卷积模块的数量。下面以深度卷积神经网络模型包括4个卷积模块为例进行说明，深度卷积神经网络模型可以参阅图2所示，其中，每个卷积模块均包括第一卷积层、第二卷积层、第三卷积层、融合层，在每个卷积模块均可以进行使用批规范化(英文：batch normalization，简称：BN)算法和非限制性线性单元激活函数(英文：Rectified Linear Units，简称：ReLU)进行处理。
其中，第一卷积层可以为1×1×M的卷积层，因此，步骤S102，第i个卷积模块中的第一卷积层将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图，可以通过如下方式实现：
将第i-1个卷积模块处理得到的人脸特征图与第i个卷积模块中的第一卷积层(1×1×M的卷积层)进行卷积运算，以实现将第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合的技术效果，从而得到M个第一特征图。所述第一卷积层的滤波通道数(也就是M)等于所述多组权重的组数。
第二卷积层可以为1×1×N的卷积层，因此，步骤S103，通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图，可以通过如下方式实现：
将M个第一特征图与第i个卷积模块中的第二卷积层(1×1×N的卷积层)进行卷积运算，以实现将所述第一特征图再次基于多组权重进行融合的技术效果，从而得到N个第二特征图。所述第二卷积层的滤波通道数(也就是N)等于所述多组权重的组数。
M和N可以相等，也可以不相等，本发明实施例在这里不做具体限定。为减少参数量从而减少计算量，M和N可以在16和68之间进行取值。
第三卷积层可以为a×a×N的卷积层，其中，a为大于1的整数，本发明实施例以a等于3为例进行说明，第三卷积层的Padding参数值可以设为2。因此，步骤S104，通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图，可以通过如下方式实现：
将M个第一特征图与第i个卷积模块中的第三卷积层(3×3×N的卷积层)进行卷积运算，以提取所述第一特征图中的人脸轮廓特征以及五官特征，得到N个第三特征图。
这里为了减少计算量，第三卷积层可以使用包含有可分离的深度卷积和点卷积的MobileNets单元，即将a×a×N卷积层可以用一个a×a的卷积核和一个1×1×N的点卷积来代替，输出是N个第三特征图。以3×3×N的卷积层为例，如图3B所示，为一个3×3×N的标准卷积层；如图3B所示，为一个3×3×N的MobileNets单元，其中，3×3的卷积核分别和每个第一特征图进行独立的卷积运算，以提取每个第一特征图中的人脸轮廓特征以及五官特征，这样，M个第一特征图分别和3×3的卷积核进行独立的卷积运算后得到M个特征图。1×1×N的点卷积用于将所述M个特征图进行特征融合，即将所述M个特征图与1×1×N的点卷积进行卷积运算，得到N个第三特征图。
当第三卷积层使用包含有可分离的深度卷积和点卷积的MobileNets单元时，步骤S104，通过所述第i个卷积模块的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图，可以通过如下方式实现：
A1，针对每个所述第一特征图，将该第一特征图与所述第三卷积层的卷积核进行卷积得到一个卷积结果，并对该卷积结果进行批规范化BN算法以及修正线性单元ReLU函数处理；
A2，将所有经过BN算法以及ReLU处理后的卷积结果基于多组权重进行合并，并对将合并的结果进行BN算法以及ReLU函数处理，得到所述第三特征图。
一个深度卷积标准的卷积操作的计算代价是:
DK*DK*M*N*DF*DF
其中DK是卷积核尺寸，DF是输出的特征图的尺寸，M是输入通道，N是输出通道。
而MobileNets单元有两层构成，深度卷积层是对每个输入通道执行单个滤波器，点卷积层用来创建深度层的线性叠加，因此计算代价是：
DK*DK*M*DF*DF+M*N*DF*DF；
其中，DK*DK*M*DF*DF是深度层的计算代价，M*N*DF*DF是点卷积的计算代价。
以输出的7×7的特征图，输入通道为2，输出通道为5为例，图3A所示的3×3×N的标准卷积层进行卷积操作的计算代价为3×3×2×5×7×7＝4410。而图3B所示的3×3×N的MobileNets单元进行卷积操作的计算代价为3×3×2×7+2×5×7×7＝616。
可以看到，相对于标准卷积层，MobileNets单元能够明显的减少了7-8倍的计算量，降低了计算复杂度，能够有效的压缩计算单元层，提高定位的速度。
因此，第三卷积层使用包含有可分离的深度卷积和点卷积的MobileNets单元可以极大的减少模型大小，降低计算复杂度，从而减少计算量，提高人脸特征提取的速度。
在一种可能的实施方式中，步骤S105，通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图，可以通过如下方式实现：
将第j个第二特征图与第j个第三特征图坐标位置相同的像素点的像素值分别进行相加。其中，j取遍不大于N的整数。
可选的，在通过所述第i个卷积模块的融合层，将所述第二特征图与所述第三特征图进行融合之后，所述方法还包括：
通过所述第i个卷积模块中的池化层对所述融合层处理得到的结果进行降维处理。
本发明实施例深度卷积神经网络模型仅使用1×1和3×3的卷积核尺寸，可以大幅度的减少网络结构的参数量，从而降低计算复杂度，减少计算量，从而可以快速提取全局人脸特征。
基于本发明实施例提供的人脸特征提取方法，本发明实施例还提供一种人脸特征点定位方法，参阅图4所示，所述方法具体可以包括如下：
S401，将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；
所述多个特征值分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差。
具体的，所述全卷积层也就是深度卷积神经网络模型的全连接层，其中，深度卷积神经网络模型可以包括两个全连接层，第一个全连接层为b×b×R的全卷积层，所述b×b为输入所述第一个全连接层的特征图的尺寸，R为2的整倍数，所述第一个全连接层的Padding参数值可以设为0；第二个全连接层为1×1×R的全卷积层。本发明实施例中R可以取值为136，因此，通过深度卷积神经网络模型的两个全连接层可以得到136维的特征值，该136维的特征值分别为68个特征点的坐标偏差。
S402，基于所述多个特征值调整待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；
具体的，以R取值为136为例，将68个位置偏差分别与所述人脸特征图中包括的68个人脸特征点的初始位置进行相加，得到所述人脸特征图中包括的多个人脸特征点的实际位置。
其中，在第一次通过所述深度卷积神经网络模型进行处理时，所述待检测人脸图像中包括的任一人脸特征点的初始位置为：用于训练所述深度卷积神经网络模型的若干个人脸样本中该人脸特征点的坐标位置的平均值。在之后通过深度卷积神经网络模型进行处理时，所述待检测人脸图像中包括的任一人脸特征点的初始位置为：前一次通过深度卷积神经网络模型进行处理后得到的该人脸特征点的实际位置。
S403，基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
S404，将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。
其中，P可以为大于0的任意整数，本发明实施例在这里不做具体限定。
本发明实施例中通过将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差的多个特征值；然后基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。通过多阶段的级联回归，可以从粗到细定位人脸特征点，增加人脸特征点定位的鲁棒性。
由于人脸图像受到姿态变化的影响，人脸形状有很大的改变，因此在每一次通过所述深度卷积神经网络模型进行处理时，在获取待检测人脸图像之后，可以将所述待检测人脸图像进行仿射变换处理，得到所述待检测人脸图像的正脸图像。具体的，可以使用Opencv人脸检测器，检测所述待检测人脸图像中人脸的位置，然后利用仿射变换，将人脸图像对齐到正脸图像，消除姿态变化的影响。并且在将每一次通过所述深度卷积神经网络模型进行处理时将得到的人脸特征点的实际位置进行所述仿射变换处理的反变换处理。
本发明实施例中将待检测人脸图像仿射变换得到该待检测人脸图像的正脸图像，通过这种姿态归一化处理能够使人脸形状在回归时保持不变，并且可以简化人脸形状回归的过程以及提高准确率。
可选的，所述深度卷积神经网络模型通过如下方式训练得到，如图5所示：
S501，将若干个人脸样本图像输入初始化的深度卷积神经网络模型进行训练；其中，每个人脸样本图像均已预先确定多个人脸特征点位置；所述初始化的深度卷积神经网络模型包括权重和偏置；
其中，可以通过普式采样的方式，扩充用于训练深度卷积神经网络模型的人脸样本图像。
S502，在第K次训练过程中，通过经过K-1次调整的深度卷积神经网络模型的多个卷积模块提取所述人脸样本图像的人脸特征，得到人脸特征图；
S503，将所述人脸特征图通过经过K-1次调整的深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述人脸样本图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
S504，基于所述多个特征值调整所述人脸样本图像中包括的多个人脸特征点的初始位置，得到所述人脸样本图像中包括的多个人脸特征点的预测位置；
S505，基于得到的所述多个人脸特征点的预测位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
S506，将第P次通过所述深度卷积神经网络模型进行处理后所得到的所述多个人脸特征点的预测位置作为第K次训练确定的所述人脸样本图像中包括的多个人脸特征点的预测位置；
S507，在第K次训练后，获取所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值；
S508，基于所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值，调整第K+1次训练过程所使用的权重和偏置。
为了更好地理解本发明实施例，以下给出具体应用场景，以图2所示的深度卷积神经网络模型为例，对人脸特征点定位的过程进行具体详细描述，如图5所示，为人脸特征点定位过程的示意图。
其中，深度卷积神经网络模型的每个卷积模块均采用2×2的池化层，深度卷积神经网络模型的第一个全连接层为7×7×136的全卷积层，第二个全连接层为1×1×136的全卷积层，并且级联回归包括3个阶段，也就是p取值为3。
S601，获取待检测人脸图像。
执行级联回归的第一阶段，即步骤S602至至S611：
S602，对待检测人脸图像进行预处理；
具体的，将待检测人脸图像的尺寸归一化为112×112，并进行光照归一化，以及将进行了光照归一化的待检测人脸图像经过仿射变换对齐到正脸图像。
S603，通过深度卷积神经网络模型的第一个卷积模块提取经过预处理的待检测人脸图像的人脸轮廓特征以及五官特征，得到N个56×56的特征图。
需要说明的是，112×112的待检测人脸图像经过第一个卷积模块的池化层后降维为56×56。
步骤S603可以参阅图1所示的实施例中步骤S102至S105所述的方法，本发明实施例在这里不再重复赘述。
S604，通过深度卷积神经网络模型的第二个卷积模块进一步提取所述56×56的特征图的人脸轮廓特征以及五官特征，得到N个28×28的特征图。
需要说明的是，56×56的特征图经过第二个卷积模块的池化层后降维为28×28。
步骤S604可以参阅图1所示的实施例中步骤S102至S105所述的方法，本发明实施例在这里不再重复赘述。
S605，通过深度卷积神经网络模型的第三个卷积模块进一步提取所述28×28的特征图的人脸轮廓特征以及五官特征，得到N个14×14的特征图。
需要说明的是，28×28的特征图经过第三个卷积模块的池化层后降维为14×14。
步骤S605可以参阅图1所示的实施例中步骤S102至S105所述的方法，本发明实施例在这里不再重复赘述。
S606，通过深度卷积神经网络模型的第四个卷积模块进一步提取所述14×14的特征图的人脸轮廓特征以及五官特征，得到N个7×7的特征图。
需要说明的是，14×14的特征图经过第四个卷积模块的池化层后降维为7×7。
步骤S606可以参阅图1所示的实施例中步骤S102至S105所述的方法，本发明实施例在这里不再重复赘述。
S607，将所述7×7的特征图通过7×7×136的全卷积层进行处理，得到136个数据。
S608，将所述136个数据通过1×1×136的全卷积层进行处理，得到136个特征值。
所述136个特征值分别用于表征所述待检测人脸图像中包括的68个人脸特征点的实际位置与初始位置之间的位置偏差。
S609，将68个人脸特征点的位置偏差与待检测人脸图像中包括的所述68个人脸特征点的初始位置分别进行相加，得到所述待检测人脸图像中包括的68个人脸特征点的实际位置。
S610，将所述待检测人脸图像中包括的68个人脸特征点的实际位置进行所述仿射变换处理的反变换处理。
即：
Figure BDA0001498907350000201
其中，S1为第一阶段的所述待检测人脸图像中包括的68个人脸特征点经过反变换处理后的位置，S0为用于训练深度卷积神经网络模型的多个人脸样本图像的68个人脸特征点的平均坐标，△S1为第一阶段得到的68个人脸特征点的位置偏差。T1是第一阶段的仿射变换处理，
Figure BDA0001498907350000202
是T1的反变换处理。
S611，基于经过反变换处理的所述多个人脸特征点的位置重构人脸图像作为新的待检测人脸图像。
S612，执行级联回归的第二阶段。
具体可以参阅步骤S602至S611，本发明实施例在这里不再重复赘述。
其中。第二阶段的待检测人脸图像中包括的68个人脸特征点经过反变换处理后的位置为：
Figure BDA0001498907350000203
其中，S2为第二阶段的待检测人脸图像中包括的68个人脸特征点经过反变换处理后的位置，S1为第一阶段的所述待检测人脸图像中包括的68个人脸特征点经过反变换处理后的位置，△S2为第二阶段得到的68个人脸特征点的位置偏差。T2是第二阶段的仿射变换处理，
Figure BDA0001498907350000204
是T2的反变换处理。
S613，执行级联回归的第三阶段。
具体可以参阅步骤S602至S610，本发明实施例在这里不再重复赘述。第三阶段的待检测人脸图像中包括的68个人脸特征点经过反变换处理后的位置即为所述68个人脸特征点的最终位置。
第三阶段的待检测人脸图像中包括的68个人脸特征点经过反变换处理后的位置为：
Figure BDA0001498907350000211
其中，S3为第三阶段的待检测人脸图像中包括的68个人脸特征点经过反变换处理后的位置，S2为第二阶段的所述待检测人脸图像中包括的68个人脸特征点经过反变换处理后的位置，△S3为第二阶段得到的68个人脸特征点的位置偏差。T3是第二阶段的仿射变换处理，
Figure BDA0001498907350000212
是T3的反变换处理。
基于与图1对应的方法实施例的同样的发明构思，本发明实施例提供一种人脸特征提取装置70，该装置70的结构如图7所示，包括获取模块71、深度卷积神经网络模型72，其中：
获取模块71，用于获取待检测人脸图像；
深度卷积神经网络模型72，用于提取所述获取模块71获取的所述待检测人脸图像的人脸轮廓特征以及五官特征；所述深度卷积神经网络模型72为预先训练的，包括多个卷积模块，其中，每个卷积模块均包括第一卷积层、第二卷积层、第三卷积层以及融合层；
所述深度卷积神经网络模型72的第i个卷积模块中的第一卷积层，用于将所述深度卷积神经网络模型72的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；所述i从2开始取遍不大于所述深度卷积神经网络模型72包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图；
所述第i个卷积模块中的第二卷积层，用于将所述第i个卷积模块中的第一卷积层得到的所述第一特征图再次基于多组权重进行融合，得到第二特征图；
所述第i个卷积模块中的第三卷积层，用于提取所述第i个卷积模块中的第一卷积层得到的所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；
所述第i个卷积模块中的融合层，用于将所述第i个卷积模块中的第二卷积层得到的所述第二特征图与所述第i个卷积模块中的第三卷积层得到的所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；
将所述深度卷积神经网络模型72的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。
可选的，所述第i个卷积模块中的第三卷积层，具体用于：
针对每个所述第一特征图，将该第一特征图与所述第三卷积层的卷积核进行卷积得到一个卷积结果，并对该卷积结果进行批规范化BN算法以及修正线性单元ReLU函数处理；
将所有经过BN算法以及ReLU处理后的卷积结果基于多组权重进行合并，并对将合并的结果进行BN算法以及ReLU函数处理，得到所述第三特征图。
可选的，所述第i个卷积模块还包括池化层；
所述第i个卷积模块的池化层，用于对所述第i个卷积模块的融合层处理得到的结果进行降维处理，得到所述第i个卷积模块处理后的人脸特征图。
可选的，所述装置还包括：
归一化模块73，用于在所述获取模块71获取待检测人脸图像之后，将所述待检测人脸图像进行亮度归一化处理。
基于与图4对应的方法实施例的同样的发明构思，本发明实施例提供基于图7所述的人脸特征提取装置的人脸特征点定位装置80，该装置80的结构如图8所示，包括获取模块71、深度卷积神经网络模型72、调整模块81、迭代模块82以及输出模块83，其中：
深度卷积神经网络模型72还包括全卷积层；
所述全卷积层，用于将待检测人脸图像的人脸特征图进行处理，得到多个特征值；所述多个特征值分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
调整模块81，用于基于所述全卷积层得到的所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；
迭代模块82，用于基于所述调整模块81得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型72进行处理；
输出模块83，用于将所述迭代模块82第P次通过所述深度卷积神经网络模型72进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。
可选的，所述装置还包括：
仿射变换模块84，用于在所述获取模块71获取待检测人脸图像之后，将所述待检测人脸图像进行仿射变换处理，得到所述待检测人脸图像的正脸图像；
反变换模块85，用于在所述调整模块81基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置之后，对所述多个人脸特征点的实际位置进行所述仿射变换处理的反变换处理。
可选的，所述深度卷积神经网络模型72通过如下方式训练得到：
将若干个人脸样本图像输入初始化的深度卷积神经网络模型72进行训练；其中，每个人脸样本图像均已预先确定多个人脸特征点位置；所述初始化的深度卷积神经网络模型72包括权重和偏置；
在第K次训练过程中，通过经过K-1次调整的深度卷积神经网络模型72的多个卷积模块提取所述人脸样本图像的人脸特征，得到人脸特征图；
将所述人脸特征图通过经过K-1次调整的深度卷积神经网络模型72的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述人脸样本图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
基于所述多个特征值调整所述人脸样本图像中包括的多个人脸特征点的初始位置，得到所述人脸样本图像中包括的多个人脸特征点的预测位置；
基于得到的所述多个人脸特征点的预测位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型72进行处理；
将第P次通过所述深度卷积神经网络模型72进行处理后所得到的所述多个人脸特征点的预测位置作为第K次训练确定的所述人脸特征图中包括的多个人脸特征点的预测位置；
在第K次训练后，获取所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值；
基于所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值，调整第K+1次训练过程所使用的权重和偏置。
本发明实施例通过获取待检测人脸图像；通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图；通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。相比于现有技术中通过PCA算法进行统计分析，通过本发明实施例中的深度卷积神经网络提取人脸特征时可以提高人脸特征提取的准确度，并且可以减少提取人脸特征过程中的计算量，从而可以快速准确的提取人脸特征。
并且，本发明实施例中通过将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差的多个特征值；然后基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。通过多阶段的级联回归，可以从粗到细定位人脸特征点，增加人脸特征点定位的鲁棒性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种人脸特征提取方法，其特征在于，包括：
获取待检测人脸图像；
通过深度卷积神经网络模型的第i个卷积模块中的第一卷积层，将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；所述i从2开始取遍不大于所述深度卷积神经网络模型包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图；
通过所述第i个卷积模块中的第二卷积层，将所述第一特征图再次基于多组权重进行融合，得到第二特征图；
通过所述第i个卷积模块中的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图，所述第三卷积层为包含有可分离的深度卷积和点卷积的MobileNets单元；
通过所述第i个卷积模块中的融合层，将所述第二特征图与所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；
将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。
2.如权利要求1所述的方法，其特征在于，通过所述第i个卷积模块的第三卷积层提取所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图，包括：
针对每个所述第一特征图，将该第一特征图与所述第三卷积层的卷积核进行卷积得到一个卷积结果，并对该卷积结果进行批规范化BN算法以及修正线性单元ReLU函数处理；
将所有经过BN算法以及ReLU处理后的卷积结果基于多组权重进行合并，并对将合并的结果进行BN算法以及ReLU函数处理，得到所述第三特征图。
3.如权利要求2所述的方法，其特征在于，在通过所述第i个卷积模块的融合层，将所述第二特征图与所述第三特征图进行融合之后，所述方法还包括：
通过所述第i个卷积模块中的池化层对所述融合层处理得到的结果进行降维处理，得到第i个卷积模块处理后的人脸特征图。
4.如权利要求1所述的方法，其特征在于，在获取待检测人脸图像之后，所述方法还包括：
将所述待检测人脸图像进行亮度归一化处理。
5.一种基于权利要求1～4任一项所述的人脸特征提取方法的人脸特征点定位方法，其特征在于，包括：
将所述待检测人脸图像的人脸特征图通过深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；
基于得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
将第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。
6.如权利要求5所述的方法，其特征在于，在获取待检测人脸图像之后，所述方法还包括：
将所述待检测人脸图像进行仿射变换处理，得到所述待检测人脸图像的正脸图像；
在基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置之后，所述方法还包括：
对所述多个人脸特征点的实际位置进行所述仿射变换处理的反变换处理。
7.如权利要求5所述的方法，其特征在于，所述深度卷积神经网络模型通过如下方式训练得到：
将若干个人脸样本图像输入初始化的深度卷积神经网络模型进行训练；其中，每个人脸样本图像均已预先确定多个人脸特征点位置；所述初始化的深度卷积神经网络模型包括权重和偏置；
在第K次训练过程中，通过经过K-1次调整的深度卷积神经网络模型的多个卷积模块提取所述人脸样本图像的人脸特征，得到人脸特征图；
将所述人脸特征图通过经过K-1次调整的深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述人脸样本图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
基于所述多个特征值调整所述人脸样本图像中包括的多个人脸特征点的初始位置，得到所述人脸样本图像中包括的多个人脸特征点的预测位置；
基于得到的所述多个人脸特征点的预测位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
将第P次通过所述深度卷积神经网络模型进行处理后所得到的所述多个人脸特征点的预测位置作为第K次训练确定的所述人脸特征图中包括的多个人脸特征点的预测位置；
在第K次训练后，获取所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值；
基于所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值，调整第K+1次训练过程所使用的权重和偏置。
8.一种人脸特征提取装置，其特征在于，包括：
获取模块，用于获取待检测人脸图像；
深度卷积神经网络模型，用于提取所述获取模块获取的所述待检测人脸图像的人脸轮廓特征以及五官特征；所述深度卷积神经网络模型为预先训练的，包括多个卷积模块，其中，每个卷积模块均包括第一卷积层、第二卷积层、第三卷积层以及融合层；
所述深度卷积神经网络模型的第i个卷积模块中的第一卷积层，用于将所述深度卷积神经网络模型的第i-1个卷积模块处理得到的人脸特征图基于多组权重进行融合，得到第一特征图；所述i从2开始取遍不大于所述深度卷积神经网络模型包括的卷积模块总数的正整数；其中，当所述i等于1时，第1个卷积模块中的第一卷积层对所述待检测人脸图像基于多组权重进行融合，得到第一特征图；
所述第i个卷积模块中的第二卷积层，用于将所述第i个卷积模块中的第一卷积层得到的所述第一特征图再次基于多组权重进行融合，得到第二特征图；
所述第i个卷积模块中的第三卷积层，用于提取所述第i个卷积模块中的第一卷积层得到的所述第一特征图中的人脸轮廓特征以及五官特征，得到第三特征图，所述第三卷积层为包含有可分离的深度卷积和点卷积的MobileNets单元；
所述第i个卷积模块中的融合层，用于将所述第i个卷积模块中的第二卷积层得到的所述第二特征图与所述第i个卷积模块中的第三卷积层得到的所述第三特征图进行融合，得到第i个卷积模块处理后的人脸特征图；
将所述深度卷积神经网络模型的最后一个卷积模块处理得到的人脸特征图作为所述待检测人脸图像的人脸特征图。
9.如权利要求8所述的装置，其特征在于，所述第i个卷积模块中的第三卷积层，具体用于：
针对每个所述第一特征图，将该第一特征图与所述第三卷积层的卷积核进行卷积得到一个卷积结果，并对该卷积结果进行批规范化BN算法以及修正线性单元ReLU函数处理；
将所有经过BN算法以及ReLU处理后的卷积结果基于多组权重进行合并，并对将合并的结果进行BN算法以及ReLU函数处理，得到所述第三特征图。
10.如权利要求9所述的装置，其特征在于，所述第i个卷积模块还包括池化层；
所述第i个卷积模块的池化层，用于对所述第i个卷积模块的融合层处理得到的结果进行降维处理，得到所述第i个卷积模块处理后的人脸特征图。
11.如权利要求8所述的装置，其特征在于，所述装置还包括：
归一化模块，用于在所述获取模块获取待检测人脸图像之后，将所述待检测人脸图像进行亮度归一化处理。
12.一种基于权利要求8～11任一项所述的人脸特征提取装置的人脸特征点定位装置，其特征在于，包括：
深度卷积神经网络模型还包括全卷积层；
所述全卷积层，用于将待检测人脸图像的人脸特征图进行处理，得到多个特征值；所述多个特征值分别用于表征所述待检测人脸图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
调整模块，用于基于所述全卷积层得到的所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置；
迭代模块，用于基于所述调整模块得到的所述多个人脸特征点的实际位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
输出模块，用于将所述迭代模块第P次通过所述深度卷积神经网络模型进行处理后所得到的人脸特征点的实际位置作为所述待检测人脸图像中包括的多个人脸特征点的最终位置。
13.如权利要求12所述的装置，其特征在于，所述装置还包括：
仿射变换模块，用于在所述获取模块获取待检测人脸图像之后，将所述待检测人脸图像进行仿射变换处理，得到所述待检测人脸图像的正脸图像；
反变换模块，用于在所述调整模块基于所述多个特征值调整所述待检测人脸图像中包括的多个人脸特征点的初始位置，得到所述待检测人脸图像中包括的多个人脸特征点的实际位置之后，对所述多个人脸特征点的实际位置进行所述仿射变换处理的反变换处理。
14.如权利要求12所述的装置，其特征在于，所述深度卷积神经网络模型通过如下方式训练得到：
将若干个人脸样本图像输入初始化的深度卷积神经网络模型进行训练；其中，每个人脸样本图像均已预先确定多个人脸特征点位置；所述初始化的深度卷积神经网络模型包括权重和偏置；
在第K次训练过程中，通过经过K-1次调整的深度卷积神经网络模型的多个卷积模块提取所述人脸样本图像的人脸特征，得到人脸特征图；
将所述人脸特征图通过经过K-1次调整的深度卷积神经网络模型的全卷积层进行处理，得到多个特征值；所述多个特征值分别用于表征所述人脸样本图像中包括的多个人脸特征点的实际位置与初始位置之间的位置偏差；
基于所述多个特征值调整所述人脸样本图像中包括的多个人脸特征点的初始位置，得到所述人脸样本图像中包括的多个人脸特征点的预测位置；
基于得到的所述多个人脸特征点的预测位置重构人脸图像作为新的待检测人脸图像，重新通过所述深度卷积神经网络模型进行处理；
将第P次通过所述深度卷积神经网络模型进行处理后所得到的所述多个人脸特征点的预测位置作为第K次训练确定的所述人脸特征图中包括的多个人脸特征点的预测位置；
在第K次训练后，获取所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值；
基于所述多个人脸特征点的预测位置与所述人脸样本图像预先确定的多个人脸特征点位置之间的误差值，调整第K+1次训练过程所使用的权重和偏置。
CN201711288351.7A 2017-12-07 2017-12-07 一种人脸特征点定位方法及装置 Active CN108182384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711288351.7A CN108182384B (zh) 2017-12-07 2017-12-07 一种人脸特征点定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711288351.7A CN108182384B (zh) 2017-12-07 2017-12-07 一种人脸特征点定位方法及装置

Publications (2)

Publication Number Publication Date
CN108182384A CN108182384A (zh) 2018-06-19
CN108182384B true CN108182384B (zh) 2020-09-29

Family

ID=62545617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711288351.7A Active CN108182384B (zh) 2017-12-07 2017-12-07 一种人脸特征点定位方法及装置

Country Status (1)

Country Link
CN (1) CN108182384B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108806142A (zh) * 2018-06-29 2018-11-13 炬大科技有限公司 一种无人安保系统，方法及扫地机器人
CN108985206B (zh) * 2018-07-04 2020-07-28 百度在线网络技术（北京）有限公司 模型训练方法、人体识别方法、装置、设备及存储介质
CN109190654A (zh) * 2018-07-09 2019-01-11 上海斐讯数据通信技术有限公司 人脸识别模型的训练方法和装置
CN111144175B (zh) * 2018-11-05 2023-04-18 杭州海康威视数字技术股份有限公司 一种图像检测方法及装置
CN113569798B (zh) * 2018-11-16 2024-05-24 北京市商汤科技开发有限公司 关键点检测方法及装置、电子设备和存储介质
CN109598212B (zh) * 2018-11-20 2020-11-24 北京知道创宇信息技术股份有限公司 一种人脸检测方法及装置
CN109637664A (zh) * 2018-11-20 2019-04-16 平安科技（深圳）有限公司 一种bmi评测方法、装置及计算机可读存储介质
CN109886341B (zh) * 2019-02-25 2021-03-02 厦门美图之家科技有限公司 一种训练生成人脸检测模型的方法
CN110619319A (zh) * 2019-09-27 2019-12-27 北京紫睛科技有限公司 一种基于改进的mtcnn模型人脸检测方法和系统
CN112581414B (zh) * 2019-09-30 2024-04-23 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
CN111126173B (zh) * 2019-12-04 2023-05-26 玉林师范学院 一种高精度人脸检测方法
CN111144310A (zh) * 2019-12-27 2020-05-12 创新奇智(青岛)科技有限公司 一种基于多层信息融合的人脸检测方法及系统
CN111241998B (zh) * 2020-01-09 2023-04-28 中移（杭州）信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111340048B (zh) * 2020-02-28 2022-02-22 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111414823B (zh) * 2020-03-12 2023-09-12 Oppo广东移动通信有限公司 人体特征点的检测方法、装置、电子设备以及存储介质
CN111401292B (zh) * 2020-03-25 2023-05-26 成都东方天呈智能科技有限公司 一种融合红外图像训练的人脸识别网络构建方法
CN112541433B (zh) * 2020-12-11 2024-04-19 中国电子技术标准化研究院 一种基于注意力机制的两阶段人眼瞳孔精确定位方法
CN113139460A (zh) * 2021-04-22 2021-07-20 广州织点智能科技有限公司 一种人脸检测模型训练方法、人脸检测方法及其相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN105117692A (zh) * 2015-08-05 2015-12-02 福州瑞芯微电子股份有限公司 一种基于深度学习的实时人脸识别方法及系统
CN105678232A (zh) * 2015-12-30 2016-06-15 中通服公众信息产业股份有限公司 一种基于深度学习的人脸图片特征提取与对比方法
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN106909909A (zh) * 2017-03-08 2017-06-30 王华锋 一种基于共享卷积特征的人脸检测与对齐方法
CN107341447A (zh) * 2017-06-13 2017-11-10 华南理工大学 一种基于深度卷积神经网络和证据k近邻的人脸核实方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN105117692A (zh) * 2015-08-05 2015-12-02 福州瑞芯微电子股份有限公司 一种基于深度学习的实时人脸识别方法及系统
CN105678232A (zh) * 2015-12-30 2016-06-15 中通服公众信息产业股份有限公司 一种基于深度学习的人脸图片特征提取与对比方法
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN106909909A (zh) * 2017-03-08 2017-06-30 王华锋 一种基于共享卷积特征的人脸检测与对齐方法
CN107341447A (zh) * 2017-06-13 2017-11-10 华南理工大学 一种基于深度卷积神经网络和证据k近邻的人脸核实方法

Also Published As

Publication number Publication date
CN108182384A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108182384B (zh) 一种人脸特征点定位方法及装置
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
US11836943B2 (en) Virtual face model creation based on key point
CN109002763B (zh) 基于同源连续性的模拟人脸老化的方法及装置
CN107871098B (zh) 人脸特征点的获取方法和装置
CN104978764A (zh) 三维人脸网格模型处理方法和设备
Jiang et al. Dual attention mobdensenet (damdnet) for robust 3d face alignment
US20230169677A1 (en) Pose Estimation Method and Apparatus
CN107871103B (zh) 一种人脸认证方法和装置
US11963741B2 (en) Systems and methods for human pose and shape recovery
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN108932734A (zh) 单目图像的深度恢复方法及装置、计算机设备
CN113378721B (zh) 一种基于对称和局部判别的生成对抗人脸校正方法及系统
CN108268840B (zh) 一种人脸跟踪方法及装置
CN114067088A (zh) 虚拟穿戴方法、装置、设备、存储介质及程序产品
CN104091148B (zh) 一种人脸特征点定位方法和装置
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN111832517A (zh) 基于门控卷积的低清人脸关键点检测方法
CN113658324A (zh) 图像处理方法及相关设备、迁移网络训练方法及相关设备
CN111898571A (zh) 动作识别系统及方法
CN111242078A (zh) 一种基于自注意力机制的人脸正脸化生成方法
WO2015176502A1 (zh) 一种图像特征的估计方法和设备
CN109087240B (zh) 图像处理方法、图像处理装置及存储介质
CN115205750B (zh) 基于深度学习模型的运动实时计数方法和系统
CN113239867B (zh) 一种基于掩码区域自适应增强的光照变化人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant