CN116246325A - 人脸关键点的检测方法、装置、电子设备及存储介质 - Google Patents

人脸关键点的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116246325A
CN116246325A CN202310184152.0A CN202310184152A CN116246325A CN 116246325 A CN116246325 A CN 116246325A CN 202310184152 A CN202310184152 A CN 202310184152A CN 116246325 A CN116246325 A CN 116246325A
Authority
CN
China
Prior art keywords
training
face image
dense
point location
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310184152.0A
Other languages
English (en)
Inventor
吴佳涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202310184152.0A priority Critical patent/CN116246325A/zh
Publication of CN116246325A publication Critical patent/CN116246325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种人脸关键点的检测方法、装置、电子设备及存储介质，方法包括：获取待检测的人脸图像，将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位，根据所述稠密点位，生成所述人脸图像对应的稠密点位热图，将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点。由此，实现了提高人脸关键点检测的精度，提升用户体验。

Description

人脸关键点的检测方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种人脸关键点的检测方法、装置、电子设备及存储介质。
背景技术
人脸关键点检测是指精准定位人脸区域，包括脸颊、眉、眼、口、鼻等人脸五官及轮廓。自2013年CNN(Convolutional Neural Network，卷积神经网络)技术首次应用到人脸关键点检测以来，该项技术已经经历了飞速的发展，技术手段也相对完善，无论是应用于移动端的快速检测技术还是应用于云端的高精度检测技术均得到了飞速的发展。
而随着人脸关键点技术的发展，人脸关键点技术已经应用于各个场景下，如使用关键点技术可分别划分出人脸的眉毛、眼睛、嘴巴、脸颊等区域，从而达到人脸美颜效果，而人脸外部轮廓区域则可以应用在瘦脸中，除此之外还有非常多的应用场景，广泛分布于短视频领域、长视频领域和拍照。
然而，现有的人脸关键点技术在实际应用场合中，或多或少的还会存在部分点位的不准确和抖动，尤其是在端测模型中，为了适应端测对检测速度的要求，模型往往较为轻量化，以106点位为例，虽然点位标注在人脸轮廓的边缘处，但离散的点位意味着点位与点位之间的空隙较大，使得人脸关键点检测模型提取的关键点往往无法表达出准确的语义信息，精度较低，容易出现偏差。
发明内容
鉴于此，为解决现有技术中的人脸关键点检测模型提取的关键点往往无法表达出准确的语义信息，精度较低，容易出现偏差的技术问题，本发明实施例提供一种人脸关键点的检测方法、装置、电子设备及存储介质。
第一方面，本发明实施例提供一种人脸关键点的检测方法，所述方法包括：
获取待检测的人脸图像；
将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位；
根据所述稠密点位，生成所述人脸图像对应的稠密点位热图；
将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点。
作为一个可能的实现方式，所述稠密点位预测模型包括基础网络层、全连接层，以及稠密点位预测层，所述将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位，包括：
将所述人脸图像输入所述基础网络层，得到所述基础网络层输出的基础网络特征；
将所述基础网络特征输入所述全连接层，得到所述全连接层输出的稠密点位特征；
将所述稠密点位特征输入所述稠密点位预测层，得到所述人脸图像对应的稠密点位。
作为一个可能的实现方式，所述根据所述稠密点位，生成所述人脸图像对应的稠密点位热图，包括：
创建单通道图像，其中，所述单通道图像的长宽和所述基础网络特征的长宽一致；
将所述稠密点位标注在所述单通道图像上，并将对应位置的像素值填充为预设值，得到所述人脸图像对应的基础稠密点位热图；
采用预设的模糊算法对所述基础稠密点位热图进行模糊处理，得到所述人脸图像对应的稠密点位热图。
作为一个可能的实现方式，所述稀疏点位预测模型包括至少一个稀疏点位特征预测层、全连接层，以及稀疏点位预测层，所述将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点，包括：
将所述稠密点位热图和所述基础网络特征经过至少一个所述稀疏点位特征预测层，得到所述人脸图像对应的第一稀疏点位特征；
将所述第一稀疏点位特征输入所述全连接层，得到所述人脸图像对应的第二稀疏点位特征；
将所述第二稀疏点位特征输入所述稀疏点位预测层，得到所述人脸图像对应的关键点。
作为一个可能的实现方式，所述稀疏点位特征预测层包括通道连接层和至少一个卷积层，在所述稀疏点位预测模型包括两个稀疏点位特征预测层的情况下，所述将所述稠密点位热图和所述基础网络特征经过至少一个所述稀疏点位特征预测层，得到所述人脸图像对应的第一稀疏点位特征，包括：
将所述稠密点位热图和所述基础网络特征输入第一稀疏点位特征预测层的所述通道连接层进行通道连接，得到所述稠密点位热图对应的第一连接特征；
将所述第一连接特征依次经过所述第一稀疏点位特征预测层的至少一个所述卷积层进行卷积处理，得到所述人脸图像对应的第三稀疏点位特征；
将所述第三稀疏点位特征和所述基础网络特征输入第二稀疏点位特征预测层的所述通道连接层进行通道连接，得到所述稠密点位热图对应的第二连接特征；
将所述第二连接特征依次经过所述第二稀疏点位特征预测层的至少一个所述卷积层进行卷积处理，得到所述人脸图像对应的所述第一稀疏点位特征。
作为一个可能的实现方式，通过以下方式训练所述稠密点位预测模型：
获取第一人脸图像训练样本，所述第一人脸图像训练样本标注有人脸图像对应的样本稠密点位；
将所述第一人脸图像训练样本输入第一预设基础模型，得到所述第一预设基础模型输出的所述第一人脸图像训练样本对应的训练稠密点位；
利用预设的损失函数，对所述训练稠密点位与所述样本稠密点位进行计算，得到本次训练的第一损失值；
在所述第一损失值满足预设条件的情况下，停止训练，得到所述稠密点位预测模型。
作为一个可能的实现方式，所述第一预设基础模型包括训练基础网络层、训练全连接层，以及训练稠密点位预测层，所述将所述第一人脸图像训练样本输入第一预设基础模型，得到所述第一预设基础模型输出的所述第一人脸图像训练样本对应的训练稠密点位，包括：
将所述第一人脸图像训练样本输入所述训练基础网络层，得到所述训练基础网络层输出的训练基础网络特征；
将所述训练基础网络特征输入所述训练全连接层，得到所述训练全连接层输出的训练稠密点位特征；
将所述训练稠密点位特征输入所述训练稠密点位预测层，得到所述第一人脸图像训练样本对应的训练稠密点位。
作为一个可能的实现方式，通过以下方式训练所述稀疏点位预测模型：
获取第二人脸图像训练样本，所述第二人脸图像训练样本标注有人脸图像对应的样本稀疏点位；
将所述第二人脸图像训练样本输入所述稠密点位预测模型，得到所述第二人脸图像训练样本对应的训练稠密点位；
根据所述训练稠密点位，生成所述第二人脸图像训练样本对应的训练稠密点位热图；
将所述训练稠密点位热图输入第二预设基础模型，得到所述第二预设基础模型输出的所述第二人脸图像训练样本对应的训练稀疏点位；
利用预设的损失函数，对所述训练稀疏点位与所述样本稀疏点位进行计算，得到本次训练的第二损失值；
在所述第二损失值满足预设条件的情况下，停止训练，得到所述稀疏点位预测模型。
作为一个可能的实现方式，所述根据所述训练稠密点位，生成所述第二人脸图像训练样本对应的训练稠密点位热图，包括：
创建单通道图像，其中，所述单通道图像的长宽和训练基础网络特征的长宽一致，其中，所述训练基础网络特征由所述稠密点位预测模型中的基础网络层对所述第二人脸图像训练样本进行处理得到；
将所述训练稠密点位标注在所述单通道图像上，并将对应位置的像素值填充为预设值，得到所述第二人脸图像训练样本对应的基础训练稠密点位热图；
采用预设的模糊算法对所述基础训练稠密点位热图进行模糊处理，得到所述第二人脸图像训练样本对应的训练稠密点位热图。
作为一个可能的实现方式，所述第二预设基础模型包括至少一个训练稀疏点位特征预测层、训练全连接层，以及训练稀疏点位预测层，所述将所述训练稠密点位热图输入第二预设基础模型，得到所述第二预设基础模型输出的所述第二人脸图像训练样本对应的训练稀疏点位，包括：
将所述训练稠密点位热图和训练基础网络特征经过至少一个训练稀疏点位特征预测层，得到所述第二人脸图像训练样本对应的第一训练稀疏点位特征；
将所述第一训练稀疏点位特征输入所述训练全连接层，得到所述第二人脸图像训练样本对应的第二训练稀疏点位特征；
将所述第二训练稀疏点位特征输入所述训练稀疏点位预测层，得到所述第二人脸图像训练样本对应的训练稀疏点位。
作为一个可能的实现方式，所述训练稀疏点位特征预测层包括训练通道连接层和至少一个训练卷积层，在所述第二预设基础模型包括两个训练稀疏点位特征预测层的情况下，所述将所述训练稠密点位热图和训练基础网络特征经过至少一个训练稀疏点位特征预测层，得到所述第二人脸图像训练样本对应的第一训练稀疏点位特征，包括：
将所述训练稠密点位热图和所述训练基础网络特征输入第一训练稀疏点位特征预测层的所述训练通道连接层进行通道连接，得到所述稠密点位热图对应的第一训练连接特征；
将所述第一训练连接特征依次经过所述第一训练稀疏点位特征预测层的至少一个所述训练卷积层进行卷积处理，得到所述第二人脸图像训练样本对应的第三训练稀疏点位特征；
将所述第三训练稀疏点位特征和所述基础网络特征输入第二训练稀疏点位特征预测层的所述训练通道连接层进行通道连接，得到所述稠密点位热图对应的第二训练连接特征；
将所述第二训练连接特征依次经过所述第二训练稀疏点位特征预测层的至少一个所述训练卷积层进行卷积处理，得到所述第二人脸图像训练样本对应的所述第一训练稀疏点位特征。
作为一个可能的实现方式，通过以下方式训练所述稠密点位预测模型和所述稀疏点位预测模型：
获取第三人脸图像训练样本，所述第三人脸图像训练样本标注有人脸图像对应的样本稠密点位和样本稀疏点位；
将所述第三人脸图像训练样本输入第三预设基础模型，得到所述第三预设基础模型输出的所述第三人脸图像训练样本对应的训练稠密点位；
根据所述训练稠密点位，生成所述第三人脸图像训练样本对应的训练稠密点位热图；
将所述训练稠密点位热图输入第四预设基础模型，得到所述第四预设基础模型输出的所述第三人脸图像训练样本对应的训练稀疏点位；
利用预设的损失函数，对所述训练稠密点位和所述样本稠密点位进行计算，得到本次训练的第三损失值，以及对所述训练稀疏点位和所述样本稀疏点位进行计算，得到本次训练的第四损失值；
在所述第三损失值和所述第四损失值均满足预设条件的情况下，停止训练，得到所述稠密点位预测模型和所述稀疏点位预测模型。
第二方面，本发明实施例提供一种人脸关键点的检测装置，所述装置包括：
获取模块，用于获取待检测的人脸图像；
第一输入模块，用于将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位；
生成模块，用于根据所述稠密点位，生成所述人脸图像对应的稠密点位热图；
第二输入模块，用于将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点。
作为一个可能的实现方式，所述稠密点位预测模型包括基础网络层、全连接层，以及稠密点位预测层，所述第一输入模块，具体用于：
将所述人脸图像输入所述基础网络层，得到所述基础网络层输出的基础网络特征；
将所述基础网络特征输入所述全连接层，得到所述全连接层输出的稠密点位特征；
将所述稠密点位特征输入所述稠密点位预测层，得到所述人脸图像对应的稠密点位。
作为一个可能的实现方式，所述生成模块，具体用于：
创建单通道图像，其中，所述单通道图像的长宽和所述基础网络特征的长宽一致；
将所述稠密点位标注在所述单通道图像上，并将对应位置的像素值填充为预设值，得到所述人脸图像对应的基础稠密点位热图；
采用预设的模糊算法对所述基础稠密点位热图进行模糊处理，得到所述人脸图像对应的稠密点位热图。
作为一个可能的实现方式，所述稀疏点位预测模型包括至少一个稀疏点位特征预测层、全连接层，以及稀疏点位预测层，所述第二输入模块，包括：
第一确定子模块，用于将所述稠密点位热图和所述基础网络特征经过至少一个所述稀疏点位特征预测层，得到所述人脸图像对应的第一稀疏点位特征；
第一输入子模块，用于将所述第一稀疏点位特征输入所述全连接层，得到所述人脸图像对应的第二稀疏点位特征；
第二输入子模块，用于将所述第二稀疏点位特征输入所述稀疏点位预测层，得到所述人脸图像对应的关键点。
作为一个可能的实现方式，所述稀疏点位特征预测层包括通道连接层和至少一个卷积层，在所述稀疏点位预测模型包括两个稀疏点位特征预测层的情况下，所述第一确定子模块，具体用于：
将所述稠密点位热图和所述基础网络特征输入第一稀疏点位特征预测层的所述通道连接层进行通道连接，得到所述稠密点位热图对应的第一连接特征；
将所述第一连接特征依次经过所述第一稀疏点位特征预测层的至少一个所述卷积层进行卷积处理，得到所述人脸图像对应的第三稀疏点位特征；
将所述第三稀疏点位特征和所述基础网络特征输入第二稀疏点位特征预测层的所述通道连接层进行通道连接，得到所述稠密点位热图对应的第二连接特征；
将所述第二连接特征依次经过所述第二稀疏点位特征预测层的至少一个所述卷积层进行卷积处理，得到所述人脸图像对应的所述第一稀疏点位特征。
作为一个可能的实现方式，所述装置还包括：
第一样本获取模块，用于获取第一人脸图像训练样本，所述第一人脸图像训练样本标注有人脸图像对应的样本稠密点位；
第一样本输入模块，用于将所述第一人脸图像训练样本输入第一预设基础模型，得到所述第一预设基础模型输出的所述第一人脸图像训练样本对应的训练稠密点位；
第一损失值计算模块，用于利用预设的损失函数，对所述训练稠密点位与所述样本稠密点位进行计算，得到本次训练的第一损失值；
第一模型确定模块，用于在所述第一损失值满足预设条件的情况下，停止训练，得到所述稠密点位预测模型。
作为一个可能的实现方式，所述第一预设基础模型包括训练基础网络层、训练全连接层，以及训练稠密点位预测层，所述第一样本输入模块，具体用于：
将所述第一人脸图像训练样本输入所述训练基础网络层，得到所述训练基础网络层输出的训练基础网络特征；
将所述训练基础网络特征输入所述训练全连接层，得到所述训练全连接层输出的训练稠密点位特征；
将所述训练稠密点位特征输入所述训练稠密点位预测层，得到所述第一人脸图像训练样本对应的训练稠密点位。
作为一个可能的实现方式，所述装置还包括：
第二样本获取模块，用于获取第二人脸图像训练样本，所述第二人脸图像训练样本标注有人脸图像对应的样本稀疏点位；
第二样本输入模块，用于将所述第二人脸图像训练样本输入所述稠密点位预测模型，得到所述第二人脸图像训练样本对应的训练稠密点位；
热图生成模块，用于根据所述训练稠密点位，生成所述第二人脸图像训练样本对应的训练稠密点位热图；
第三样本输入模块，用于将所述训练稠密点位热图输入第二预设基础模型，得到所述第二预设基础模型输出的所述第二人脸图像训练样本对应的训练稀疏点位；
第二损失值计算模块，用于利用预设的损失函数，对所述训练稀疏点位与所述样本稀疏点位进行计算，得到本次训练的第二损失值；
第二模型确定模块，用于在所述第二损失值满足预设条件的情况下，停止训练，得到所述稀疏点位预测模型。
作为一个可能的实现方式，所述热图生成模块，具体用于：
创建单通道图像，其中，所述单通道图像的长宽和训练基础网络特征的长宽一致，其中，所述训练基础网络特征由所述稠密点位预测模型中的基础网络层对所述第二人脸图像训练样本进行处理得到；
将所述训练稠密点位标注在所述单通道图像上，并将对应位置的像素值填充为预设值，得到所述第二人脸图像训练样本对应的基础训练稠密点位热图；
采用预设的模糊算法对所述基础训练稠密点位热图进行模糊处理，得到所述第二人脸图像训练样本对应的训练稠密点位热图。
作为一个可能的实现方式，所述第二预设基础模型包括至少一个训练稀疏点位特征预测层、训练全连接层，以及训练稀疏点位预测层，所述第二样本输入模块，包括：
确定子模块，用于将所述训练稠密点位热图和训练基础网络特征经过至少一个训练稀疏点位特征预测层，得到所述第二人脸图像训练样本对应的第一训练稀疏点位特征；
第一样本输入子模块，用于将所述第一训练稀疏点位特征输入所述训练全连接层，得到所述第二人脸图像训练样本对应的第二训练稀疏点位特征；
第二样本输入子模块，用于将所述第二训练稀疏点位特征输入所述训练稀疏点位预测层，得到所述第二人脸图像训练样本对应的训练稀疏点位。
作为一个可能的实现方式，所述训练稀疏点位特征预测层包括训练通道连接层和至少一个训练卷积层，在所述第二预设基础模型包括两个训练稀疏点位特征预测层的情况下，所述确定子模块，具体用于：
将所述训练稠密点位热图和所述训练基础网络特征输入第一训练稀疏点位特征预测层的所述训练通道连接层进行通道连接，得到所述稠密点位热图对应的第一训练连接特征；
将所述第一训练连接特征依次经过所述第一训练稀疏点位特征预测层的至少一个所述训练卷积层进行卷积处理，得到所述第二人脸图像训练样本对应的第三训练稀疏点位特征；
将所述第三训练稀疏点位特征和所述基础网络特征输入第二训练稀疏点位特征预测层的所述训练通道连接层进行通道连接，得到所述稠密点位热图对应的第二训练连接特征；
将所述第二训练连接特征依次经过所述第二训练稀疏点位特征预测层的至少一个所述训练卷积层进行卷积处理，得到所述第二人脸图像训练样本对应的所述第一训练稀疏点位特征。
作为一个可能的实现方式，所述装置还包括：
第三样本获取模块，用于获取第三人脸图像训练样本，所述第三人脸图像训练样本标注有人脸图像对应的样本稠密点位和样本稀疏点位；
第四样本输入模块，用于将所述第三人脸图像训练样本输入第三预设基础模型，得到所述第三预设基础模型输出的所述第三人脸图像训练样本对应的训练稠密点位；
点位热图生成模块，用于根据所述训练稠密点位，生成所述第三人脸图像训练样本对应的训练稠密点位热图；
第五样本输入模块，用于将所述训练稠密点位热图输入第四预设基础模型，得到所述第四预设基础模型输出的所述第三人脸图像训练样本对应的训练稀疏点位；
第三损失值计算模块，用于利用预设的损失函数，对所述训练稠密点位和所述样本稠密点位进行计算，得到本次训练的第三损失值，以及对所述训练稀疏点位和所述样本稀疏点位进行计算，得到本次训练的第四损失值；
停止训练模块，用于在所述第三损失值和所述第四损失值均满足预设条件的情况下，停止训练，得到所述稠密点位预测模型和所述稀疏点位预测模型。
第三方面，本发明实施例提供一种电子设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的人脸关键点的检测程序，以实现第一方面中任一项所述的人脸关键点的检测方法。
第四方面，本发明实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现第一方面中任一项所述的人脸关键点的检测方法。
本发明实施例提供的技术方案，通过获取待检测的人脸图像，将人脸图像输入预设的稠密点位预测模型，得到人脸图像对应的稠密点位，根据稠密点位，生成人脸图像对应的稠密点位热图，将稠密定位热图输入预设的稀疏点位预测模型，得到人脸图像对应的关键点。这一技术方案，通过预测人脸图像的稠密点位，再根据稠密点位生成人脸图像对应的稠密点位热图，从而根据稠密点位热图生成人脸图像对应的关键点，由于稠密点位热图已经包含了较为精确的人脸边缘轮廓的位置信息，因此，在稠密点位热图的基础检测人脸图像的关键点更加准确，实现了提高人脸关键点检测的精度，提升用户体验。
附图说明
图1为本发明实施例提供的一种人脸关键点的检测方法的实施例流程图；
图2A为本发明实施例提供的一种人脸图像对应的基础稠密点位热图的示意图；
图2B为本发明实施例提供的一种人脸图像对应的稠密点位热图的示意图；
图3A为本发明实施例提供的一种第一稀疏点位特征预测层的结构示意图；
图3B为本发明实施例提供的一种第二稀疏点位特征预测层的结构示意图；
图4为本发明实施例提供的一种稠密点位预测模型的训练方法的实施例流程图；
图5为本发明实施例提供的一种稀疏点位预测模型的训练方法的实施例流程图；
图6为本发明实施例提供的一种稠密点位预测模型和稀疏点位预测模型的训练方法的实施例流程图；
图7为本发明实施例提供的一种人脸关键点的检测模型结构示意图；
图8为本发明实施例提供的一种人脸关键点的检测装置的实施例框图；
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图以具体实施例对本发明提供的人脸关键点的检测方法做进一步的解释说明，实施例并不构成对本发明实施例的限定。
参见图1，为本发明实施例提供的一种人脸关键点的检测方法的实施例流程图。如图1所示，该流程可包括以下步骤：
步骤101、获取待检测的人脸图像。
上述人脸图像指采集的待进行关键点检测的人脸图像。
在一实施例中，本发明实施例的执行主体可为终端，其可以是支持网络连接从而提供各种网络服务的硬件设备或软件。当终端为硬件时，其可以是支持具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机等。当终端为软件时，可以安装在上述所列举的电子设备中。
在一实施例中，本发明实施例的执行主体可通过预设的图像采集装置，采集上述人脸图像。
在另一实施例中，本发明实施例的执行主体可获取用户输入的上述人脸图像。
步骤102、将上述人脸图像输入预设的稠密点位预测模型，得到该人脸图像对应的稠密点位。
上述稠密点位预测模型用于预测上述人脸图像中人脸的稠密点位，例如人脸的826点位。
本发明实施例中，为了更加准确地预测人脸图像中的稀疏关键点，可先预测人脸图像的稠密点位，从而在稠密点位的基础上，预测人脸图像的稀疏关键点。具体的，可将上述人脸图像输入预设的稠密点位预测模型，得到上述稠密点位预测模型输出的人脸图像对应的稠密点位。
可选的，上述稠密点位预测模型可包括基础网络层、全连接层，以及稠密点位预测层。
基于此，本发明实施例的执行主体首先可将上述人脸图像输入基础网络层，得到基础网络层输出的基础网络特征。
之后，可将该基础网络特征输入全连接层，得到全连接层输出的稠密点位特征。
最后，可将稠密点位特征输入上述稠密点位预测层，得到人脸图像对应的稠密点位。
至于具体是如何训练得到上述稠密点位预测模型的，可在下文通过图4或者图6所示流程进行说明，这里先不详述。
步骤103、根据上述稠密点位，生成上述人脸图像对应的稠密点位热图。
热图指以特殊高亮的形式显示访客热衷的页面区域。相应的，上述稠密点位热图指以特殊高亮的形式显示人脸图像的稠密点位。
本发明实施例中，可根据上述稠密点位，生成人脸图像对应的稠密点位热图。
具体的，可先创建单通道图像，其中，该单通道图像为全黑的，且长宽与上述人脸图像的基础网络特征的长宽一致。
然后，可将上述稠密点位标注在上述单通道图像上，并将对应位置的像素值填充为预设值，得到人脸图像对应的基础稠密点位热图，例如，参见图2A，为本发明实施例提供的一种人脸图像对应的基础稠密点位热图的示意图。可选的，上述预设值可为1。
最后，可采用预设的模糊算法对上述基础稠密点位热图进行模糊处理，得到人脸图像对应的稠密点位热图。具体的，可针对上述基础稠密点位热图中的每一稠密点位，应用高斯模糊算法，设置模糊半径为r，该过程可将每个稠密点位扩充到半径为r的圆形区域内。其中，圆心点处的像素值最高亮，依次往外递减，半径区域外的值为0，由此可得到人脸图像对应的上述稠密点位热图，例如，参见图2B，为本发明实施例提供的一种人脸图像对应的稠密点位热图的示意图。
步骤104、将上述稠密点位热图输入预设的稀疏点位预测模型，得到上述人脸图像对应的关键点。
上述关键点为人脸图像对应的稀疏关键点。
上述稀疏点位预测模型用于预测人脸图像对应的稀疏关键点。
本发明实施例中，可通过将上述稠密点位热图输入预设的稀疏点位预测模型，得到上述人脸图像对应的关键点。
可选的，上述稀疏点位预测模型可包括至少一个稀疏点位特征预测层、全连接层，以及稀疏点位预测层。
本发明实施例中，稠密点位热图已经包含了较为精确的人脸边缘轮廓的位置信息，但此稠密点位热图是由离散点位扩充而来，已经完全没有了输入图像中的任何信息特征，一旦该点位有一点偏差或不准确，后续的特征提取过程是没有任何依赖信息来进行位置校正的，因此，本发明实施例中在输入稠密点位热图的基础上，额外增加了人脸图像的基础网络特征作为信息输入，从而进一步校正点位的位置，保证了稀疏点位预测的准确性。
基于此，本发明实施例的执行主体可将生成的人脸图像对应的稠密点位热图和人脸图像的基础网络特征经过至少一个稀疏点位特征预测层进行处理，得到人脸图像对应的稀疏点位特征(为便于描述，以下称为第一稀疏点位特征)。
之后，可将上述第一稀疏点位特征输入上述全连接层，得到人脸图像对应的稀疏点位特征(为便于描述，以下称为第二稀疏点位特征)。
最后，可将上述第二稀疏点位特征输入上述稀疏点位预测层，得到上述人脸图像对应的关键点。
进一步地，上述稀疏点位特征预测层可包括通道连接层和至少一个卷积层。
在一实施例中，上述稀疏点位预测模型可包括一个稀疏点位特征预测层。基于此，本发明实施例的执行主体可将上述稠密点位热图和基础网络特征输入该稀疏点位特征预测层的通道连接层进行通道连接，得到稠密点位热图对应的连接特征，并将该连接特征输入依次经过至少一个卷积层进行卷积处理，得到人脸图像对应的第一稀疏点位特征。
在另一实施例中，上述稀疏点位预测模型可包括两个稀疏点位特征预测层。基于此，本发明实施例的执行主体可将稠密点位热图和基础网络特征输入第一个稀疏点位特征预测层(为便于描述，以下称为第一稀疏点位特征预测层)的通道连接层进行通道连接，得到稠密点位热图对应的连接特征(为便于描述，以下称为第一连接特征)，并将该第一连接特征依次经过上述第一稀疏点位特征预测层的至少一个卷积层进行卷积处理，得到人脸图像对应的稀疏点位特征(为便于描述，以下称为第三稀疏点位特征)。
之后，本发明实施例的执行主体可将上述第三稀疏点位特征和上述人脸图像的基础网络特征输入第二个稀疏点位特征预测层(为便于描述，以下称为第二稀疏点位特征预测层)的通道连接层进行通道连接，得到稠密点位热图对应的连接特征(为便于描述，以下称为第二连接特征)。
再之后，将上述第二连接特征依次经过上述第二稀疏点位特征预测层的至少一个卷积层进行卷积处理，可得到人脸图像对应的上述第一稀疏点位特征。
举个例子，参见图3A，为本发明实施例提供的一种第一稀疏点位特征预测层的结构示意图。如图3A所示，该第一稀疏点位特征预测层可作为一个block1(模块1)，其可包括基础网络特征f和稠密点位热图的输入模块、图像特征的通道连接模块，以及三个卷积层：卷积1、卷积2，以及卷积3。
如图3B所示，为本发明实施例提供的一种第二稀疏点位特征预测层的结构示意图。如图3B所示，该第二稀疏点位特征预测层可作为block2(模块2)，其可包括基础网络特征f和block1输出特征的输入模块、图像特征的通道连接模块，以及三个卷积层：卷积1、卷积2，以及卷积3。
其中，block1的输入为基础网络特征f和稠密点位热图M：先将二者做特征通道的连接(图中的⊕表示图像特征图在通道维度上进行连接，例如I1的形状为(B，C1，H，W)，I2的形状为(B，C2，H，W)，进行通道连接后的输出为O，形状为(B，C1+C2，H，W))，再将连接后的特征作为新的输入，依次经过卷积1、卷积2和卷积3。
block2的输入为基础网络特征f和block1的输出特征：同样先将二者做特征通道的连接，再将连接后的特征作为新的输入，依次经过卷积1、卷积2和卷积3。卷积1/2/3的结构完全相同，均为3*3的卷积，输出特征维度均可为D＝256。
需要说明的是，上述稀疏点位预测模型还可包括两个以上的稀疏点位特征预测层，本发明实施例对此不做限制。
为便于理解本发明实施例提供的人脸关键点的检测方法，以下进行举例说明：
参见图7，为本发明实施例提供的一种人脸关键点的检测模型结构示意图。如图7所示，人脸关键点的检测模型可包括：基础网络层、全连接层、稠密点位预测层、稠密点位热图生成模块、block1(稀疏点位特征预测层1)、block2(稀疏点位特征预测层2)、全连接层，以及106点位预测层(也即，稀疏点位预测层)。其中，该人脸关键点的检测模型具体通过以下方式对人脸关键点进行检测：
首先，接收输入的人脸图像，之后，基础网络层负责基础特征的提取，所输出的基础网络特征f的维度为(B，C，H，W)，其中B表示图像数量，即训练的batch值，C表示特征的通道数，H和W分别表示特征的高度和宽度。之后，模型先经过一个全连接层预测稠密点位，再将预测得到的稠密点位生成稠密点位热图。之后再依次经过block1和block2。block2之后再连接全连接层，预测106点位。
其中，稠密点位N2＝826*2，即预测的稠密点位为826个，包含x和y两个坐标参数，106点位N1＝106*2，即预测106点的x和y坐标。特征维度D一般为256。此处所使用的基础网络可以为任何已有的模型结构，例如MobileNetV3等。
本发明实施例提供的技术方案，通过获取待检测的人脸图像，将人脸图像输入预设的稠密点位预测模型，得到人脸图像对应的稠密点位，根据稠密点位，生成人脸图像对应的稠密点位热图，将稠密定位热图输入预设的稀疏点位预测模型，得到人脸图像对应的关键点。这一技术方案，通过预测人脸图像的稠密点位，再根据稠密点位生成人脸图像对应的稠密点位热图，从而根据稠密点位热图生成人脸图像对应的关键点，由于稠密点位热图已经包含了较为精确的人脸边缘轮廓的位置信息，因此，在稠密点位热图的基础检测人脸图像的关键点更加准确，实现了提高人脸关键点检测的精度，提升用户体验。
参见图4，为本发明实施例提供的一种稠密点位预测模型的训练方法的实施例流程图。图4所示流程在图1所示流程的基础上，详细描述了具体是如何训练得到上述稠密点位预测模型的。如图4所示，该流程可包括以下步骤：
步骤401、获取第一人脸图像训练样本，上述第一人脸图像训练样本标注有人脸图像对应的样本稠密点位。
上述第一人脸图像训练样本为标注有稠密点位(为便于描述，以下称为样本稠密点位)的人脸图像。
在一实施例中，本发明实施例的执行主体可通过预设的图像采集装置，采集上述第一人脸图像训练样本。
在另一实施例中，本发明实施例的执行主体可获取用户输入的上述第一人脸图像训练样本。
步骤402、将第一人脸图像训练样本输入第一预设基础模型，得到第一预设基础模型输出的第一人脸图像训练样本对应的训练稠密点位。
上述第一预设基础模型为预测第一人脸图像训练样本的稠密点位的基础模型。
相应的，上述训练稠密点位为上述第一预设基础模型预测的第一人脸图像训练样本的稠密点位。
本发明实施例中，可将第一人脸图像训练样本输入上述第一预设基础模型，得到上述第一预设基础模型输出的第一人脸图像训练样本对应的训练稠密点位。
具体的，上述第一预设基础模型可包括训练基础网络层、训练全连接层，以及训练稠密点位预测层。
基于此，本发明实施例的执行主体可将上述第一人脸图像训练样本输入上述训练基础网络层，得到上述训练基础网络层输出的训练基础网络特征。
之后，将上述训练基础网络特征输入上述训练全连接层，得到上述训练全连接层输出的训练稠密点位特征，并将该训练稠密点位特征输入上述训练稠密点位预测层，得到上述第一人脸图像训练样本对应的训练稠密点位。
步骤403、利用预设的损失函数，对上述训练稠密点位与上述样本稠密点位进行计算，得到本次训练的第一损失值。
步骤404、在上述第一损失值满足预设条件的情况下，停止训练，得到稠密点位预测模型。
以下对步骤403和步骤404进行统一说明：
上述第一损失值用于表征上述训练稠密点位与上述样本稠密点位的损失量。
本发明实施例中，在对第一预设基础模型进行训练得到第一人脸图像训练样本的训练稠密点位后，可利用预设的损失函数对上述训练稠密点位和样本稠密点位进行计算，得到本次训练的第一损失值。
可选的，在上述第一损失值满足预设条件的情况下，停止训练，以得到上述稠密点位预测模型。上述预设条件可为第一损失值小于或者等于预设的损失值阈值，上述损失值阈值可为0.2，也可为0.1，本发明实施例对此不做限制。
相反的，在上述第一损失值不满足上述预设条件的情况下，可继续将上述第一人脸图像训练样本输入上述第一预设基础模型，以对上述第一预设基础模型继续进行训练。
本发明实施例提供的技术方案，通过获取第一人脸图像训练样本，上述第一人脸图像训练样本标注有人脸图像对应的样本稠密点位，将第一人脸图像训练样本输入第一预设基础模型，得到第一预设基础模型输出的第一人脸图像训练样本对应的训练稠密点位，利用预设的损失函数，对上述训练稠密点位与上述样本稠密点位进行计算，得到本次训练的第一损失值，在上述第一损失值满足预设条件的情况下，停止训练，得到稠密点位预测模型。这一技术方案，通过利用标注有样本稠密点位的第一人脸图像训练样本对第一预设基础模型进行训练，得到稠密点位预测模型，实现了提高稠密点位预测的精度，从而实现人脸关键点检测的精度，提升用户体验。
参见图5，为本发明实施例提供的一种稀疏点位预测模型的训练方法的实施例流程图。图5所示流程在图1所示流程的基础上，详细描述了具体是如何训练得到上述稀疏点位预测模型的。如图5所示，该流程可包括以下步骤：
步骤501、获取第二人脸图像训练样本，上述第二人脸图像训练样本标注有人脸图像对应的样本稀疏点位。
上述第二人脸图像训练样本为标注有稀疏点位(为便于描述，以下称为样本稀疏点位)的人脸图像。
在一实施例中，本发明实施例的执行主体可通过预设的图像采集装置，采集上述第二人脸图像训练样本。
在另一实施例中，本发明实施例的执行主体可获取用户输入的上述第二人脸图像训练样本。
步骤502、将第二人脸图像训练样本输入稠密点位预测模型，得到人脸图像对应的训练稠密点位。
步骤503、根据训练稠密点位，生成第二人脸图像训练样本对应的训练稠密点位热图。
以下对步骤502和步骤503进行统一说明：
上述稠密点位预测模型可为上述图4所示流程训练得到的稠密点位预测模型。
本发明实施例中，将上述第二人脸图像训练样本输入上述稠密点位预测模型，可得到该第二人脸图像训练样本中人脸图像的训练稠密点位。
之后，可将第二人脸图像训练样本对应的训练稠密点位，生成稠密点位热图(为便于描述，以下称为训练稠密点位热图)。
具体的，可先创建单通道图像，其中，该单通道图像为全黑的，且长宽与上述第二人脸图像训练样本的基础网络特征(为便于描述，以下称为训练基础网络特征)的长宽一致。上述第二人脸图像训练样本的训练基础网络特征可由稠密点位预测模型在对第二人脸图像进行处理得到训练稠密点位的过程中得到。
然后，可将上述训练稠密点位标注在上述单通道图像上，并将对应位置的像素值填充为预设值，得到第二人脸图像训练样本对应的基础训练稠密点位热图。可选的，上述预设值可为1。
最后，可采用预设的模糊算法对上述基础训练稠密点位热图进行模糊处理，得到第二人脸图像训练样本对应的训练稠密点位热图。具体的，可针对上述基础训练稠密点位热图中的每一稠密点位，应用高斯模糊算法，设置模糊半径为r，该过程可将每个稠密点位扩充到半径为r的圆形区域内。其中，圆心点处的像素值最高亮，依次往外递减，半径区域外的值为0，由此可得到第二人脸图像训练样本对应的上述训练稠密点位热图。
步骤504、将上述训练稠密点位热图输入第二预设基础模型，得到第二预设基础模型输出的第二人脸图像训练样本对应的训练稀疏点位。
上述第二预设基础模型为用于预测第二人脸图像训练样本的稀疏点位的基础模型。
相应的，上述训练稀疏点位为上述第二预设基础模型对上述稠密点位热图进行处理得到的稀疏点位(为便于描述，以下称为训练稀疏点位)。
本发明实施例中，可将上述训练稠密点位热图输入上述第二预设基础模型，得到上述第二预设基础模型输出的第二人脸图像训练样本对应的训练稀疏点位。
具体的，上述第二预设基础模型可包括至少一个训练稀疏点位特征预测层、训练全连接层，以及训练稀疏点位预测层。
基于此，本发明实施例的执行主体可将上述训练稠密点位热图和第二人脸图像训练样本的训练基础网络特征经过至少一个训练稀疏点位特征预测层，得到第二人脸图像训练样本对应的稀疏点位特征(为便于描述，以下称为第一训练稀疏点位特征)。
之后，可将上述第一训练稀疏点位特征输入上述训练全连接层，得到第二人脸图像训练样本对应的稀疏点位特征(为便于描述，以下称为第二训练稀疏点位特征)，并将上述第二稀疏点位特征输入上述训练稀疏点位预测层，得到第二人脸图像训练样本对应的训练稀疏点位。
进一步地，上述训练稀疏点位特征预测层可包括训练通道连接层和至少一个训练卷积层。
在一实施例中，上述第二预设基础模型可包括一个训练稀疏点位特征预测层。基于此，本发明实施例的执行主体可将上述训练稠密点位热图和训练基础网络特征输入该训练稀疏点位特征预测层的训练通道连接层进行通道连接，得到训练稠密点位热图对应的连接特征(为便于描述，以下称为训练连接特征)，并将该训练连接特征输入依次经过至少一个训练卷积层进行卷积处理，得到第二人脸图像训练样本对应的第一训练稀疏点位特征。
在另一实施例中，上述第二预设基础模型可包括两个训练稀疏点位特征预测层。基于此，本发明实施例的执行主体可将训练稠密点位热图和训练基础网络特征输入第一个训练稀疏点位特征预测层(为便于描述，以下称为第一训练稀疏点位特征预测层)的训练通道连接层进行通道连接，得到训练稠密点位热图对应的连接特征(为便于描述，以下称为第一训练连接特征)，并将该第一训练连接特征依次经过上述第一训练稀疏点位特征预测层的至少一个训练卷积层进行卷积处理，得到第二人脸图像训练样本对应的稀疏点位特征(为便于描述，以下称为第三训练稀疏点位特征)。
之后，本发明实施例的执行主体可将上述第三训练稀疏点位特征和上述第二人脸图像训练样本的训练基础网络特征输入第二个训练稀疏点位特征预测层(为便于描述，以下称为第二训练稀疏点位特征预测层)的训练通道连接层进行通道连接，得到训练稠密点位热图对应的连接特征(为便于描述，以下称为第二训练连接特征)。
再之后，将上述第二训练连接特征依次经过上述第二训练稀疏点位特征预测层的至少一个训练卷积层进行卷积处理，可得到第二人脸图像训练样本对应的上述第一训练稀疏点位特征。
需要说明的是，上述第二预设基础模型还可包括两个以上的训练稀疏点位特征预测层，本发明实施例对此不做限制。
步骤505、利用预设的损失函数，对训练稀疏点位与样本稀疏点位进行计算，得到本次训练的第二损失值。
步骤506、在上述第二损失值满足预设条件的情况下，停止训练，得到稀疏点位预测模型。
以下对步骤505和步骤506进行统一说明：
上述第二损失值用于表征上述训练稀疏点位与上述样本稀疏点位的损失量。
本发明实施例中，在对第二预设基础模型进行训练得到第二人脸图像训练样本的训练稀疏点位后，可利用预设的损失函数对上述训练稀疏点位和样本稀疏点位进行计算，得到本次训练的第二损失值。
可选的，在上述第二损失值满足预设条件的情况下，停止训练，以得到上述稀疏点位预测模型。上述预设条件可为小于或者等于预设的损失值阈值，上述损失值阈值可为0.2，也可为0.1，本发明实施例对此不做限制。
相反的，在上述第二损失值不满足上述预设条件的情况下，可继续将上述第二人脸图像训练样本输入上述稠密点位预测模型，以对上述第二预设基础模型继续进行训练。
本发明实施例提供的技术方案，通过获取第二人脸图像训练样本，上述第二人脸图像训练样本标注有人脸图像对应的样本稀疏点位，将第二人脸图像训练样本输入稠密点位预测模型，得到人脸图像对应的训练稠密点位，根据训练稠密点位，生成第二人脸图像训练样本对应的训练稠密点位热图，将上述训练稠密点位热图输入第二预设基础模型，得到第二预设基础模型输出的第二人脸图像训练样本对应的训练稀疏点位，利用预设的损失函数，对训练稀疏点位与样本稀疏点位进行计算，得到本次训练的第二损失值，在上述第二损失值满足预设条件的情况下，停止训练，得到稀疏点位预测模型。这一技术方案，通过利用标注有样本稀疏点位的第二人脸图像训练样本对第二预设基础模型进行训练，得到稀疏点位预测模型，实现了提高稀疏点位预测模型的精度，从而实现人脸关键点检测的精度，提升用户体验。
参见图6，为本发明实施例提供的一种稠密点位预测模型和稀疏点位预测模型的训练方法的实施例流程图。图6所示流程在图1所示流程的基础上，详细描述了具体是如何训练得到上述稠密点位预测模型和上述稀疏点位预测模型的。如图6所示，该流程可包括以下步骤：
步骤601、获取第三人脸图像训练样本，上述第三人脸图像训练样本标注有人脸图像对应的样本稠密点位和样本稀疏点位。
上述第三人脸图像训练样本为标注有稠密点位(为便于描述，以下称为样本稠密点位)和稀疏点位(为便于描述，以下称为样本稀疏点位)的人脸图像。
在一实施例中，本发明实施例的执行主体可通过预设的图像采集装置，采集上述第三人脸图像训练样本。
在另一实施例中，本发明实施例的执行主体可获取用户输入的上述第三人脸图像训练样本。
步骤602、将第三人脸图像训练样本输入第三预设基础模型，得到上述第三预设基础模型输出的第三人脸图像训练样本对应的训练稠密点位。
上述第三预设基础模型为预测第三人脸图像训练样本的稠密点位的基础模型。
相应的，上述训练稠密点位为上述第三预设基础模型预测的第三人脸图像训练样本的稠密点位。
本发明实施例中，可将第三人脸图像训练样本输入上述第三预设基础模型，得到上述第三预设基础模型输出的第三人脸图像训练样本对应的训练稠密点位。
具体的，上述第三预设基础模型可包括训练基础网络层、训练全连接层，以及训练稠密点位预测层。
基于此，本发明实施例的执行主体可将上述第三人脸图像训练样本输入上述训练基础网络层，得到上述训练基础网络层输出的训练基础网络特征。
之后，将上述训练基础网络特征输入上述训练全连接层，得到上述训练全连接层输出的训练稠密点位特征，并将该训练稠密点位特征输入上述训练稠密点位预测层，得到上述第一人脸图像训练样本对应的训练稠密点位。
步骤603、根据上述训练稠密点位，生成第三人脸图像训练样本对应的训练稠密点位热图。
在一实施例中，本发明实施例的执行主体可将第三人脸图像训练样本对应的训练稠密点位，生成稠密点位热图(为便于描述，以下称为训练稠密点位热图)。
具体的，可先创建单通道图像，其中，该单通道图像为全黑的，且长宽与上述第二人脸图像训练样本的基础网络特征(为便于描述，以下称为训练基础网络特征)的长宽一致。上述第二人脸图像训练样本的训练基础网络特征可由稠密点位预测模型在对第二人脸图像进行处理得到训练稠密点位的过程中得到。
然后，可将上述训练稠密点位标注在上述单通道图像上，并将对应位置的像素值填充为预设值，得到第二人脸图像训练样本对应的基础训练稠密点位热图。可选的，上述预设值可为1。
最后，可采用预设的模糊算法对上述基础训练稠密点位热图进行模糊处理，得到第二人脸图像训练样本对应的训练稠密点位热图。具体的，可针对上述基础训练稠密点位热图中的每一稠密点位，应用高斯模糊算法，设置模糊半径为r，该过程可将每个稠密点位扩充到半径为r的圆形区域内。其中，圆心点处的像素值最高亮，依次往外递减，半径区域外的值为0，由此可得到第二人脸图像训练样本对应的上述训练稠密点位热图。
步骤604、将训练稠密点位热图输入第四预设基础模型，得到第四预设基础模型输出的第三人脸图像训练样本对应的训练稀疏点位。
上述第四预设基础模型为用于预测第三人脸图像训练样本的稀疏点位的基础模型。
相应的，上述训练稀疏点位为上述第四预设基础模型对上述稠密点位热图进行处理得到的稀疏点位(为便于描述，以下称为训练稀疏点位)。
本发明实施例中，可将上述训练稠密点位热图输入上述第四预设基础模型，得到上述第四预设基础模型输出的第三人脸图像训练样本对应的训练稀疏点位。
具体的，上述第四预设基础模型可包括至少一个训练稀疏点位特征预测层、训练全连接层，以及训练稀疏点位预测层。
基于此，本发明实施例的执行主体可将上述训练稠密点位热图和第三人脸图像训练样本的训练基础网络特征经过至少一个训练稀疏点位特征预测层，得到第三人脸图像训练样本对应的稀疏点位特征(为便于描述，以下称为第一训练稀疏点位特征)。
之后，可将上述第一训练稀疏点位特征输入上述训练全连接层，得到第二人脸图像训练样本对应的稀疏点位特征(为便于描述，以下称为第二训练稀疏点位特征)，并将上述第二稀疏点位特征输入上述训练稀疏点位预测层，得到第二人脸图像训练样本对应的训练稀疏点位。
进一步地，上述训练稀疏点位特征预测层可包括训练通道连接层和至少一个训练卷积层。
在一实施例中，上述第四预设基础模型可包括一个训练稀疏点位特征预测层。基于此，本发明实施例的执行主体可将上述训练稠密点位热图和训练基础网络特征输入该训练稀疏点位特征预测层的训练通道连接层进行通道连接，得到训练稠密点位热图对应的连接特征(为便于描述，以下称为训练连接特征)，并将该训练连接特征输入依次经过至少一个训练卷积层进行卷积处理，得到第三人脸图像训练样本对应的第一训练稀疏点位特征。
在另一实施例中，上述第四预设基础模型可包括两个训练稀疏点位特征预测层。基于此，本发明实施例的执行主体可将训练稠密点位热图和训练基础网络特征输入第一个训练稀疏点位特征预测层(为便于描述，以下称为第一训练稀疏点位特征预测层)的训练通道连接层进行通道连接，得到训练稠密点位热图对应的连接特征(为便于描述，以下称为第一训练连接特征)，并将该第一训练连接特征依次经过上述第一训练稀疏点位特征预测层的至少一个训练卷积层进行卷积处理，得到第三人脸图像训练样本对应的稀疏点位特征(为便于描述，以下称为第三训练稀疏点位特征)。
之后，本发明实施例的执行主体可将上述第三训练稀疏点位特征和上述第三人脸图像训练样本的训练基础网络特征输入第二个训练稀疏点位特征预测层(为便于描述，以下称为第二训练稀疏点位特征预测层)的训练通道连接层进行通道连接，得到训练稠密点位热图对应的连接特征(为便于描述，以下称为第二训练连接特征)。
再之后，将上述第二训练连接特征依次经过上述第二训练稀疏点位特征预测层的至少一个训练卷积层进行卷积处理，可得到第三人脸图像训练样本对应的上述第一训练稀疏点位特征。
需要说明的是，上述第四预设基础模型还可包括两个以上的训练稀疏点位特征预测层，本发明实施例对此不做限制。
步骤605、利用预设的损失函数，对训练稠密点位和样本稠密点位进行计算，得到本次训练的第三损失值，以及对训练稀疏点位和样本稀疏点位进行计算，得到本次训练的第四损失值。
步骤606、在上述第三损失值和上述第四损失值均满足预设条件的情况下，停止训练，得到稠密点位预测模型和稀疏点位预测模型。
以下对步骤605和步骤606进行统一说明：
上述第三损失值用于表征上述训练稠密点位与上述样本稠密点位的损失量。
上述第四损失值用于表征上述训练稀疏点位与上述样本稀疏点位的损失量。
本发明实施例中，在得到训练稠密点位和训练稀疏点位后，可利用预设的损失函数对上述训练稠密点位和样本稠密点位进行计算，以及对上述训练稀疏点位和样本稀疏点位进行计算，得到本次训练的第三损失值和第四损失值。
可选的，在上述第三损失值和第四损失值满足预设条件的情况下，停止训练，以得到上述稠密点位预测模型和上述稀疏点位预测模型。上述预设条件可为小于或者等于预设的损失值阈值，上述损失值阈值可为0.2，也可为0.1，本发明实施例对此不做限制。
相反的，在上述第三损失值和第四损失值任一损失值不满足上述预设条件的情况下，可继续将上述第三人脸图像训练样本输入上述第三预设基础模型，以对上述第三预设基础模型和第四预设基础模型继续进行训练。
参见图8，为本发明实施例提供的一种人脸关键点的检测装置的实施例框图。如图8所示，该装置包括：
获取模块81，用于获取待检测的人脸图像；
第一输入模块82，用于将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位；
生成模块83，用于根据所述稠密点位，生成所述人脸图像对应的稠密点位热图；
第二输入模块84，用于将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点。
作为一个可能的实现方式，所述稠密点位预测模型包括基础网络层、全连接层，以及稠密点位预测层，所述第一输入模块82，具体用于：
将所述人脸图像输入所述基础网络层，得到所述基础网络层输出的基础网络特征；
将所述基础网络特征输入所述全连接层，得到所述全连接层输出的稠密点位特征；
将所述稠密点位特征输入所述稠密点位预测层，得到所述人脸图像对应的稠密点位。
作为一个可能的实现方式，所述生成模块83，具体用于：
创建单通道图像，其中，所述单通道图像的长宽和所述基础网络特征的长宽一致；
将所述稠密点位标注在所述单通道图像上，并将对应位置的像素值填充为预设值，得到所述人脸图像对应的基础稠密点位热图；
采用预设的模糊算法对所述基础稠密点位热图进行模糊处理，得到所述人脸图像对应的稠密点位热图。
作为一个可能的实现方式，所述稀疏点位预测模型包括至少一个稀疏点位特征预测层、全连接层，以及稀疏点位预测层，所述第二输入模块84，包括：
第一确定子模块，用于将所述稠密点位热图和所述基础网络特征经过至少一个所述稀疏点位特征预测层，得到所述人脸图像对应的第一稀疏点位特征；
第一输入子模块，用于将所述第一稀疏点位特征输入所述全连接层，得到所述人脸图像对应的第二稀疏点位特征；
第二输入子模块，用于将所述第二稀疏点位特征输入所述稀疏点位预测层，得到所述人脸图像对应的关键点。
作为一个可能的实现方式，所述稀疏点位特征预测层包括通道连接层和至少一个卷积层，在所述稀疏点位预测模型包括两个稀疏点位特征预测层的情况下，所述第一确定子模块，具体用于：
将所述稠密点位热图和所述基础网络特征输入第一稀疏点位特征预测层的所述通道连接层进行通道连接，得到所述稠密点位热图对应的第一连接特征；
将所述第一连接特征依次经过所述第一稀疏点位特征预测层的至少一个所述卷积层进行卷积处理，得到所述人脸图像对应的第三稀疏点位特征；
将所述第三稀疏点位特征和所述基础网络特征输入第二稀疏点位特征预测层的所述通道连接层进行通道连接，得到所述稠密点位热图对应的第二连接特征；
将所述第二连接特征依次经过所述第二稀疏点位特征预测层的至少一个所述卷积层进行卷积处理，得到所述人脸图像对应的所述第一稀疏点位特征。
作为一个可能的实现方式，所述装置还包括(图中未示出)：
第一样本获取模块，用于获取第一人脸图像训练样本，所述第一人脸图像训练样本标注有人脸图像对应的样本稠密点位；
第一样本输入模块，用于将所述第一人脸图像训练样本输入第一预设基础模型，得到所述第一预设基础模型输出的所述第一人脸图像训练样本对应的训练稠密点位；
第一损失值计算模块，用于利用预设的损失函数，对所述训练稠密点位与所述样本稠密点位进行计算，得到本次训练的第一损失值；
第一模型确定模块，用于在所述第一损失值满足预设条件的情况下，停止训练，得到所述稠密点位预测模型。
作为一个可能的实现方式，所述第一预设基础模型包括训练基础网络层、训练全连接层，以及训练稠密点位预测层，所述第一样本输入模块，具体用于：
将所述第一人脸图像训练样本输入所述训练基础网络层，得到所述训练基础网络层输出的训练基础网络特征；
将所述训练基础网络特征输入所述训练全连接层，得到所述训练全连接层输出的训练稠密点位特征；
将所述训练稠密点位特征输入所述训练稠密点位预测层，得到所述第一人脸图像训练样本对应的训练稠密点位。
作为一个可能的实现方式，所述装置还包括(图中未示出)：
第二样本获取模块，用于获取第二人脸图像训练样本，所述第二人脸图像训练样本标注有人脸图像对应的样本稀疏点位；
第二样本输入模块，用于将所述第二人脸图像训练样本输入所述稠密点位预测模型，得到所述第二人脸图像训练样本对应的训练稠密点位；
热图生成模块，用于根据所述训练稠密点位，生成所述第二人脸图像训练样本对应的训练稠密点位热图；
第三样本输入模块，用于将所述训练稠密点位热图输入第二预设基础模型，得到所述第二预设基础模型输出的所述第二人脸图像训练样本对应的训练稀疏点位；
第二损失值计算模块，用于利用预设的损失函数，对所述训练稀疏点位与所述样本稀疏点位进行计算，得到本次训练的第二损失值；
第二模型确定模块，用于在所述第二损失值满足预设条件的情况下，停止训练，得到所述稀疏点位预测模型。
作为一个可能的实现方式，所述热图生成模块，具体用于：
创建单通道图像，其中，所述单通道图像的长宽和训练基础网络特征的长宽一致，其中，所述训练基础网络特征由所述稠密点位预测模型中的基础网络层对所述第二人脸图像训练样本进行处理得到；
将所述训练稠密点位标注在所述单通道图像上，并将对应位置的像素值填充为预设值，得到所述第二人脸图像训练样本对应的基础训练稠密点位热图；
采用预设的模糊算法对所述基础训练稠密点位热图进行模糊处理，得到所述第二人脸图像训练样本对应的训练稠密点位热图。
作为一个可能的实现方式，所述第二预设基础模型包括至少一个训练稀疏点位特征预测层、训练全连接层，以及训练稀疏点位预测层，所述第二样本输入模块，包括：
确定子模块，用于将所述训练稠密点位热图和训练基础网络特征经过至少一个训练稀疏点位特征预测层，得到所述第二人脸图像训练样本对应的第一训练稀疏点位特征；
第一样本输入子模块，用于将所述第一训练稀疏点位特征输入所述训练全连接层，得到所述第二人脸图像训练样本对应的第二训练稀疏点位特征；
第二样本输入子模块，用于将所述第二训练稀疏点位特征输入所述训练稀疏点位预测层，得到所述第二人脸图像训练样本对应的训练稀疏点位。
作为一个可能的实现方式，所述训练稀疏点位特征预测层包括训练通道连接层和至少一个训练卷积层，在所述第二预设基础模型包括两个训练稀疏点位特征预测层的情况下，所述确定子模块，具体用于：
将所述训练稠密点位热图和所述训练基础网络特征输入第一训练稀疏点位特征预测层的所述训练通道连接层进行通道连接，得到所述稠密点位热图对应的第一训练连接特征；
将所述第一训练连接特征依次经过所述第一训练稀疏点位特征预测层的至少一个所述训练卷积层进行卷积处理，得到所述第二人脸图像训练样本对应的第三训练稀疏点位特征；
将所述第三训练稀疏点位特征和所述基础网络特征输入第二训练稀疏点位特征预测层的所述训练通道连接层进行通道连接，得到所述稠密点位热图对应的第二训练连接特征；
将所述第二训练连接特征依次经过所述第二训练稀疏点位特征预测层的至少一个所述训练卷积层进行卷积处理，得到所述第二人脸图像训练样本对应的所述第一训练稀疏点位特征。
作为一个可能的实现方式，所述装置还包括(图中未示出)：
第三样本获取模块，用于获取第三人脸图像训练样本，所述第三人脸图像训练样本标注有人脸图像对应的样本稠密点位和样本稀疏点位；
第四样本输入模块，用于将所述第三人脸图像训练样本输入第三预设基础模型，得到所述第三预设基础模型输出的所述第三人脸图像训练样本对应的训练稠密点位；
点位热图生成模块，用于根据所述训练稠密点位，生成所述第三人脸图像训练样本对应的训练稠密点位热图；
第五样本输入模块，用于将所述训练稠密点位热图输入第四预设基础模型，得到所述第四预设基础模型输出的所述第三人脸图像训练样本对应的训练稀疏点位；
第三损失值计算模块，用于利用预设的损失函数，对所述训练稠密点位和所述样本稠密点位进行计算，得到本次训练的第三损失值，以及对所述训练稀疏点位和所述样本稀疏点位进行计算，得到本次训练的第四损失值；
停止训练模块，用于在所述第三损失值和所述第四损失值均满足预设条件的情况下，停止训练，得到所述稠密点位预测模型和所述稀疏点位预测模型。
图9为本发明实施例提供的一种电子设备的结构示意图，图9所示的电子设备900包括：至少一个处理器901、存储器902、至少一个网络接口904和用户接口903。电子设备900中的各个组件通过总线系统905耦合在一起。可理解，总线系统905用于实现这些组件之间的连接通信。总线系统905除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统905。
其中，用户接口903可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等)。
可以理解，本发明实施例中的存储器902可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器902旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器902存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统9021和应用程序9022。
其中，操作系统9021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序9022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序9022中。
在本发明实施例中，通过调用存储器902存储的程序或指令，具体的，可以是应用程序9022中存储的程序或指令，处理器901用于执行各方法实施例所提供的方法步骤，例如包括：
获取待检测的人脸图像；
将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位；
根据所述稠密点位，生成所述人脸图像对应的稠密点位热图；
将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点。
上述本发明实施例揭示的方法可以应用于处理器901中，或者由处理器901实现。处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器902，处理器901读取存储器902中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本实施例提供的电子设备可以是如图9中所示的电子设备，可执行如图1中人脸关键点的检测方法的所有步骤，进而实现图1中人脸关键点的检测方法的技术效果，具体请参照图1相关描述，为简洁描述，在此不作赘述。
本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在电子设备侧执行的人脸关键点的检测方法。
所述处理器用于执行存储器中存储的人脸关键点的检测方法，以实现以下在电子设备侧执行的人脸关键点的检测方法的步骤：
获取待检测的人脸图像；
将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位；
根据所述稠密点位，生成所述人脸图像对应的稠密点位热图；
将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种人脸关键点的检测方法，其特征在于，所述方法包括：
获取待检测的人脸图像；
将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位；
根据所述稠密点位，生成所述人脸图像对应的稠密点位热图；
将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点。
2.根据权利要求1所述的方法，其特征在于，所述稠密点位预测模型包括基础网络层、全连接层，以及稠密点位预测层，所述将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位，包括：
将所述人脸图像输入所述基础网络层，得到所述基础网络层输出的基础网络特征；
将所述基础网络特征输入所述全连接层，得到所述全连接层输出的稠密点位特征；
将所述稠密点位特征输入所述稠密点位预测层，得到所述人脸图像对应的稠密点位。
3.根据权利要求2所述的方法，其特征在于，所述根据所述稠密点位，生成所述人脸图像对应的稠密点位热图，包括：
创建单通道图像，其中，所述单通道图像的长宽和所述基础网络特征的长宽一致；
将所述稠密点位标注在所述单通道图像上，并将对应位置的像素值填充为预设值，得到所述人脸图像对应的基础稠密点位热图；
采用预设的模糊算法对所述基础稠密点位热图进行模糊处理，得到所述人脸图像对应的稠密点位热图。
4.根据权利要求2所述的方法，其特征在于，所述稀疏点位预测模型包括至少一个稀疏点位特征预测层、全连接层，以及稀疏点位预测层，所述将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点，包括：
将所述稠密点位热图和所述基础网络特征经过至少一个所述稀疏点位特征预测层，得到所述人脸图像对应的第一稀疏点位特征；
将所述第一稀疏点位特征输入所述全连接层，得到所述人脸图像对应的第二稀疏点位特征；
将所述第二稀疏点位特征输入所述稀疏点位预测层，得到所述人脸图像对应的关键点。
5.根据权利要求4所述的方法，其特征在于，所述稀疏点位特征预测层包括通道连接层和至少一个卷积层，在所述稀疏点位预测模型包括两个稀疏点位特征预测层的情况下，所述将所述稠密点位热图和所述基础网络特征经过至少一个所述稀疏点位特征预测层，得到所述人脸图像对应的第一稀疏点位特征，包括：
将所述稠密点位热图和所述基础网络特征输入第一稀疏点位特征预测层的所述通道连接层进行通道连接，得到所述稠密点位热图对应的第一连接特征；
将所述第一连接特征依次经过所述第一稀疏点位特征预测层的至少一个所述卷积层进行卷积处理，得到所述人脸图像对应的第三稀疏点位特征；
将所述第三稀疏点位特征和所述基础网络特征输入第二稀疏点位特征预测层的所述通道连接层进行通道连接，得到所述稠密点位热图对应的第二连接特征；
将所述第二连接特征依次经过所述第二稀疏点位特征预测层的至少一个所述卷积层进行卷积处理，得到所述人脸图像对应的所述第一稀疏点位特征。
6.根据权利要求1所述的方法，其特征在于，通过以下方式训练所述稠密点位预测模型：
获取第一人脸图像训练样本，所述第一人脸图像训练样本标注有人脸图像对应的样本稠密点位；
将所述第一人脸图像训练样本输入第一预设基础模型，得到所述第一预设基础模型输出的所述第一人脸图像训练样本对应的训练稠密点位；
利用预设的损失函数，对所述训练稠密点位与所述样本稠密点位进行计算，得到本次训练的第一损失值；
在所述第一损失值满足预设条件的情况下，停止训练，得到所述稠密点位预测模型。
7.根据权利要求6所述的方法，其特征在于，所述第一预设基础模型包括训练基础网络层、训练全连接层，以及训练稠密点位预测层，所述将所述第一人脸图像训练样本输入第一预设基础模型，得到所述第一预设基础模型输出的所述第一人脸图像训练样本对应的训练稠密点位，包括：
将所述第一人脸图像训练样本输入所述训练基础网络层，得到所述训练基础网络层输出的训练基础网络特征；
将所述训练基础网络特征输入所述训练全连接层，得到所述训练全连接层输出的训练稠密点位特征；
将所述训练稠密点位特征输入所述训练稠密点位预测层，得到所述第一人脸图像训练样本对应的训练稠密点位。
8.根据权利要求1所述的方法，其特征在于，通过以下方式训练所述稀疏点位预测模型：
获取第二人脸图像训练样本，所述第二人脸图像训练样本标注有人脸图像对应的样本稀疏点位；
将所述第二人脸图像训练样本输入所述稠密点位预测模型，得到所述第二人脸图像训练样本对应的训练稠密点位；
根据所述训练稠密点位，生成所述第二人脸图像训练样本对应的训练稠密点位热图；
将所述训练稠密点位热图输入第二预设基础模型，得到所述第二预设基础模型输出的所述第二人脸图像训练样本对应的训练稀疏点位；
利用预设的损失函数，对所述训练稀疏点位与所述样本稀疏点位进行计算，得到本次训练的第二损失值；
在所述第二损失值满足预设条件的情况下，停止训练，得到所述稀疏点位预测模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述训练稠密点位，生成所述第二人脸图像训练样本对应的训练稠密点位热图，包括：
创建单通道图像，其中，所述单通道图像的长宽和训练基础网络特征的长宽一致，其中，所述训练基础网络特征由所述稠密点位预测模型中的基础网络层对所述第二人脸图像训练样本进行处理得到；
将所述训练稠密点位标注在所述单通道图像上，并将对应位置的像素值填充为预设值，得到所述第二人脸图像训练样本对应的基础训练稠密点位热图；
采用预设的模糊算法对所述基础训练稠密点位热图进行模糊处理，得到所述第二人脸图像训练样本对应的训练稠密点位热图。
10.根据权利要求8所述的方法，其特征在于，所述第二预设基础模型包括至少一个训练稀疏点位特征预测层、训练全连接层，以及训练稀疏点位预测层，所述将所述训练稠密点位热图输入第二预设基础模型，得到所述第二预设基础模型输出的所述第二人脸图像训练样本对应的训练稀疏点位，包括：
将所述训练稠密点位热图和训练基础网络特征经过至少一个训练稀疏点位特征预测层，得到所述第二人脸图像训练样本对应的第一训练稀疏点位特征；
将所述第一训练稀疏点位特征输入所述训练全连接层，得到所述第二人脸图像训练样本对应的第二训练稀疏点位特征；
将所述第二训练稀疏点位特征输入所述训练稀疏点位预测层，得到所述第二人脸图像训练样本对应的训练稀疏点位。
11.根据权利要求10所述的方法，其特征在于，所述训练稀疏点位特征预测层包括训练通道连接层和至少一个训练卷积层，在所述第二预设基础模型包括两个训练稀疏点位特征预测层的情况下，所述将所述训练稠密点位热图和训练基础网络特征经过至少一个训练稀疏点位特征预测层，得到所述第二人脸图像训练样本对应的第一训练稀疏点位特征，包括：
将所述训练稠密点位热图和所述训练基础网络特征输入第一训练稀疏点位特征预测层的所述训练通道连接层进行通道连接，得到所述稠密点位热图对应的第一训练连接特征；
将所述第一训练连接特征依次经过所述第一训练稀疏点位特征预测层的至少一个所述训练卷积层进行卷积处理，得到所述第二人脸图像训练样本对应的第三训练稀疏点位特征；
将所述第三训练稀疏点位特征和所述基础网络特征输入第二训练稀疏点位特征预测层的所述训练通道连接层进行通道连接，得到所述稠密点位热图对应的第二训练连接特征；
将所述第二训练连接特征依次经过所述第二训练稀疏点位特征预测层的至少一个所述训练卷积层进行卷积处理，得到所述第二人脸图像训练样本对应的所述第一训练稀疏点位特征。
12.根据权利要求1所述的方法，其特征在于，通过以下方式训练所述稠密点位预测模型和所述稀疏点位预测模型：
获取第三人脸图像训练样本，所述第三人脸图像训练样本标注有人脸图像对应的样本稠密点位和样本稀疏点位；
将所述第三人脸图像训练样本输入第三预设基础模型，得到所述第三预设基础模型输出的所述第三人脸图像训练样本对应的训练稠密点位；
根据所述训练稠密点位，生成所述第三人脸图像训练样本对应的训练稠密点位热图；
将所述训练稠密点位热图输入第四预设基础模型，得到所述第四预设基础模型输出的所述第三人脸图像训练样本对应的训练稀疏点位；
利用预设的损失函数，对所述训练稠密点位和所述样本稠密点位进行计算，得到本次训练的第三损失值，以及对所述训练稀疏点位和所述样本稀疏点位进行计算，得到本次训练的第四损失值；
在所述第三损失值和所述第四损失值均满足预设条件的情况下，停止训练，得到所述稠密点位预测模型和所述稀疏点位预测模型。
13.一种人脸关键点的检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测的人脸图像；
第一输入模块，用于将所述人脸图像输入预设的稠密点位预测模型，得到所述人脸图像对应的稠密点位；
生成模块，用于根据所述稠密点位，生成所述人脸图像对应的稠密点位热图；
第二输入模块，用于将所述稠密点位热图输入预设的稀疏点位预测模型，得到所述人脸图像对应的关键点。
14.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的人脸关键点的检测程序，以实现权利要求1～12中任一项所述的人脸关键点的检测方法。
15.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～12中任一项所述的人脸关键点的检测方法。
CN202310184152.0A 2023-02-24 2023-02-24 人脸关键点的检测方法、装置、电子设备及存储介质 Pending CN116246325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310184152.0A CN116246325A (zh) 2023-02-24 2023-02-24 人脸关键点的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310184152.0A CN116246325A (zh) 2023-02-24 2023-02-24 人脸关键点的检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116246325A true CN116246325A (zh) 2023-06-09

Family

ID=86625793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310184152.0A Pending CN116246325A (zh) 2023-02-24 2023-02-24 人脸关键点的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116246325A (zh)

Similar Documents

Publication Publication Date Title
CN109117831B (zh) 物体检测网络的训练方法和装置
CN110111334B (zh) 一种裂缝分割方法、装置、电子设备及存储介质
CN110751149B (zh) 目标对象标注方法、装置、计算机设备和存储介质
CN110443357B (zh) 卷积神经网络计算优化方法、装置、计算机设备及介质
CN109978044B (zh) 训练数据生成方法和装置、以及模型的训练方法和装置
CN110852257B (zh) 一种人脸关键点的检测方法、装置及存储介质
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN107766703B (zh) 水印添加处理方法、装置及客户端
CN110956131A (zh) 单目标追踪方法、装置及系统
CN112232311B (zh) 人脸跟踪方法、装置及电子设备
CN112287947A (zh) 一种区域建议框检测方法、终端及存储介质
CN110796130A (zh) 用于文字识别的方法、装置及计算机存储介质
CN112001399A (zh) 基于局部特征显著化的图像场景分类方法和装置
CN111583264A (zh) 图像分割网络的训练方法、图像分割方法和存储介质
CN113240042B (zh) 图像分类预处理、图像分类方法、装置、设备及存储介质
US9075494B2 (en) Systems and methods for performing object selection
CN109919156A (zh) 图像裁剪预测模型的训练方法、介质、装置及计算设备
CN110796115B (zh) 图像检测方法、装置、电子设备及可读存储介质
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN111709338A (zh) 一种用于表格检测的方法、装置及检测模型的训练方法
CN116246325A (zh) 人脸关键点的检测方法、装置、电子设备及存储介质
CN110827194A (zh) 图像处理的方法、装置及计算机存储介质
CN116012684A (zh) 特征提取方法、装置、电子设备及存储介质
CN115775386A (zh) 用户界面组件的识别方法、装置、计算机设备和存储介质
CN111753625B (zh) 一种行人检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination