CN110222607A - 人脸关键点检测的方法、装置及系统 - Google Patents

人脸关键点检测的方法、装置及系统 Download PDF

Info

Publication number
CN110222607A
CN110222607A CN201910440057.6A CN201910440057A CN110222607A CN 110222607 A CN110222607 A CN 110222607A CN 201910440057 A CN201910440057 A CN 201910440057A CN 110222607 A CN110222607 A CN 110222607A
Authority
CN
China
Prior art keywords
detection model
feature points
face
key feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910440057.6A
Other languages
English (en)
Other versions
CN110222607B (zh
Inventor
曹先彬
张宝昌
张旭东
陈翰林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910440057.6A priority Critical patent/CN110222607B/zh
Publication of CN110222607A publication Critical patent/CN110222607A/zh
Application granted granted Critical
Publication of CN110222607B publication Critical patent/CN110222607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明提供一种人脸关键点检测的方法、装置及系统，该方法，包括：根据待检测人脸图像，获得人脸区域图像；将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型；通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置。可以提高运算速度，实现使用单因子恢复内核来提高检测的高效性和准确性，同时还可以将存储空间压缩32倍，具有更强的适应性。

Description

人脸关键点检测的方法、装置及系统
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及一种人脸关键点检测的方法、装置及系统。
背景技术
随着科学技术的发展，计算机视觉的应用越来越广泛。人脸关键点检测作为计算机视觉任务之一，为许多更高级别的应用奠定了基础，包括面部验证，面部情感识别，人机交互和面部动作捕捉。利用人脸关键点检测技术可以实现照片中人脸的美颜、贴纸、换脸等创意，也可以为人脸添加滤镜、贴图等效果。
目前，深度学习算法在众多视觉任务中展示了超强的处理能力，也在解决人脸关键点检测方面显示了重大的性能提升，且其检测效果显著优于粗寒铜的关键点检测算法。
然而，由于深度卷积神经网络的复杂性和深度性需要巨大的存储和计算开销，它们在人脸关键点检测方面的成功却带来了过高的计算和存储开销。虽然它们在昂贵的基于GPU的机器上表现良好，但它们通常不适用于资源受限的设备，例如手机和嵌入式电子设备。
发明内容
本发明提供一种人脸关键点检测的方法、装置及系统，以提高运算速度，实现使用单因子恢复内核来提高检测的高效性和准确性，同时还可以将存储空间压缩32倍，具有更强的适应性。
第一方面，本发明实施例提供的一种人脸关键点检测的方法，包括：
根据待检测人脸图像，获得人脸区域图像；
将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型；
通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点以及所述关键特征点位置。
在一种可能的设计中，将所述人脸区域图像作为目标人脸检测模型的输入之前，还包括：
构建初始人脸检测模型；其中，所述初始人脸检测模型包括依次连接的幅度卷积层、BN层、池化层、激活层以及全连接层；所述幅度卷积层用于提取所述人脸区域图像的局部特征图，所述BN层用于将所述局部特征图进行线性化处理，得到归一局部特征图；所述激活层用于在归一局部特征图中加入非线性因素，得到增强表达的局部特征图；所述池化层用于获取增强表达的局部特征图以及对应区域的位置；全连接层用于将增强表达的局部特征图以及对应区域的位置进行整体连接，得到人脸处理图像；其中，所述人脸处理图像包含关键特征点以及所述关键特征点位置；
通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型。
在一种可能的设计中，所述初始人脸检测模型训练时经过前向传播过程是指：所述人脸区域图像经过幅度卷积层的二值化卷积核提取局部特征图之后，依次通过BN层、激活层、池化层以及全连接层输出人脸处理图像；所述初始人脸检测模型训练时经过反向传播过程是指：在幅度卷积层中根据预设总损失函数，利用预设卷积核矩阵计算卷积核矩阵梯度、幅度矩阵梯度；并根据所述卷积核矩阵梯度、所述幅度矩阵梯度更新所述卷积核矩阵；其中所述幅度卷积层包括卷积核更新支路、幅度矩阵更新支路；所述卷积核更新支路用于在前向传播过程中根据预设初始卷积核进行二值化，得到二值化卷积核，且在反向传播过程中根据预设幅度损失函数计算卷积核矩阵梯度；所述幅度矩阵更新支路用于在前向传播过程中得到幅度均值矩阵，且用于在反向传播过程中根据预设幅度损失函数计算幅度矩阵梯度。
在一种可能的设计中，通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型，包括：
构建所述初始人脸检测模型的总损失函数；
根据所述预设初始幅度矩阵、初始卷积核矩阵，迭代训练所述初始人脸检测模型的幅度矩阵更新支路、卷积核更新支路，以使所述复苏矩阵更新支路、卷积核更新支路的总损失函数的损失值收敛或者小于预设阈值。
在一种可能的设计中，还包括：
采用预设存储量的目标人脸检测模型，输出待检测人脸图像对应关键特征点以及所述关键特征点位置。
在一种可能的设计中，根据待检测人脸图像，获得人脸区域图像包括：
从所述待检测人脸图像中识别出人脸区域；
按照预设的尺寸，从所述待检测人脸图像中裁剪出包含所述人脸区域的图像，并进行预处理得到所述人脸区域图像。
在一种可能的设计中，通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点以及所述关键特征点位置之后，还包括：
根据预设平均误差函数，就算所述关键特征点位置与实际位置关键特征点之间的误差；
根据测试数据集训练次数将所述误差绘制为误差曲线；
将所述误差曲线与参考误差曲线进行对比，得到测试结果。
第二方面，本发明实施例提供的一种人脸关键点检测的装置，包括：
获取模块，用于根据待检测人脸图像，获得人脸区域图像；
输入模块，用于将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型；
输出模块，用于通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置。
在一种可能的设计中，将所述人脸区域图像作为目标人脸检测模型的输入之前，还包括：
构建初始人脸检测模型；其中，所述初始人脸检测模型包括依次连接的幅度卷积层、BN层、池化层、激活层以及全连接层；所述幅度卷积层用于提取所述人脸区域图像的局部特征图，所述BN层用于将所述局部特征图进行线性化处理，得到归一局部特征图；所述激活层用于在归一局部特征图中加入非线性因素，得到增强表达的局部特征图；所述池化层用于获取增强表达的局部特征图以及对应区域的位置；全连接层用于将增强表达的局部特征图以及对应区域的位置进行整体连接，得到人脸处理图像；其中，所述人脸处理图像包含关键特征点以及所述关键特征点位置；
通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型。
在一种可能的设计中，所述初始人脸检测模型训练时经过前向传播过程是指：所述人脸区域图像经过幅度卷积层的二值化卷积核提取局部特征图之后，依次通过BN层、激活层、池化层以及全连接层输出人脸处理图像；所述初始人脸检测模型训练时经过反向传播过程是指：在幅度卷积层中根据预设总损失函数，利用预设卷积核矩阵计算得到卷积核矩阵梯度、幅度矩阵梯度；并根据所述卷积核矩阵梯度、所述幅度矩阵梯度更新所述卷积核矩阵；其中所述幅度卷积层包括卷积核更新支路、幅度矩阵更新支路；所述卷积核更新支路用于在前向传播过程中根据预设初始卷积核进行二值化，得到二值化卷积核，且在反向传播过程中根据预设幅度损失函数计算卷积核矩阵梯度；所述幅度矩阵更新支路用于在前向传播过程中得到幅度均值矩阵，且用于在反向传播过程中根据预设幅度损失函数计算幅度矩阵梯度。
在一种可能的设计中，通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型，包括：
构建所述初始人脸检测模型的总损失函数；
根据所述预设初始幅度矩阵、初始卷积核矩阵，迭代训练所述初始人脸检测模型的幅度矩阵更新支路、卷积核更新支路，以使所述幅度矩阵更新支路、卷积核更新支路的总损失函数的损失值收敛或者小于预设阈值。
在一种可能的设计中，还包括：
采用预设存储量的目标人脸检测模型输出待检测人脸图像对应关键特征点以及所述关键特征点位置。
在一种可能的设计中，获取模块，具体用于：
从所述待检测人脸图像中识别出人脸区域；
按照预设的尺寸，从所述待检测人脸图像中裁剪出包含所述人脸区域的图像，并进行预处理得到所述人脸区域图像。
在一种可能的设计中，通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置之后，还包括：
根据预设平均误差函数，计算所述关键特征点位置与实际位置关键特征点之间的误差；
根据测试数据集训练次数将所述误差绘制为误差曲线；
将所述误差曲线与参考误差曲线进行对比，得到测试结果。
第三方面，本发明实施例提供的一种人脸关键点检测的系统，包括存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的人脸关键点检测的方法。
第四方面，本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任一项所述的人脸关键点检测的方法。
本发明提供一种人脸关键点检测的方法、装置及系统，该方法，包括：根据待检测人脸图像，获得人脸区域图像；将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型；通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置。可以提高运算速度，实现使用单因子恢复内核来提高检测的高效性和准确性，同时还可以将存储空间压缩32倍，具有更强的适应性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的人脸关键点检测的方法流程图；
图2为本发明实施例二提供的人脸关键点检测的方法流程图；
图3为本发明实施例三提供的人脸关键点检测的装置的结构示意图；
图4为本发明实施例四提供的人脸关键点检测的系统的结构示意图；
图5为本发明实施例一提供的人脸关键点检测的效果示意图一；
图6为本发明实施例一提供的人脸关键点检测的效果示意图二；
图7为本发明实施例二提供的人脸关键点检测的模型结构示意图；
图8为本发明实施例二提供的人脸关键点检测模型的对比示意图；
图9为本发明实施例二提供的人脸关键点检测的部分人脸特征图；
图10为本发明实施例三提供的人脸关键点检测的测试曲线示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
人脸特征点的检测主要识别人的脸部特征信息，通过摄像机或者摄像头采集含有人脸的图像或者视频流，并自动在图像中检测或者跟踪人脸，进而可以实现面部人脸识别，人机交互或者面部动作捕捉等应用。
图1为本发明实施例一提供的人脸关键点检测的方法流程图，如图1所示，本实施例中的方法可以包括：
S101、根据待检测人脸图像，获得人脸区域图像。
具体的，从所述待检测人脸图像中识别出人脸区域；
按照预设的尺寸，从所述待检测人脸图像中裁剪出包含所述人脸区域的图像，并进行预处理得到所述人脸区域图像。
本实施例中，采用人脸检测算法对待检测人脸图像进行检测，识别到人脸区域后按照预设的尺寸，从待检测人脸图像中裁剪出包含人脸区域的图像，并进行预处理(例如二值化)，得到人脸区域图像。其中预设的尺寸可以包括39X39。
S102、将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型。
具体的，目标人脸检测模型可以包括依次连接的幅度卷积层、BN层、池化层、激活层以及全连接层；所述幅度卷积层用于提取所述人脸区域图像的局部特征图，所述BN层用于将所述局部特征图进行线性化处理，得到归一局部特征图；所述激活层用于在归一局部特征图中加入非线性因素，得到增强表达的局部特征图；所述池化层用于获取增强表达的局部特征图以及对应区域的位置；全连接层用于将增强表达的局部特征图以及对应区域的位置进行整体连接，得到人脸处理图像；其中，所述人脸处理图像包含关键特征点以及所述关键特征点位置。
本实施例中目标人脸检测模型基于全精度卷积网络进行优化，实现了更加高效准确的人脸关键点检测。
S103、通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置。
本实施例参见图5，图5为本发明实施例一提供的人脸关键点检测的效果示意图一，如图5所示，无论采用彩色待检测人脸图像、RGB待检测人脸图像(参考图5前3列)，还是灰度待检测人脸图像(参考图5后2列)，目标人脸检测模型输出人脸区域图像对应的关键特征点及所述关键特征点位置可靠性较高。参考图6，图6为本发明实施例一提供的人脸关键点检测的效果示意图二，如图6所示，采用目标人脸检测模型对复杂情况下的待检测人脸图像输出关键特征点以及关键特征点位置准确性较高。
在一种可选的实施例中，采用预设存储量的目标人脸检测模型，输出待检测人脸图像对应关键特征点以及关键特征点位置。
具体的，通过采用极度压缩的1-bit目标人脸检测模型，可以进一步改善人脸关键特征点检测的可应用性，与全精度卷积网络相对，该目标人脸检测模型的存储空间可以减少32倍，不仅不影响检测精度(参考图5)，还可以在可便携设备上实现端对端，快速有效的人脸关键特征点检测。
图2为本发明实施例二提供的人脸关键点检测的方法流程图，如图2所示，本实施例中的方法可以包括：
S201、构建初始人脸检测模型；其中，所述初始人脸检测模型包括依次连接的幅度卷积层、BN层、池化层、激活层以及全连接层；所述幅度卷积层用于提取所述人脸区域图像的局部特征图，所述BN层用于将所述局部特征图进行线性化处理，得到归一局部特征图；所述激活层用于在归一局部特征图中加入非线性因素，得到增强表达的局部特征图；所述池化层用于获取增强表达的局部特征图以及对应区域的位置；全连接层用于将增强表达的局部特征图以及对应区域的位置进行整体连接，得到人脸处理图像；其中，所述人脸处理图像包含关键特征点以及所述关键特征点位置。
具体的参考图7，图7为本发明实施例二提供的人脸关键点检测的模型结构示意图，如图7所示，本实施例中的初始人脸检测模型可以包括依次连接的幅度卷积层、BN层、池化层、激活层以及全连接层；其中所述幅度卷积层包括卷积核更新支路、幅度矩阵更新支路；所述卷积核更新支路用于在前向传播过程中根据预设初始卷积核进行二值化，得到二值化卷积核，且在反向传播过程中根据预设幅度损失函数计算卷积核矩阵梯度；所述幅度矩阵更新支路用于在前向传播过程中得到幅度均值矩阵，且用于在反向传播过程中根据预设幅度损失函数计算幅度矩阵梯度。
本实施例中，采用幅度卷积层替换全精度卷积网络中的卷积层，且在幅度卷积层之后采用激活层、池化层，例如采用ReLU激活函数解决了初始人脸检测模型的梯度耗散问题；池化层可以采用最大池化层；为了避免拟合过度在第一个全连接层之后可以采用随机失活dropout，从而实现初始人脸检测模型的正则化，降低其结构风险。训练过程中采用Adam优化算法更新权重，可以更快地收件到全局优化，同时学习率η1和η2都设置为le-4，训练次数设置为1600。
本实施例参考图8、图9，图8为本发明实施例二提供的人脸关键点检测模型的对比示意图。图9为本发明实施例二提供的人脸关键点检测的部分人脸特征图。采用目标人脸检测模型可以提高人脸关键点检测的准确性。进而采用1-bit目标人脸检测模型不仅使用单因子恢复内核提高检测的精准度，还实现了实现端对端，快速有效的人脸关键特征点检测。
S202、通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型。
具体的，构建所述初始人脸检测模型的总损失函数；
根据所述预设初始幅度矩阵、初始卷积核矩阵，迭代训练所述初始人脸检测模型的幅度矩阵更新支路、卷积核更新支路，以使所述幅度矩阵更新支路、卷积核更新支路的总损失函数的损失值收敛或者小于预设阈值，在此预设阈值不作限定。
本实施例中，根据全精度卷积网络的幅度矩阵A以及卷积核矩阵X,迭代训练初始人脸检测模型的幅度矩阵更新支路、卷积核更新支路，以使幅度矩阵更新支路、卷积核更新支路的总损失函数的损失值收敛或者小于预设阈值。
其中，初始人脸检测模型训练时经过前向传播过程是指：所述人脸区域图像经过幅度卷积层的二值化卷积核提取局部特征图之后，依次通过BN层、激活层、池化层以及全连接层输出人脸处理图像；所述初始人脸检测模型训练时经过反向传播过程是指：在幅度卷积层中根据预设总损失函数，利用预设卷积核矩阵计算得到卷积核矩阵梯度、幅度矩阵梯度；并根据所述卷积核矩阵梯度、所述幅度矩阵梯度更新所述卷积核矩阵。
构建初始人脸检测模型的总损失函数为以下公式：其中 表示第s张人脸图像对应的第m个关键特征点的真实坐标，m为人脸索引，Ys,m表示经过目标人脸检测模型计算得到的关键特征点的坐标；其中θ为超参数，即目标人脸检测模型预设幅度损失函数的参数，为第i个卷积层对应的第l个卷积核，i为卷积核索引，l为卷积层索引，和分别为相对应的幅度矩阵和方向矩阵矩阵。在一种可选的实施例中，将二值化卷积核等于幅度和方向向量的点成，即为以下公式：且d可以由sign(x)函数来计算，即负数时为-1，非负数时为1。
在一种可选的实施例中，采用LFW+Webface训练数据集训练初始人脸检测模型，该数据集由香港大学提供，且包含1000张人脸，对每张人脸图像标注5个关键特征点，例如眼珠、鼻尖、嘴角等等。
通过训练数据集训练初始人脸检测模型，具体可以包括：
输入：训练数据集，全精度卷积核X，幅度矩阵A，学习率η1和η2；
输出：更新后的X和A.
其中，幅度卷积层在前向传播过程中，根据预设初始卷积核进行二值化，得到二值化卷积核计算所有幅度矩阵的平均值得到幅度均值矩阵其中，i为卷积核索引，l为卷积层索引；第l层输出的特征图Fl+1，且表示为Fl+1＝AConv(Fl,Xl)AConv表示初始人脸检测模型的卷积操作，Xl表示第l层的卷积核；在反向传播过程中，利用预设卷积核矩阵计算得到卷积核矩阵梯度、幅度矩阵梯度；并根据所述卷积核矩阵梯度、所述幅度矩阵梯度更新所述卷积核矩阵。
在一种可选的实施例中，采用BP算法来更新该模型中相应的参数，其中，利用以下公式更新卷积核矩阵，其中为全精度卷积核的梯度，η1为学习率，进而通过 利用以下公式更新幅度矩阵A←|A-η2δA|(7)，其中δA为幅度矩阵的梯度，η2为学习率，进而利用公式(8)、公式(9)更新幅度矩阵的梯度，
S203、根据待检测人脸图像，获得人脸区域图像。
S204、将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型。
S205、通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置。
本实施例中，步骤S203～步骤S205的具体实现过程和技术原理请参见图1所示的方法中步骤S101～步骤S103中的相关描述，此处不再赘述。
在一种可选的实施例中，通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置之后，还包括：
根据预设平均误差函数，计算所述关键特征点位置与实际位置关键特征点之间的误差；
根据测试数据集训练次数将所述误差绘制为误差曲线；
将所述误差曲线与参考误差曲线进行对比，得到测试结果。
本实施例中目标人脸检测模型可以采用PyTorch深度学习框架实现。根据以下平均误差函数公式：
其中，和Ys,m分别表示第s张人脸图像的第m个关键点的位置和实际位置，Ws为人脸的宽度。计算获得关键特征点位置与实际位置关键特征点之间的误差，进而根据测试数据集集训练次数将该误差绘制为误差曲线，将该误差曲线与参考误差曲线进行对比，得到测试结果。
参考图10，图10为本发明实施例三提供的人脸关键点检测的测试曲线示意图，如图10所示，采用目标人脸检测模型可以提高人脸检测的准确性。进而采用1-bit目标人脸检测模型不仅提高检测的精准度，还实现了实现端对端，快速有效的人脸关键特征点检测。在一种可选的实施例中，测试训练数据集可以采用CelebA和BioID测试数据集进行目标人脸检测模型的测试，其中CelebA含有多余20万张的人脸图片，且人脸姿态和属性多样，有利于目标人脸检测模型的检测；BioID数据集包含1521张在光强、背景、大小等多方面差异化显著的人脸灰度图像，也是验证目标人脸检测模型性能的常用数据集之一。
图3为本发明实施例三提供的人脸关键点检测的装置的结构示意图，如图3所示，本实施例中该人脸关键点检测的装置可以包括：
获取模块31，用于根据待检测人脸图像，获得人脸区域图像；
输入模块32，用于将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型；
输出模块33，用于通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置。
在一种可选的实施例中，将所述人脸区域图像作为目标人脸检测模型的输入之前，还包括：
构建初始人脸检测模型；其中，所述初始人脸检测模型包括依次连接的幅度卷积层、BN层、池化层、激活层以及全连接层；所述幅度卷积层用于提取所述人脸区域图像的局部特征图，所述BN层用于将所述局部特征图进行线性化处理，得到归一局部特征图；所述激活层用于在归一局部特征图中加入非线性因素，得到增强表达的局部特征图；所述池化层用于获取增强表达的局部特征图以及对应区域的位置；全连接层用于将增强表达的局部特征图以及对应区域的位置进行整体连接，得到人脸处理图像；其中，所述人脸处理图像包含关键特征点以及所述关键特征点位置；
通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型。
在一种可选的实施例中，所述初始人脸检测模型训练时经过前向传播过程是指：所述人脸区域图像经过幅度卷积层的二值化卷积核提取局部特征图之后，依次通过BN层、激活层、池化层以及全连接层输出人脸处理图像；所述初始人脸检测模型训练时经过反向传播过程是指：在幅度卷积层中根据预设总损失函数，利用预设卷积核矩阵计算得到卷积核矩阵梯度、幅度矩阵梯度；并根据所述卷积核矩阵梯度、所述幅度矩阵梯度更新所述卷积核矩阵；其中所述幅度卷积层包括卷积核更新支路、幅度矩阵更新支路；所述卷积核更新支路用于在前向传播过程中根据预设初始卷积核进行二值化，得到二值化卷积核，且在反向传播过程中根据预设幅度损失函数计算卷积核矩阵梯度；所述幅度矩阵更新支路用于在前向传播过程中得到幅度均值矩阵，且用于在反向传播过程中根据预设幅度损失函数计算幅度矩阵梯度。
在一种可选的实施例中，通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型，包括：
构建所述初始人脸检测模型的总损失函数；
根据所述预设初始幅度矩阵、初始卷积核矩阵，迭代训练所述初始人脸检测模型的幅度矩阵更新支路、卷积核更新支路，以使所述幅度矩阵更新支路、卷积核更新支路的总损失函数的损失值收敛或者小于预设阈值。
在一种可选的实施例中，还包括：
采用预设存储量的目标人脸检测模型输出待检测人脸图像对应关键特征点以及所述关键特征点位置。
在一种可选的实施例中，获取模块31，具体用于：
从所述待检测人脸图像中识别出人脸区域；
按照预设的尺寸，从所述待检测人脸图像中裁剪出包含所述人脸区域的图像，得到所述人脸区域图像。
在一种可选的实施例中，通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置之后，还包括：
根据预设平均误差函数，计算所述关键特征点位置与实际位置关键特征点之间的误差；
根据测试数据集训练次数将所述误差绘制为误差曲线；
将所述误差曲线与参考误差曲线进行对比，得到测试结果。
本实施例的人脸关键点检测的装置，可以执行图1所示方法中的技术方案，其具体实现过程和技术原理参见图1所示方法中的相关描述，此处不再赘述。
图4为本发明实施例四提供的人脸关键点检测的系统的结构示意图，如图4所示，本实施例中该人脸关键点检测的系统可以包括：处理器41和存储器42。
存储器42，用于存储计算机程序(如实现上述人脸关键点检测的方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。
处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。
本实施例的服务器可以执行图1、图2所示方法中的技术方案，其具体实现过程和技术原理参见图1、图2所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种人脸关键点检测的方法，其特征在于，包括：
根据待检测人脸图像，获得人脸区域图像；
将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型；
通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置。
2.根据权利要求1所述的方法，其特征在于，将所述人脸区域图像作为目标人脸检测模型的输入之前，还包括：
构建初始人脸检测模型；其中，所述初始人脸检测模型包括依次连接的幅度卷积层、BN层、池化层、激活层以及全连接层；所述幅度卷积层用于提取所述人脸区域图像的局部特征图，所述BN层用于将所述局部特征图进行线性化处理，得到归一局部特征图；所述激活层用于在归一局部特征图中加入非线性因素，得到增强表达的局部特征图；所述池化层用于获取增强表达的局部特征图以及对应区域的位置；全连接层用于将增强表达的局部特征图以及对应区域的位置进行整体连接，得到人脸处理图像；其中，所述人脸处理图像包含关键特征点以及所述关键特征点位置；
通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型。
3.根据权利要求2所述的方法，其特征在于，所述初始人脸检测模型训练时经过前向传播过程是指：所述人脸区域图像经过幅度卷积层的二值化卷积核提取局部特征图之后，依次通过BN层、激活层、池化层以及全连接层输出人脸处理图像；所述初始人脸检测模型训练时经过反向传播过程是指：在幅度卷积层中根据预设总损失函数，利用预设卷积核矩阵计算得到卷积核矩阵梯度、幅度矩阵梯度；并根据所述卷积核矩阵梯度、所述幅度矩阵梯度更新所述卷积核矩阵；其中所述幅度卷积层包括卷积核更新支路、幅度矩阵更新支路；所述卷积核更新支路用于在前向传播过程中根据预设初始卷积核进行二值化，得到二值化卷积核，且在反向传播过程中根据预设幅度损失函数计算卷积核矩阵梯度；所述幅度矩阵更新支路用于在前向传播过程中得到幅度均值矩阵，且用于在反向传播过程中根据预设幅度损失函数计算幅度矩阵梯度。
4.根据权利要求2所述的方法，其特征在于，通过预设训练数据集训练所述初始人脸检测模型，得到所述目标人脸检测模型，包括：
构建所述初始人脸检测模型的总损失函数；
根据所述预设初始幅度矩阵、初始卷积核矩阵，迭代训练所述初始人脸检测模型的幅度矩阵更新支路、卷积核更新支路，以使所述幅度矩阵更新支路、卷积核更新支路的总损失函数的损失值收敛或者小于预设阈值。
5.根据权利要求2所述的方法，其特征在于，还包括：
采用预设存储量的目标人脸检测模型输出待检测人脸图像对应关键特征点以及所述关键特征点位置。
6.根据权利要求1所述的方法，其特征在于，根据待检测人脸图像，获得人脸区域图像包括：
从所述待检测人脸图像中识别出人脸区域；
按照预设的尺寸，从所述待检测人脸图像中裁剪出包含所述人脸区域的图像，并进行预处理得到所述人脸区域图像。
7.根据权利要求1所述的方法，其特征在于，通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置之后，还包括：
根据预设平均误差函数，计算所述关键特征点位置与实际位置关键特征点之间的误差；
根据测试数据集训练次数将所述误差绘制为误差曲线；
将所述误差曲线与参考误差曲线进行对比，得到测试结果。
8.一种人脸关键点检测的装置，其特征在于，包括：
获取模块，用于根据待检测人脸图像，获得人脸区域图像；
输入模块，用于将所述人脸区域图像作为目标人脸检测模型的输入；其中，所述目标人脸检测模型用于获取待检测人脸图像对应关键特征点及所述关键特征点位置的模型；
输出模块，用于通过所述目标人脸检测模型输出所述人脸区域图像对应的关键特征点及所述关键特征点位置。
9.一种人脸关键点检测的系统，其特征在于，包括存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7中任一项所述的人脸关键点检测的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的人脸关键点检测的方法。
CN201910440057.6A 2019-05-24 2019-05-24 人脸关键点检测的方法、装置及系统 Active CN110222607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910440057.6A CN110222607B (zh) 2019-05-24 2019-05-24 人脸关键点检测的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910440057.6A CN110222607B (zh) 2019-05-24 2019-05-24 人脸关键点检测的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110222607A true CN110222607A (zh) 2019-09-10
CN110222607B CN110222607B (zh) 2021-06-04

Family

ID=67817910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910440057.6A Active CN110222607B (zh) 2019-05-24 2019-05-24 人脸关键点检测的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110222607B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126270A (zh) * 2019-12-24 2020-05-08 南京甄视智能科技有限公司 人脸检测方法、装置、存储介质及设备
CN111160288A (zh) * 2019-12-31 2020-05-15 北京奇艺世纪科技有限公司 手势关键点检测方法、装置、计算机设备和存储介质
CN111814735A (zh) * 2020-07-24 2020-10-23 深圳市爱深盈通信息技术有限公司 基于人脸识别的取票方法、装置、设备及存储介质
CN112084912A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于自适应信息增强的人脸特征点定位方法及系统
WO2021179852A1 (zh) * 2020-03-13 2021-09-16 Oppo广东移动通信有限公司 图像检测方法、模型训练方法、装置、设备及存储介质
CN113486785A (zh) * 2021-07-01 2021-10-08 深圳市英威诺科技有限公司 基于深度学习的视频换脸方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技（北京）有限公司 一种人脸识别方法与系统
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN108549854A (zh) * 2018-03-28 2018-09-18 中科博宏（北京）科技有限公司 一种人脸活体检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技（北京）有限公司 一种人脸识别方法与系统
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN108549854A (zh) * 2018-03-28 2018-09-18 中科博宏（北京）科技有限公司 一种人脸活体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAODI WANG等: "Modulated Convolutional Networks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126270A (zh) * 2019-12-24 2020-05-08 南京甄视智能科技有限公司 人脸检测方法、装置、存储介质及设备
CN111160288A (zh) * 2019-12-31 2020-05-15 北京奇艺世纪科技有限公司 手势关键点检测方法、装置、计算机设备和存储介质
WO2021179852A1 (zh) * 2020-03-13 2021-09-16 Oppo广东移动通信有限公司 图像检测方法、模型训练方法、装置、设备及存储介质
CN111814735A (zh) * 2020-07-24 2020-10-23 深圳市爱深盈通信息技术有限公司 基于人脸识别的取票方法、装置、设备及存储介质
CN112084912A (zh) * 2020-08-28 2020-12-15 安徽清新互联信息科技有限公司 一种基于自适应信息增强的人脸特征点定位方法及系统
CN113486785A (zh) * 2021-07-01 2021-10-08 深圳市英威诺科技有限公司 基于深度学习的视频换脸方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110222607B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN110222607A (zh) 人脸关键点检测的方法、装置及系统
CN109829436B (zh) 基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN110298361B (zh) 一种rgb-d图像的语义分割方法和系统
CN110309837B (zh) 基于卷积神经网络特征图的数据处理方法及图像处理方法
CN110414432B (zh) 对象识别模型的训练方法、对象识别方法及相应的装置
CN109492627B (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
CN109902798A (zh) 深度神经网络的训练方法和装置
CN112052886A (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN113158862B (zh) 一种基于多任务的轻量级实时人脸检测方法
CN107609466A (zh) 人脸聚类方法、装置、设备及存储介质
CN109145766A (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN108921019A (zh) 一种基于GEI和TripletLoss-DenseNet的步态识别方法
CN110222760A (zh) 一种基于winograd算法的快速图像处理方法
CN111274994B (zh) 漫画人脸检测方法、装置、电子设备及计算机可读介质
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN109741293A (zh) 显著性检测方法及装置
CN110349229A (zh) 一种图像描述方法及装置
CN112954399B (zh) 一种图像处理方法、装置以及计算机设备
CN115830449A (zh) 显式轮廓引导和空间变化上下文增强的遥感目标检测方法
CN111126515A (zh) 基于人工智能的模型训练方法和相关装置
CN103065333A (zh) 一种基于四元数的彩色snake图像分割方法
CN113239866B (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN113689382A (zh) 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant