CN111160269A - 一种人脸关键点检测方法及装置 - Google Patents
一种人脸关键点检测方法及装置 Download PDFInfo
- Publication number
- CN111160269A CN111160269A CN201911402556.2A CN201911402556A CN111160269A CN 111160269 A CN111160269 A CN 111160269A CN 201911402556 A CN201911402556 A CN 201911402556A CN 111160269 A CN111160269 A CN 111160269A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- data set
- training
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
本发明公开一种人脸关键点检测方法及装置，该方法包括步骤：获取人脸数据集以及测试集；对数据集进行预处理，得到处理数据集；预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态；对处理数据集进行增强操作，得到增强数据集；增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声；对增强数据集进行归一化处理，得到训练集；将训练集输入到预设的mobilenet v3进行训练，得到训练模型；利用训练模型对测试集进行测试，得到人脸关键点检测的识别误差。本发明能有效提升对于复杂环境下人脸识别的准确性和对人脸旋转、侧脸情况的鲁棒性。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种人脸关键点检测方法及装置。
背景技术
人脸识别系统是一项新兴的生物识别技术，是当今国际科技领域攻关的高精尖技术具有广阔的发展前景。现有的人脸检测技术大多是对理想环境下的人脸才具有较好的表现，对于一些复杂环境、跨工作场景等的应用中其对环境的泛化能力和表现效果都较差。特别是现实应用场景中，尤其当人脸姿态发生快速和剧烈改变，以及遮挡比例较大时，现有方法的精度距离实际应用的要求还有较大差距，需要进一步研究和提升。
发明内容
本发明实施例的目的是提供一种人脸关键点检测方法及装置，对不同光照条件、不同人脸遮挡、是否具有大幅度人脸姿态的情况具有良好的鲁棒性，能有效提升对于复杂环境下人脸识别的准确性和对人脸旋转、侧脸情况的鲁棒性。
为实现上述目的，本发明一实施例提供了一种人脸关键点检测方法，包括以下步骤：
获取人脸数据集以及测试集；
对所述数据集进行预处理，得到处理数据集；其中，预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态；
对所述处理数据集进行增强操作，得到增强数据集；其中，增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声；
对所述增强数据集进行归一化处理，得到训练集；
将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型；
利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差。
优选地，所述对所述数据集进行预处理，得到处理数据集，具体包括：
对所述数据集中的每张图像进行人脸检测，并进行人脸区域裁剪；
对裁剪后的图像进行逐一标注，包括标注68个人脸关键点坐标，以及标注是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境；其中，第i个人脸关键点坐标用(xi，yi)表示；
根据所述人脸关键点坐标计算每张人脸区域图像的空间位姿状态；
对每张人脸区域图像进行格式标注，得到处理数据集；其中标注格式为：图像名(路径)+68个人脸关键点坐标(x1,y1；x2,y2；……x68,y68)+0/1+0/1+0/1+空间位姿状态(pitch，roll，yaw)；其中，第一组0/1中的0表示不存在遮挡，1表示存在遮挡；第二组0/1中的0表示不属于大姿势人脸，1表示属于大姿势人脸；第三组0/1中的0表示不具有复杂光照环境，1表示具有复杂光照环境；pitch表示人脸的上下偏转角，roll表示人脸的左右偏转角，yaw表示人脸的前后偏转角。
优选地，所述对所述处理数据集进行增强操作，得到增强数据集，具体包括：
通过OpenCV图像处理库对所述处理数据集进行明暗变化、平移、旋转、镜像和添加随机噪声的增强操作；
在进行每一个增强操作的同时，对每张人脸区域图像的标注格式进行相应的调整，以保证人脸区域图像与其对应的标注格式的一致性。
优选地，所述对所述增强数据集进行归一化处理，得到训练集，具体包括：
获取所述增强数据集中的每张人脸区域图像的图像像素，利用(图像像素-127.5)/127.5将图像的像素值归一化到[-1,1]之间；
将每张人脸区域图像的关键点坐标除以对应的人脸区域图像的(宽，高)，将关键点坐标归一到[0,1]之间；
将是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境进行One-hot编码；
保存每张人脸区域图像的空间位姿状态；
将上述数据打包作为训练集。
优选地，所述将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型，具体包括：
将所述训练集输入到预设的mobilenet v3轻量级神经网络，得到1*1*1280维的特征向量；
对所述特征向量进行多任务回归，第一回归任务为进行68个人脸关键点坐标的回归，第二回归任务为进行图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境的回归，第三回归任务为进行人脸图像的空间位姿状态的回归；
根据每一个回归任务，设计每一个回归任务对应的损失函数，得到最终总损失函数；其中，第一损失函数为68个人脸关键点位置的欧式距离，第二损失函数为采用分层的不同人脸情况的交叉熵损失，第三损失函数为人脸空间位姿状态的绝对值之和。
优选地，所述最终总损失函数为
其中，T为所述训练集中的样本个数，N为人脸关键点的个数，C代表不同类别人脸，即是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，
为所述欧式距离，
代表每张图像对应的权重，通过改变余弦值进行权重调整，θ1,θ2,θ3分别代表人脸空间位姿状态中pitch、roll、yaw的角度，K＝1、2、3。
优选地，所述将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型，还具体包括：
将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练时采用批量梯度下降法进行梯度下降，以加快所述神经网络的收敛，得到训练模型。
优选地，所述利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差，具体包括：
利用所述训练模型对所述测试集进行测试，得到测试结果；
根据测试结果进行归一化均方根误差计算，计算公式为
其中，NME代表测试图像的均方根误差，M代表关键点的个数，Xj表示利用所述训练模型检测出来的测试图像的第j个关键点的横坐标，Yj表示利用所述训练模型检测出来的测试图像的第j个关键点的纵坐标，xj表示测试图像标注的第j个关键点的横坐标，yj表示测试图像标注的第j个关键点的纵坐标，r表示归一化因子；
根据计算结果，得到人脸关键点检测的识别误差。
本发明另一实施例提供了一种人脸关键点检测装置，所述装置包括：
图像获取模块，用于获取人脸数据集以及测试集；
预处理模块，用于对所述数据集进行预处理，得到处理数据集；其中，预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态；
增强模块，用于对所述处理数据集进行增强操作，得到增强数据集；其中，增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声；
归一化模块，用于对所述增强数据集进行归一化处理，得到训练集；
训练模块，用于将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型；
测试模块，用于利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差。
本发明另一实施例对应提供了一种使用人脸关键点检测方法的装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项所述的人脸关键点检测方法。
与现有技术相比，本发明实施例所提供的一种人脸关键点检测方法及装置，能检测复杂的工作环境下的人脸情况，包括是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，能有效提升对于复杂环境下人脸识别的准确性和对人脸旋转、侧脸情况的鲁棒性。
附图说明
图1是本发明一实施例提供的一种人脸关键点检测方法的流程示意图；
图2是本发明一实施例提供的一种数据集预处理的简易流程示意图；
图3是本发明一实施例提供的一种人脸的空间位姿状态的示意图；
图4是本发明一实施例提供的一种数据集增强操作的简易流程示意图；
图5是本发明一实施例提供的一种数据集归一化处理的简易流程示意图；
图6是本发明一实施例提供的一种改进后的mobilenet v3轻量级神经网络的网络结构图；
图7是本发明一实施例提供的一种多任务回归的简易流程示意图；
图8是本发明一实施例提供的一种关于人脸的68个人脸关键点的分布示意图；
图9是本发明一实施例提供的一些图像的识别结果；
图10是本发明一实施例提供的一种人脸关键点检测装置的结构示意图；
图11是本发明一实施例提供的一种使用人脸关键点检测方法的装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明一实施例提供的一种人脸关键点检测方法的流程示意图，所述方法包括步骤S1至步骤S4：
S1、获取人脸数据集以及测试集；
S2、对所述数据集进行预处理，得到处理数据集；其中，预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态；
S3、对所述处理数据集进行增强操作，得到增强数据集；其中，增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声；
S4、对所述增强数据集进行归一化处理，得到训练集；
S5、将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型；
S6、利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差。
具体地，获取人脸数据集以及测试集。一般地，数据集可以通过各研究机构或者结合特定场景下的进行收集，包括300w、300lp、300vw数据集，这些数据基本包括了人脸不同环境，不同姿态和光照条件下的人脸数据集，同时结合针对的特殊适用环境，例如公安执法办案平台，进出口海关，以及常见的用于人脸图像采集、复杂环境下的人脸识别等应用场景中收集到的大量数据集，通过对他们过滤筛选，免除数据源质量对后续工作的影响。测试集可以下载人脸关键点官方测试集300W-test。
对数据集进行预处理，得到处理数据集；其中，预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态。预处理还包括进行人脸检测和人脸区域裁剪，为了防止部分人脸区域不完整，这里对检测出来的人脸区域进行上下左右各10％的扩充，这样预处理后的每一张图像只包含一张人脸，更方便于关键点的标注。
经过预处理得到的数据可能数据的量级不够或者数据包含的情况可能有限，所以继续对处理数据集进行增强操作，得到增强数据集；其中，增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声。
对增强数据集进行归一化处理，得到训练集，将训练集输入到预设的mobilenetv3轻量级神经网络进行训练，得到训练模型。
利用训练模型对测试集进行测试，观察能否正确识别出人脸关键点，再比较识别出的关键点与标注的关键点，从而得到人脸关键点检测的识别误差。
本发明实施例1提供的一种人脸关键点检测方法，能检测复杂的工作环境下的人脸情况，包括是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，能有效提升对于复杂环境下人脸识别的准确性和对人脸旋转、侧脸情况的鲁棒性。
本发明特别适用于一些执法办案场景下的移动端执法办案终端，由于移动端执法办案多为基于前端的安卓等平台，其运行内存和算力受限，顾针对这种情况下的公安、民警等工作人员在人脸图像采集，平台执法办案等实际工作中，用于人脸采集中的人脸相似变换，人脸位姿估计，以及常见的一些人脸检测、人脸识别等相关应用的模块中，为这些移动端执法办案等应用场景提供轻量化、低计算、更加快速、准确、可靠的人脸关键点检测技术。
作为上述方案的改进，所述对所述数据集进行预处理，得到处理数据集，具体包括：
对所述数据集中的每张图像进行人脸检测，并进行人脸区域裁剪；
对裁剪后的图像进行逐一标注，包括标注68个人脸关键点坐标，以及标注是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境；其中，第i个人脸关键点坐标用(xi，yi)表示；
根据所述人脸关键点坐标计算每张人脸区域图像的空间位姿状态；
对每张人脸区域图像进行格式标注，得到处理数据集；其中标注格式为：图像名(路径)+68个人脸关键点坐标(x1,y1；x2,y2；……x68,y68)+0/1+0/1+0/1+空间位姿状态(pitch，roll，yaw)；其中，第一组0/1中的0表示不存在遮挡，1表示存在遮挡；第二组0/1中的0表示不属于大姿势人脸，1表示属于大姿势人脸；第三组0/1中的0表示不具有复杂光照环境，1表示具有复杂光照环境；pitch表示人脸的上下偏转角，roll表示人脸的左右偏转角，yaw表示人脸的前后偏转角。
具体地，参见图2，是本发明该实施例提供的一种数据集预处理的简易流程示意图。由图2可知，对数据集中的每张图像进行人脸检测，在检测出每一张图像中每一个人脸区域的位置进行人脸区域剪裁，这样一来，一张图像可能会得到多张人脸区域图像，因为图像中可能存在多个人脸。
对裁剪后的图像进行逐一标注，包括标注68个人脸关键点坐标，以及标注是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境；其中，第i个人脸关键点坐标用(xi，yi)表示。68个人脸关键点将人脸关键点分为内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点，轮廓关键点包含17个关键点，68个人脸关键点更能实现人脸高精度定位。
根据人脸关键点坐标计算每张人脸区域图像的空间位姿状态；其中，计算过程为：(1)从上面标注的68个人脸关键点中选区32个点(覆盖人脸各个区域)，将其每个2维坐标点对应于其3维坐标；(2)通过相机标定获取相机的内参矩阵；(3)进行世界坐标系、相机坐标系和图像坐标系进行仿射变化进行空间位姿状态的估计。
对每张人脸区域图像进行格式标注(简称label)，得到处理数据集；其中标注格式为：图像名(路径)+68个人脸关键点坐标(x1,y1；x2,y2；……x68,y68)+0/1+0/1+0/1+空间位姿状态(pitch，roll，yaw)；其中，第一组0/1中的0表示不存在遮挡，1表示存在遮挡；第二组0/1中的0表示不属于大姿势人脸，1表示属于大姿势人脸；第三组0/1中的0表示不具有复杂光照环境，1表示具有复杂光照环境；pitch表示人脸的上下偏转角，roll表示人脸的左右偏转角，yaw表示人脸的前后偏转角。为了加深对空间位姿状态(pitch，roll，yaw)的理解，本发明该实施例提供的一种人脸的空间位姿状态的示意图如图3所示。
作为上述方案的改进，所述对所述处理数据集进行增强操作，得到增强数据集，具体包括：
通过OpenCV图像处理库对所述处理数据集进行明暗变化、平移、旋转、镜像和添加随机噪声的增强操作；
在进行每一个增强操作的同时，对每张人脸区域图像的标注格式进行相应的调整，以保证人脸区域图像与其对应的标注格式的一致性。
具体地，参见图4，是本发明该实施例提供的一种数据集增强操作的简易流程示意图。由图4可知，通过OpenCV图像处理库对处理数据集进行明暗变化、平移、旋转、镜像和添加随机噪声的增强操作。为了更好的适用侧脸较多的场景和移动端执法办案场景，这里对图像在[-30-30]度范围内每隔5度对图像进行旋转操作，其目的是扩增实际应用场景中测脸的数据量，以便后续能更好的学习到对测量的表达效果。
在进行每一个增强操作的同时，对每张人脸区域图像的标注格式进行相应的调整，以保证人脸区域图像与其对应的标注格式的一致性，也就是说，在平移、旋转和镜像时，label要做同样变化；在进行明暗变化和添加随机噪声时，label只需要赋值，不用变化。
作为上述方案的改进，所述对所述增强数据集进行归一化处理，得到训练集，具体包括：
获取所述增强数据集中的每张人脸区域图像的图像像素，利用(图像像素-127.5)/127.5将图像的像素值归一化到[-1,1]之间；
将每张人脸区域图像的关键点坐标除以对应的人脸区域图像的(宽，高)，将关键点坐标归一到[0,1]之间；
将是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境进行One-hot编码；
保存每张人脸区域图像的空间位姿状态；
将上述数据打包作为训练集。
具体地，参见图5，是本发明该实施例提供的一种数据集归一化处理的简易流程示意图。由图5可知，对图像像素的归一化处理为：获取增强数据集中的每张人脸区域图像的图像像素，利用(图像像素-127.5)/127.5将图像的像素值归一化到[-1,1]之间，即归一化后的图像像素值＝(图像像素-127.5)/127.5。
将每张人脸区域图像的关键点坐标除以对应的人脸区域图像的(宽，高)，将关键点坐标归一到[0,1]之间，即第i个人脸关键点的坐标归一化后为(xi/w,yi/h)，其中，w为人脸区域图像的宽，h为人脸区域图像的高。
将是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境进行One-hot编码，并保存每张人脸区域图像的空间位姿状态，将上述数据打包作为训练集。
作为上述方案的改进，所述将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型，具体包括：
将所述训练集输入到预设的mobilenet v3轻量级神经网络，得到1*1*1280维的特征向量；
对所述特征向量进行多任务回归，第一回归任务为进行68个人脸关键点坐标的回归，第二回归任务为进行图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境的回归，第三回归任务为进行人脸图像的空间位姿状态的回归；
根据每一个回归任务，设计每一个回归任务对应的损失函数，得到最终总损失函数；其中，第一损失函数为68个人脸关键点位置的欧式距离，第二损失函数为采用分层的不同人脸情况的交叉熵损失，第三损失函数为人脸空间位姿状态的绝对值之和。
具体地，将训练集输入到预设的mobilenet v3轻量级神经网络，得到1*1*1280维的特征向量。预设的mobilenet v3轻量级神经网络在bottlenet结构中加入了SE结构，并且放在了depthwise filter之后，将expansion layer的channel变为原来的1/4,这样既提高了精度，又没增加时间消耗。同时由于之前mobilenetv2中，在avg pooling之前，存在一个1x1的卷积层，目的是提高特征图的维度，更有利于结构的预测，但是这其实带来了一定的计算量了，本发明对mobilenet v3进行了修改，将其放在avg pooling的后面，首先利用avgpooling将特征图大小由7x7降到了1x1，降到1x1后，然后再利用1x1提高维度，这样就减少了7x7＝49倍的计算量。并且为了进一步的降低计算量，直接去掉了前面纺锤型卷积的3x3以及1x1卷积，进一步减少了计算量，但精度并没有得到损失，但这里降低了大约15ms的速度。同时，对头部卷积核channel数量也进行了修改，将mobilenet v2中使用的是32x3x 3卷积改成16x 3x 3，在保证了精度的前提下，降低了3ms的速度，这会在一定程度上降低计算量，将更加适用于移动端的应用。为了方便对改进后的mobilenet v3轻量级神经网络的网络结构图的理解，参见图6，是本发明实施例提供了一种改进后的mobilenet v3轻量级神经网络的网络结构图。
为了更适用于移动端的应用场景，将网络图像的输入尺寸由224×224调整为96×96，由于输入图像尺寸的减少，模型参数和计算量降低为原来的43％，后续网络层的特征图大小按照网络操作比例进行计算，模型最终输出1*1*1280维的特征向量。
为了更好的针对移动端复杂环境和多变化、大姿态人脸场景，对特征向量进行多任务回归，第一回归任务为进行68个人脸关键点坐标的回归，第二回归任务为进行图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境的回归，第三回归任务为进行人脸图像的空间位姿状态的回归。参见图7，是本发明该实施例提供的一种多任务回归的简易流程示意图。
之所以要进行人脸空间姿态角(pitch，roll，yaw)的回归是因为一个人脸图像的空间姿态角基本包括的该人脸的位姿信息，即该人脸是否上下偏转、左右偏转、前后俯仰以及其具体幅度动作的大小，我们可以利用这个信息，针对每一个不同人脸的位姿情况，在训练时利用对不同位姿幅度变换的剧烈程度进行加权的思想进行训练，这样使得网络能够更好的适应复杂环境下人脸姿态变化对关键点定位准确性的影响，从而能够较好的提升模型的准确性和对复杂变化环境及不同人脸姿态的鲁棒性。
根据每一个回归任务，设计每一个回归任务对应的损失函数，得到最终总损失函数；其中，第一损失函数loss1为68个人脸关键点位置的欧式距离，第二损失函数loss2为采用分层的不同人脸情况的交叉熵损失，第三损失函数loss3为人脸空间位姿状态的绝对值之和。最终总损失函数由三部分损失loss1、loss2、loss3相加得到。
作为上述方案的改进，所述最终总损失函数为
其中，T为所述训练集中的样本个数，N为人脸关键点的个数，C代表不同类别人脸，即是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，
为所述欧式距离，
代表每张图像对应的权重，通过改变余弦值进行权重调整，θ1,θ2,θ3分别代表人脸空间位姿状态中pitch、roll、yaw的角度，K＝1、2、3。
具体地，最终总损失函数为
其中，T为训练集中的样本个数，N为人脸关键点的个数，这里取68，C代表不同类别人脸，即是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，取值为2，
为欧式距离，指的是68个人脸关键点的真实值和与预测值之间的欧式距离。
表示权重惩罚项，c为0或1，，n＝(1,2，……，68)，一般地，可以通过
来根据训练数据的样本来进行调整
的大小，使
为68个人脸关键点真实值和与预测值之间的欧式距离。
代表每张图像对应的权重，通过改变余弦值进行权重调整，θ1,θ2,θ3分别代表人脸空间位姿状态中pitch、roll、yaw的角度，K＝1、2、3。
作为上述方案的改进，所述将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型，还具体包括：
将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练时采用批量梯度下降法进行梯度下降，以加快所述神经网络的收敛，得到训练模型。
具体地，将训练集输入到预设的mobilenet v3轻量级神经网络进行训练时采用批量梯度下降法进行梯度下降，以加快神经网络的收敛，得到训练模型。也就是，训练时在不同epoch采用不同的学习率，网络刚开始训练时设置一个较大的学习率0.01进行模型学习，这样可以加快前期网络的收敛速度，随着寻来你的进行，适当的降低学习率的大小，每隔100个epoch,使学习率降为原来的0.9倍，这样有利于后期梯度下降时向全局最优方向收敛。
作为上述方案的改进，所述利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差，具体包括：
利用所述训练模型对所述测试集进行测试，得到测试结果；
根据测试结果进行归一化均方根误差计算，计算公式为
其中，NME代表测试图像的均方根误差，M代表关键点的个数，Xj表示利用所述训练模型检测出来的测试图像的第j个关键点的横坐标，Yj表示利用所述训练模型检测出来的测试图像的第j个关键点的纵坐标，xj表示测试图像标注的第j个关键点的横坐标，yj表示测试图像标注的第j个关键点的纵坐标，r表示归一化因子；
根据计算结果，得到人脸关键点检测的识别误差。
具体地，利用训练模型对测试集进行测试，得到测试结果，这是为了对网络模型性能进行指标量化的操作。
根据测试结果进行归一化均方根误差计算，计算公式为
其中，NME代表测试图像的均方根误差，M代表关键点的个数，Xj表示利用训练模型检测出来的测试图像的第j个关键点的横坐标，Yj表示利用训练模型检测出来的测试图像的第j个关键点的纵坐标，xj表示测试图像标注的第j个关键点的横坐标，yj表示测试图像标注的第j个关键点的纵坐标，r表示归一化因子；
根据计算结果，得到人脸关键点检测的识别误差。
而常见的针对人脸关键点的归一化因子r有三种计算方式：
a：centers，眼睛瞳孔间的距离
假设为r1，并且左瞳孔坐标为(xl,yl)，左瞳孔为图8中点38、39、41、42的平均位置；右瞳孔坐标为(xr,yr)，右瞳孔为图8中点44、45、47、48的平均位置)，则眼睛瞳孔间距离为：
b：corners，左右眼外眼角的距离
假设为r2，左、右外眼角为图8里面的37点和46点，计算公式如下：
c：diagonal，标注关键点外接矩形框的对角线距离
假设为r3，先计算出标注关键点的外接矩形框的宽w，高h,则计算公式为：
为了更好的理解68个人脸关键点的定义和在人脸图像中的分布，参见图8，是本发明实施例提供了一种关于人脸的68个人脸关键点的分布示意图。为了更准确的测试人脸关键点模型的效果，本发明对68个人脸关键点进行了分区域划分和测试，分别测试求其NME值(均方根误差)，其中分为：人脸整体区域(1-68)、无脸轮廓区域(51个点:18-68)、人脸轮廓区域(17个点：1-17)、眉毛区域(10个点：18-27)、鼻子区域(9个点：28-36)、眼睛区域(12个点:37-48)和嘴巴区域(20个点:49-68),最终测试结果为整体以及各个人脸部位关键点的均方根误差值。
在得到这些不同区域的人脸关键点时，对这些特定不同部位的关键点，利用深度学习技术中的神经网络进行特征提取，通过不同迭代轮数，对人脸不同区域增加适宜的权重，从而使得网络向着能更好的学习脸部不同区域关键点的位置分布，提升模型的准确率。
模型测试时，将测试图像传入网络，得到该人脸图像的关键点坐标值，这里得到的人脸坐标为归一化后的坐标值，在进行关键点还原过程时，需要将该关键点坐标复原(reshape)为68*2形式，然后对于每一个关键点坐标的x*图像的宽，对于每一个关键点坐标的y*图像的高，这样就将预测的人脸关键点坐标对应到原始人脸图像上了，如果有对测试集图像进行人脸剪裁操作，则预测出的关键点(x,y)坐标还需加上剪裁位置处的(x0，y0)坐标值。最后再进行对应图像预测坐标和对应图像label的测试，得出其均方根误差值。
为了使模型更优化，在通过上述方案的测试和结果分析后，可以通过增加训练数据，调整网络超参数，尝试不同的学习率及其学习率变化方案，甚至加载预训练模型训练第一版模型，然后在再在第一版模型的基础上进行优化和迭代，适当的时候也可通过调整网络结构来进行模型优化，达到测试评价指标最佳的情况，以使模型能够满足移动端执法办案场景的应用需求。
通过对上述模型迭代和优化后，为了准确的测试模型在移动端办案执法场景中的准确性和计算速度，同时兼顾移动端执法办案场景的环境复杂性，分别选区了多场景下的图像进行测试，其中包括1)广州某海关人脸图像采集场景下的1458张人脸图像采集照，2)深圳海关进出口1128张进出口时侧脸照，3)某分局证件照1286张，4)衡阳车管所复杂、遮挡环境正、测脸照986张。测试硬件环境为cpu,i7-7700HQ，内存8G,2.80GHz,其关键点均方根误差测试结果如下表1所示：
表1不同使用场景下的人脸关键点测试结果
同时，参见图9，是本发明实施例提供了一些图像的识别结果，由图9和表1可知，测试结果可视化，模型对于移动端执法办案场景下的正脸、侧脸、遮挡，大姿态人脸，复杂环境下的人脸等场景均有较为准确的人脸关键点检测能力和对复杂人脸环境有较强的环境和鲁棒性。
参见图10，是本发明一实施例提供的一种人脸关键点检测装置的结构示意图，所述装置包括：
图像获取模块11，用于获取人脸数据集以及测试集；
预处理模块12，用于对所述数据集进行预处理，得到处理数据集；其中，预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态；
增强模块13，用于对所述处理数据集进行增强操作，得到增强数据集；其中，增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声；
归一化模块14，用于对所述增强数据集进行归一化处理，得到训练集；
训练模块15，用于将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型；
测试模块16，用于利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差。
本发明实施例所提供的一种人脸关键点检测装置能够实现上述任一实施例所述的人脸关键点检测方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的人脸关键点检测方法的作用以及实现的技术效果对应相同，这里不再赘述。
参见图11，是本发明实施例提供的一种使用人脸关键点检测方法的装置的示意图，所述使用人脸关键点检测方法的装置包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10执行所述计算机程序时实现上述任一实施例所述的人脸关键点检测方法。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器20中，并由处理器10执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在一种人脸关键点检测方法中的执行过程。例如，计算机程序可以被分割成图像获取模块、预处理模块、增强模块、归一化模块、训练模块和测试模块，各模块具体功能如下：
图像获取模块11，用于获取人脸数据集以及测试集；
预处理模块12，用于对所述数据集进行预处理，得到处理数据集；其中，预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态；
增强模块13，用于对所述处理数据集进行增强操作，得到增强数据集；其中，增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声；
归一化模块14，用于对所述增强数据集进行归一化处理，得到训练集；
训练模块15，用于将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型；
测试模块16，用于利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差。
所述使用人脸关键点检测方法的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述使用人脸关键点检测方法的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图11仅仅是一种使用人脸关键点检测方法的装置的示例，并不构成对所述使用人脸关键点检测方法的装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述使用人脸关键点检测方法的装置还可以包括输入输出设备、网络接入设备、总线等。
处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器10也可以是任何常规的处理器等，处理器10是所述使用人脸关键点检测方法的装置的控制中心，利用各种接口和线路连接整个使用人脸关键点检测方法的装置的各个部分。
存储器20可用于存储所述计算机程序和/或模块，处理器10通过运行或执行存储在存储器20内的计算机程序和/或模块，以及调用存储在存储器20内的数据，实现所述使用人脸关键点检测方法的装置的各种功能。存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据程序使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述使用人脸关键点检测方法的装置集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一实施例所述的人脸关键点检测方法。
综上，本发明实施例所提供的一种人脸关键点检测方法及装置，能检测复杂的工作环境下的人脸情况，包括是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，能有效提升对于杂环境下人脸识别的准确性和对人脸旋转、侧脸情况的鲁棒性，特别适用于移动端执法办案场景。同时考虑到移动端设备的实际工作情况，整个网络采用专门针对移动端开发的轻量化卷积神经网络Mobilenet-V3作为特征提取网络进行特征提取，既提高了精度又没有增加时间消耗，从而使得移动端模型部署更加低时延，检测能够更加的实时，高效。本发明还针对现实应用场景中人脸姿态变化、人脸遮挡等情况，网络将人脸是否遮挡、是否侧脸，及关照环境进行One-hot编码进行量化，对于侧脸等现象，通过利用关键点信息计算出每个人脸图像的空间位姿情况(pitch，Roll，Yaw)，将其纳入到网络的学习中来，并对此特意将网络提取的特征进行多任务回归，并针对每一部分设计专门的loss函数，通过权重调节和优化loss总和的方式进行优化迭代，从而提升对于复杂办案执法复杂环境的准确性和对人脸旋转、侧脸情况的鲁棒性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种人脸关键点检测方法，其特征在于，包括以下步骤：
获取人脸数据集以及测试集；
对所述数据集进行预处理，得到处理数据集；其中，预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态；
对所述处理数据集进行增强操作，得到增强数据集；其中，增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声；
对所述增强数据集进行归一化处理，得到训练集；
将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型；
利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差。
2.如权利要求1所述的人脸关键点检测方法，其特征在于，所述对所述数据集进行预处理，得到处理数据集，具体包括：
对所述数据集中的每张图像进行人脸检测，并进行人脸区域裁剪；
对裁剪后的图像进行逐一标注，包括标注68个人脸关键点坐标，以及标注是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境；其中，第i个人脸关键点坐标用(xi，yi)表示；
根据所述人脸关键点坐标计算每张人脸区域图像的空间位姿状态；
对每张人脸区域图像进行格式标注，得到处理数据集；其中标注格式为：图像名(路径)+68个人脸关键点坐标(x1,y1；x2,y2；……x68,y68)+0/1+0/1+0/1+空间位姿状态(pitch，roll，yaw)；其中，第一组0/1中的0表示不存在遮挡，1表示存在遮挡；第二组0/1中的0表示不属于大姿势人脸，1表示属于大姿势人脸；第三组0/1中的0表示不具有复杂光照环境，1表示具有复杂光照环境；pitch表示人脸的上下偏转角，roll表示人脸的左右偏转角，yaw表示人脸的前后偏转角。
3.如权利要求2所述的人脸关键点检测方法，其特征在于，所述对所述处理数据集进行增强操作，得到增强数据集，具体包括：
通过OpenCV图像处理库对所述处理数据集进行明暗变化、平移、旋转、镜像和添加随机噪声的增强操作；
在进行每一个增强操作的同时，对每张人脸区域图像的标注格式进行相应的调整，以保证人脸区域图像与其对应的标注格式的一致性。
4.如权利要求3所述的人脸关键点检测方法，其特征在于，所述对所述增强数据集进行归一化处理，得到训练集，具体包括：
获取所述增强数据集中的每张人脸区域图像的图像像素，利用(图像像素-127.5)/127.5将图像的像素值归一化到[-1,1]之间；
将每张人脸区域图像的关键点坐标除以对应的人脸区域图像的(宽，高)，将关键点坐标归一到[0,1]之间；
将是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境进行One-hot编码；
保存每张人脸区域图像的空间位姿状态；
将上述数据打包作为训练集。
5.如权利要求2所述的人脸关键点检测方法，其特征在于，所述将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型，具体包括：
将所述训练集输入到预设的mobilenet v3轻量级神经网络，得到1*1*1280维的特征向量；
对所述特征向量进行多任务回归，第一回归任务为进行68个人脸关键点坐标的回归，第二回归任务为进行图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境的回归，第三回归任务为进行人脸图像的空间位姿状态的回归；
根据每一个回归任务，设计每一个回归任务对应的损失函数，得到最终总损失函数；其中，第一损失函数为68个人脸关键点位置的欧式距离，第二损失函数为采用分层的不同人脸情况的交叉熵损失，第三损失函数为人脸空间位姿状态的绝对值之和。
6.如权利要求5所述的人脸关键点检测方法，其特征在于，所述最终总损失函数为
其中，T为所述训练集中的样本个数，N为人脸关键点的个数，C代表不同类别人脸，即是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，
为所述欧式距离，
代表每张图像对应的权重，通过改变余弦值进行权重调整，θ1,θ2,θ3分别代表人脸空间位姿状态中pitch、roll、yaw的角度，K＝1、2、3。
7.如权利要求5所述的人脸关键点检测方法，其特征在于，所述将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型，还具体包括：
将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练时采用批量梯度下降法进行梯度下降，以加快所述神经网络的收敛，得到训练模型。
8.如权利要求1所述的人脸关键点检测方法，其特征在于，所述利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差，具体包括：
利用所述训练模型对所述测试集进行测试，得到测试结果；
根据测试结果进行归一化均方根误差计算，计算公式为
其中，NME代表测试图像的均方根误差，M代表关键点的个数，Xj表示利用所述训练模型检测出来的测试图像的第j个关键点的横坐标，Yj表示利用所述训练模型检测出来的测试图像的第j个关键点的纵坐标，xj表示测试图像标注的第j个关键点的横坐标，yj表示测试图像标注的第j个关键点的纵坐标，r表示归一化因子；
根据计算结果，得到人脸关键点检测的识别误差。
9.一种人脸关键点检测装置，其特征在于，包括：
图像获取模块，用于获取人脸数据集以及测试集；
预处理模块，用于对所述数据集进行预处理，得到处理数据集；其中，预处理包括标注每张图像的68个人脸关键点坐标，标注每张图像是否存在遮挡、是否属于大姿势人脸、是否具有复杂光照环境，以及计算每张图像的空间位姿状态；
增强模块，用于对所述处理数据集进行增强操作，得到增强数据集；其中，增强操作包括对图像进行明暗变化、平移、旋转、镜像和添加随机噪声；
归一化模块，用于对所述增强数据集进行归一化处理，得到训练集；
训练模块，用于将所述训练集输入到预设的mobilenet v3轻量级神经网络进行训练，得到训练模型；
测试模块，用于利用所述训练模型对所述测试集进行测试，得到人脸关键点检测的识别误差。
10.一种使用人脸关键点检测方法的装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的人脸关键点检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911402556.2A CN111160269A (zh) | 2019-12-30 | 2019-12-30 | 一种人脸关键点检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911402556.2A CN111160269A (zh) | 2019-12-30 | 2019-12-30 | 一种人脸关键点检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111160269A true CN111160269A (zh) | 2020-05-15 |
Family
ID=70559425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911402556.2A Pending CN111160269A (zh) | 2019-12-30 | 2019-12-30 | 一种人脸关键点检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160269A (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598038A (zh) * | 2020-05-22 | 2020-08-28 | 深圳市瑞立视多媒体科技有限公司 | 脸部特征点检测方法、装置、设备及存储介质 |
| CN111611917A (zh) * | 2020-05-20 | 2020-09-01 | 北京华捷艾米科技有限公司 | 模型训练方法、特征点检测方法、装置、设备及存储介质 |
| CN111967406A (zh) * | 2020-08-20 | 2020-11-20 | 高新兴科技集团股份有限公司 | 人体关键点检测模型生成方法、系统、设备和存储介质 |
| CN112016447A (zh) * | 2020-08-27 | 2020-12-01 | 华南理工大学 | 基于Yolo神经网络的智能额头测温方法及其应用 |
| CN112036253A (zh) * | 2020-08-06 | 2020-12-04 | 海纳致远数字科技(上海)有限公司 | 一种基于深度学习的人脸关键点定位方法 |
| CN112069992A (zh) * | 2020-09-04 | 2020-12-11 | 西安西图之光智能科技有限公司 | 一种基于多监督稠密对齐的人脸检测方法、系统及存储介质 |
| CN112069995A (zh) * | 2020-09-04 | 2020-12-11 | 西安西图之光智能科技有限公司 | 一种深度域人脸稠密特征提取方法、系统和存储介质 |
| CN112084992A (zh) * | 2020-09-18 | 2020-12-15 | 北京中电兴发科技有限公司 | 一种人脸关键点检测模块中人脸框选取方法 |
| CN112396012A (zh) * | 2020-11-25 | 2021-02-23 | 江苏新安电器股份有限公司 | 一种基于MobileNetV3网络模型的红外人体行为识别方法 |
| CN112560725A (zh) * | 2020-12-22 | 2021-03-26 | 四川云从天府人工智能科技有限公司 | 关键点检测模型及其检测方法、装置及计算机存储介质 |
| CN112597913A (zh) * | 2020-12-26 | 2021-04-02 | 中国农业银行股份有限公司 | 一种人脸标注方法及装置 |
| CN112634363A (zh) * | 2020-12-10 | 2021-04-09 | 上海零眸智能科技有限公司 | 一种货架姿态预估方法 |
| CN112651490A (zh) * | 2020-12-28 | 2021-04-13 | 深圳万兴软件有限公司 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
| CN112801038A (zh) * | 2021-03-02 | 2021-05-14 | 重庆邮电大学 | 一种多视点的人脸活体检测方法及系统 |
| CN112818772A (zh) * | 2021-01-19 | 2021-05-18 | 网易（杭州）网络有限公司 | 一种面部参数的识别方法、装置、电子设备及存储介质 |
| CN112836566A (zh) * | 2020-12-01 | 2021-05-25 | 北京智云视图科技有限公司 | 针对边缘设备的多任务神经网络人脸关键点检测方法 |
| CN112926424A (zh) * | 2021-02-10 | 2021-06-08 | 北京爱笔科技有限公司 | 脸部遮挡的识别方法、装置、可读介质以及设备 |
| CN113269300A (zh) * | 2021-04-14 | 2021-08-17 | 广州晟烨信息科技股份有限公司 | 一种人脸采集特征训练方法、系统及存储介质 |
| CN113313010A (zh) * | 2021-05-26 | 2021-08-27 | 广州织点智能科技有限公司 | 一种人脸关键点检测模型训练方法、装置和设备 |
| CN113822254A (zh) * | 2021-11-24 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 一种模型训练方法及相关装置 |
| KR20210156793A (ko) * | 2020-06-18 | 2021-12-27 | 애플 인크. | 낮은 공간 지터, 낮은 레이턴시 및 저전력 사용을 갖는 객체 및 키포인트 검출 시스템 |
| CN113963424A (zh) * | 2021-12-21 | 2022-01-21 | 西南石油大学 | 一种基于单阶人脸定位算法的婴儿窒息或猝死预警方法 |
| CN113963428A (zh) * | 2021-12-23 | 2022-01-21 | 北京的卢深视科技有限公司 | 模型训练方法、遮挡检测方法、系统、电子设备及介质 |
| CN114550207A (zh) * | 2022-01-17 | 2022-05-27 | 北京新氧科技有限公司 | 脖子关键点检测方法及装置、检测模型训练方法及装置 |
| CN115131570A (zh) * | 2022-05-27 | 2022-09-30 | 马上消费金融股份有限公司 | 图像特征提取模型的训练方法、图像检索方法及相关设备 |
| WO2022213261A1 (zh) * | 2021-04-06 | 2022-10-13 | 深圳市欢太科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN115512427A (zh) * | 2022-11-04 | 2022-12-23 | 北京城建设计发展集团股份有限公司 | 一种结合配合式活检的用户人脸注册方法与系统 |
| CN117420917A (zh) * | 2023-12-19 | 2024-01-19 | 烟台大学 | 基于手部骨架的虚拟现实控制方法、系统、设备及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229442A (zh) * | 2018-02-07 | 2018-06-29 | 西南科技大学 | 基于ms-kcf的图像序列中人脸快速稳定检测方法 |
| CN110490052A (zh) * | 2019-07-05 | 2019-11-22 | 山东大学 | 基于级联多任务学习的人脸检测及人脸属性分析方法及系统 |
-
2019
- 2019-12-30 CN CN201911402556.2A patent/CN111160269A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229442A (zh) * | 2018-02-07 | 2018-06-29 | 西南科技大学 | 基于ms-kcf的图像序列中人脸快速稳定检测方法 |
| CN110490052A (zh) * | 2019-07-05 | 2019-11-22 | 山东大学 | 基于级联多任务学习的人脸检测及人脸属性分析方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| GUO, X.: "PFLD: A practical facial landmark detector", 《ARXIV PREPRINT ARXIV:1902.10859》 * |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611917A (zh) * | 2020-05-20 | 2020-09-01 | 北京华捷艾米科技有限公司 | 模型训练方法、特征点检测方法、装置、设备及存储介质 |
| CN111598038A (zh) * | 2020-05-22 | 2020-08-28 | 深圳市瑞立视多媒体科技有限公司 | 脸部特征点检测方法、装置、设备及存储介质 |
| US11847823B2 (en) | 2020-06-18 | 2023-12-19 | Apple Inc. | Object and keypoint detection system with low spatial jitter, low latency and low power usage |
| KR20210156793A (ko) * | 2020-06-18 | 2021-12-27 | 애플 인크. | 낮은 공간 지터, 낮은 레이턴시 및 저전력 사용을 갖는 객체 및 키포인트 검출 시스템 |
| KR102650594B1 (ko) * | 2020-06-18 | 2024-03-21 | 애플 인크. | 낮은 공간 지터, 낮은 레이턴시 및 저전력 사용을 갖는 객체 및 키포인트 검출 시스템 |
| CN112036253A (zh) * | 2020-08-06 | 2020-12-04 | 海纳致远数字科技(上海)有限公司 | 一种基于深度学习的人脸关键点定位方法 |
| CN111967406A (zh) * | 2020-08-20 | 2020-11-20 | 高新兴科技集团股份有限公司 | 人体关键点检测模型生成方法、系统、设备和存储介质 |
| CN112016447A (zh) * | 2020-08-27 | 2020-12-01 | 华南理工大学 | 基于Yolo神经网络的智能额头测温方法及其应用 |
| CN112069995A (zh) * | 2020-09-04 | 2020-12-11 | 西安西图之光智能科技有限公司 | 一种深度域人脸稠密特征提取方法、系统和存储介质 |
| CN112069995B (zh) * | 2020-09-04 | 2024-02-27 | 西安西图之光智能科技有限公司 | 一种深度域人脸稠密特征提取方法、系统和存储介质 |
| CN112069992A (zh) * | 2020-09-04 | 2020-12-11 | 西安西图之光智能科技有限公司 | 一种基于多监督稠密对齐的人脸检测方法、系统及存储介质 |
| CN112084992A (zh) * | 2020-09-18 | 2020-12-15 | 北京中电兴发科技有限公司 | 一种人脸关键点检测模块中人脸框选取方法 |
| CN112396012A (zh) * | 2020-11-25 | 2021-02-23 | 江苏新安电器股份有限公司 | 一种基于MobileNetV3网络模型的红外人体行为识别方法 |
| CN112836566A (zh) * | 2020-12-01 | 2021-05-25 | 北京智云视图科技有限公司 | 针对边缘设备的多任务神经网络人脸关键点检测方法 |
| CN112634363B (zh) * | 2020-12-10 | 2023-10-03 | 上海零眸智能科技有限公司 | 一种货架姿态预估方法 |
| CN112634363A (zh) * | 2020-12-10 | 2021-04-09 | 上海零眸智能科技有限公司 | 一种货架姿态预估方法 |
| CN112560725A (zh) * | 2020-12-22 | 2021-03-26 | 四川云从天府人工智能科技有限公司 | 关键点检测模型及其检测方法、装置及计算机存储介质 |
| CN112597913A (zh) * | 2020-12-26 | 2021-04-02 | 中国农业银行股份有限公司 | 一种人脸标注方法及装置 |
| CN112651490B (zh) * | 2020-12-28 | 2024-01-05 | 深圳万兴软件有限公司 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
| CN112651490A (zh) * | 2020-12-28 | 2021-04-13 | 深圳万兴软件有限公司 | 人脸关键点检测模型的训练方法及设备、可读存储介质 |
| CN112818772A (zh) * | 2021-01-19 | 2021-05-18 | 网易（杭州）网络有限公司 | 一种面部参数的识别方法、装置、电子设备及存储介质 |
| CN112926424A (zh) * | 2021-02-10 | 2021-06-08 | 北京爱笔科技有限公司 | 脸部遮挡的识别方法、装置、可读介质以及设备 |
| CN112801038A (zh) * | 2021-03-02 | 2021-05-14 | 重庆邮电大学 | 一种多视点的人脸活体检测方法及系统 |
| WO2022213261A1 (zh) * | 2021-04-06 | 2022-10-13 | 深圳市欢太科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN113269300A (zh) * | 2021-04-14 | 2021-08-17 | 广州晟烨信息科技股份有限公司 | 一种人脸采集特征训练方法、系统及存储介质 |
| CN113313010A (zh) * | 2021-05-26 | 2021-08-27 | 广州织点智能科技有限公司 | 一种人脸关键点检测模型训练方法、装置和设备 |
| CN113822254B (zh) * | 2021-11-24 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 一种模型训练方法及相关装置 |
| CN113822254A (zh) * | 2021-11-24 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 一种模型训练方法及相关装置 |
| CN113963424A (zh) * | 2021-12-21 | 2022-01-21 | 西南石油大学 | 一种基于单阶人脸定位算法的婴儿窒息或猝死预警方法 |
| CN113963428A (zh) * | 2021-12-23 | 2022-01-21 | 北京的卢深视科技有限公司 | 模型训练方法、遮挡检测方法、系统、电子设备及介质 |
| CN114550207A (zh) * | 2022-01-17 | 2022-05-27 | 北京新氧科技有限公司 | 脖子关键点检测方法及装置、检测模型训练方法及装置 |
| CN115131570A (zh) * | 2022-05-27 | 2022-09-30 | 马上消费金融股份有限公司 | 图像特征提取模型的训练方法、图像检索方法及相关设备 |
| CN115131570B (zh) * | 2022-05-27 | 2023-08-22 | 马上消费金融股份有限公司 | 图像特征提取模型的训练方法、图像检索方法及相关设备 |
| CN115512427A (zh) * | 2022-11-04 | 2022-12-23 | 北京城建设计发展集团股份有限公司 | 一种结合配合式活检的用户人脸注册方法与系统 |
| CN115512427B (zh) * | 2022-11-04 | 2023-04-25 | 北京城建设计发展集团股份有限公司 | 一种结合配合式活检的用户人脸注册方法与系统 |
| CN117420917A (zh) * | 2023-12-19 | 2024-01-19 | 烟台大学 | 基于手部骨架的虚拟现实控制方法、系统、设备及介质 |
| CN117420917B (zh) * | 2023-12-19 | 2024-03-08 | 烟台大学 | 基于手部骨架的虚拟现实控制方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
| CN108549873B (zh) | 三维人脸识别方法和三维人脸识别系统 | |
| US11908244B2 (en) | Human posture detection utilizing posture reference maps | |
| CN109344701B (zh) | 一种基于Kinect的动态手势识别方法 | |
| CN104573731B (zh) | 基于卷积神经网络的快速目标检测方法 | |
| CN110532920B (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
| CN108647588A (zh) | 物品类别识别方法、装置、计算机设备和存储介质 | |
| CN110675487B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| CN109902548B (zh) | 一种对象属性识别方法、装置、计算设备及系统 | |
| CN111860171B (zh) | 一种大规模遥感图像中不规则形状目标的检测方法及系统 | |
| CN109492638A (zh) | 文本检测方法、装置及电子设备 | |
| CN108171133B (zh) | 一种基于特征协方差矩阵的动态手势识别方法 | |
| CN104484658A (zh) | 一种基于多通道卷积神经网络的人脸性别识别方法及装置 | |
| CN109711416A (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
| CN109948467A (zh) | 人脸识别的方法、装置、计算机设备和存储介质 | |
| CN112381061B (zh) | 一种面部表情识别方法及系统 | |
| CN111860055B (zh) | 人脸静默活体检测方法、装置、可读存储介质及设备 | |
| CN109087337B (zh) | 基于分层卷积特征的长时间目标跟踪方法及系统 | |
| CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| CN109712128A (zh) | 特征点检测方法、装置、计算机设备和存储介质 | |
| CN108564008A (zh) | 一种基于zynq的实时行人与人脸检测方法 | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |