CN111126344B - 一种生成人脸额头关键点的方法与系统 - Google Patents
一种生成人脸额头关键点的方法与系统 Download PDFInfo
- Publication number
- CN111126344B CN111126344B CN201911420695.8A CN201911420695A CN111126344B CN 111126344 B CN111126344 B CN 111126344B CN 201911420695 A CN201911420695 A CN 201911420695A CN 111126344 B CN111126344 B CN 111126344B
- Authority
- CN
- China
- Prior art keywords
- face
- key points
- forehead
- points
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种生成人脸额头关键点的方法及系统，包括步骤：S1、计算密集关键点在检测模型输入尺寸下的均值人脸；S2、以所述均值人脸中左右脸颊角点间的连线为直径在人脸上半部分绘制半圆；S3、以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点；S4、使用现有人脸检测器检测待检测人脸图像的稀疏关键点；S5、基于所述均值人脸、待检测人脸图像的稀疏关键点计算仿射变换矩阵；S6、通过所述仿射变换的逆变化将所述均值人脸额头关键点映射到待检测人脸图像，得到待检测人脸图像中的人脸额头关键点。本发明实现额头关键点检测，无需人工标注，完全自动化生成，检测精度高。
Description
技术领域
本发明涉及人脸关键点检测领域，具体涉及一种生成人脸额头关键点的方法与系统。
背景技术
人脸关键点是很多人脸应用的基础，现有的识别人脸关键点识别的算法往往只是针对人脸的下颚、五官的关键位置来进行识别，却没有识别人脸额头关键点的算法。因为人脸额头往往会受到人的发型影响，不同的发型其刘海千差万别，这为识别人脸额头的关键点增加了不小的难度。现有很多种类的人脸关键点，大都不包括额头，如68点、98点、106点、101点。对于一些需要额头关键点的场景，这些则需要人工标注，来获得额头的点位，人工标注的成本高，标注效率低。
公开号为CN 110363107 A的发明专利申请公开了一种人脸额头点位快速扩展方法、装置、储存介质和处理器，其中，该方法通过人脸识别程序识别获取到的人脸点，然后通过该获取到的人脸点计算人脸高度标准值、水平方向向量和垂直方向向量，最后在分别生成表示的额头中心的人脸点和在该中心点两侧表示额头的对称人脸点，相比于现有人脸额头关键点或特征点获取的方法，本发明不仅快速简单，而且还不占用额外的硬件资源。
然而，上述专利申请直接基于现有的人脸识别程序识别获取到的人脸点，并基于人脸点来确定额头关键点。也就是说，额头关键点检测的准确度直接基于人脸点。随着深度学习技术的发展，以神经网络为代表的算法，在诸多领域取得了前所未有的突破。其中作为计算机视觉中的经典问题，人脸关键点检测，采用无论是基于深度学习的方法，还是传统的方法，都存在一个共同的缺点——过度依赖人脸框。在现有的方法中，一种检测算法往往只对训练时所用的人脸框表现较好，而换一种人脸框时，人脸关键点的检测精度就会下降。哪怕使用同一种标准的人脸框，检测器不稳定带来人脸框的不稳定，也会对人脸关键点检测造成很大干扰，主要表现莫过于关键点抖动。因此，基于此生成的额头关键点的检测也存在过度依赖人脸框的问题，造成额头关键点的检测精度低的问题。如何实现检测精度高、鲁棒性强的额头关键点检测是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种生成人脸额头关键点的方法与系统。本发明基于原有密集关键点生成均值人脸及其近似额头点位，对待检测人脸图像进行稀疏关键点检测，通过仿射逆变换得到其人脸额头关键点，整个过程无需人工标注，完全自动化生成，具有快速、鲁棒、稳定、检测精度高等优点。
为了实现以上目的，本发明采用以下技术方案：
一种生成人脸额头关键点的方法，包括步骤：
S1、计算密集关键点在检测模型输入尺寸下的均值人脸；
S2、以所述均值人脸中左右脸颊角点间的连线为直径在人脸上半部分绘制半圆；
S3、以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点；
S4、使用现有人脸检测器检测待检测人脸图像的稀疏关键点；
S5、基于所述均值人脸、待检测人脸图像的稀疏关键点计算仿射变换矩阵；
S6、通过所述仿射变换的逆变化将所述均值人脸额头关键点映射到待检测人脸图像，得到待检测人脸图像中的人脸额头关键点。
进一步地，所述仿射变换对所述稀疏关键点进行平移、旋转、缩放，使变换后的稀疏关键点在所述均值人脸中稀疏关键点对应的关键点间的距离最小。
进一步地，所述步骤S5中的均值人脸不包括均值人脸额头关键点。
进一步地，通过Ordinary Procrustes Analysis求解所述仿射变换矩阵的参数。
进一步地，所述稀疏关键点包括：
左眼中心，右眼中心，左嘴角和右嘴角。
本发明还提出一种生成人脸额头关键点的系统，包括：
均值人脸计算模块，用于计算密集关键点在检测模型输入尺寸下的均值人脸；
绘制模块，用于以所述均值人脸中左右脸颊角点间的连线为直径在人脸上半部分绘制半圆；
均值人脸额头关键点生成模块，用于以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点；
稀疏关键点检测模块，用于使用现有人脸检测器检测待检测人脸图像的稀疏关键点；
仿射变换矩阵计算模块，用于基于所述均值人脸、待检测人脸图像的稀疏关键点计算仿射变换矩阵；
仿射模块，用于通过所述仿射变换的逆变化将所述均值人脸额头关键点映射到待检测人脸图像，得到待检测人脸图像中的人脸额头关键点。
进一步地，所述仿射变换对所述稀疏关键点进行平移、旋转、缩放，使变换后的稀疏关键点在所述均值人脸中稀疏关键点对应的关键点间的距离最小。
进一步地，所述仿射变换矩阵计算模块中的均值人脸不包括均值人脸额头关键点。
进一步地，通过Ordinary Procrustes Analysis求解所述仿射变换矩阵的参数。
进一步地，所述稀疏关键点包括：左眼中心，右眼中心，左嘴角和右嘴角。
本发明与现有技术相比，具有如下效果：
(1)本发明基于原有密集关键点生成均值人脸及其近似额头点位，对待检测人脸图像进行稀疏关键点检测，通过仿射逆变换得到其人脸额头关键点，实现了人脸额头关键点的检测，弥补了现有的大多数关键点检测不包括对人脸额头关键点进行检测的缺陷。不需要人工标注额头关键点，全自动化生成，具有快速、鲁棒性高、稳定的特点。
(2)本发明对稀疏关键点进行检测，通过仿射变换得到稀疏关键点与标准人脸间的映射关系，使人脸所在的位置和所占的比例更加相近，提高了人脸额头关键点的检测精度；
(3)本发明所选取的稀疏关键点，相对人脸框交点来说，有更明确的语义信息，因此，更加统一，即使是不同的数据集，对于这些基准点来说，标注的标准基本是统一的，如眼睛中心、嘴角等。因此，能够比传统的基于人脸框的关键点检测更精确，进一步能够提高额头关键点检测的准确性。。
(4)本发明减少了关键点检测对于人脸框的依赖，提高了关键点检测的稳定性。
附图说明
图1是实施例一提供的一种生成人脸额头关键点的方法流程图；
图2为均值人脸示例图；
图3是实施例二提供的一种生成人脸额头关键点的系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
如图1所示，本实施例提出了一种生成人脸额头关键点的方法，包括：
S1、计算密集关键点在检测模型输入尺寸下的均值人脸；
通常情况下，人脸关键点检测包括人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。本发明采集一批密集关键点数据作为人脸关键点的标准数据，根据这些人脸关键点数据，以现有关键点的外界矩形框为基准，外扩特定比例，例如0.4，然后作为人脸框。
由于同一人不同仰角度、不同左右摇摆角度下的图像关键点位置不同，不同人不同图像的关键点位置也有差异，因此，本发明在获取到人脸框后，计算得到该人脸框标准下均值人脸，使均值人脸图像同时包含多幅人脸图像的综合信息。此外，人脸在三维空间中的变化分为沿横轴、纵轴和竖轴的平移和旋转，在获取到均值人脸后，对通过几何归一化的方法克服平移和旋转对图像关键点检测的影响，由此生成密集关键点在检测模型输入尺寸下的原始均值人脸。
S2、以所述均值人脸中左右脸颊角点间的连线为直径在人脸上半部分绘制半圆；
角点就是极值点，即在某方面属性特别突出的点。本发明选择的是均值人脸中左右脸颊的角点，即左右脸颊中最外侧的关键点。也就是说，均值人脸中的密集关键点需要包括左右脸颊的关键点。而现有人脸关键点公开数据集基本可以满足这个需求，只是可能存在点位数量上的差异，或部分点位局部语义上的偏差。人的脸型在左右脸颊的角点上半部分呈近似半圆的形状，因此，本发明以均值人脸中左右脸颊角点间的连线为直径在人脸上半部分作半圆，即以左右脸颊角点的中心为原点，以这两点距离的一半为半径作半圆。众所周知，上半部分的区域包括了额头的区域，因此，半圆区域包括了额头区域，即包括了额头关键点部分。
S3、以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点；
如上所述，半圆包括了额头关键点部分，因此，本发明以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点。具体地，间隔度数以可以按实际需要进行调整。例如，间隔15度取一个点，由于左右脸颊的角点为半圆的端点，因此，额头候选关键点的个数为11个。
额头位于人脸的最高位置处，在得出额头候选关键点后，对其进行帅选，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点。与间隔度数一样，最终选取的额头关键点数量可以按实际需要进行调整。例如，选取最上方的5个点为均值人脸的额头关键点。
如图2所示，(a)通过基于现有的密集关键点构建的均值人脸，其不包括人脸额头关键点；(b)为在(a)的基础上间隔15度取一个点所增加的11个人脸额头关键点形成的均值人脸；(c)为在(b)的基础上选取最上方的5个点为额头关键点形成的均值人脸。
S4、使用现有人脸检测器检测待检测人脸图像的稀疏关键点；
本发明基于稀疏关键点校准实现待检测人脸关键点检测，因此，对于输入的人脸图像，本发明首先检测人脸图像的稀疏关键点。人脸图像可以为BGR图像。对稀疏关键点进行检测，本发明不限定稀疏关键点的个数。例如，四个稀疏关键点包括：左眼中心，右眼中心，左嘴角和右嘴角。本发明采用现有人脸检测器进行检测，例如多任务卷积神经网络(Multi-task convolutional neural network，Mtcnn)。
S5、基于所述均值人脸、待检测人脸图像的稀疏关键点计算仿射变换矩阵；
本发明基于仿射变换实现基于稀疏关键点的校准。仿射变换就是一种简单的变换，它的变化包括旋转、平移、伸缩，原来的直线仿射变换后还是直线，原来的平行线经过仿射变换之后还是平行线，这就是仿射。仿射变换的矩阵是其次坐标形式的变换矩阵。本发明将稀疏关键点与均值人脸间进行仿射变换，并计算相应的仿射变换矩阵。
计算仿射变换矩阵的核心是仿射变换参数的求解，其实质为一个最小二乘问题，可通过Ordinary Procrustes Analysis求解，即：寻找一个关于平移，旋转，缩放的仿射变换，使得原图中所选取的关键点，经过该变换后，与目标均值人脸中对应关键点的距离最小。
为了在稀疏关键点与均值人脸间进行仿射变换，均值人脸密集关键点中必须包含对应的稀疏关键点，如眼睛，嘴巴，脸颊的点位，而现有人脸关键点公开数据集基本可以满足这个需求，只是可能存在点位数量上的差异，或部分点位局部语义上的偏差。因此，本发明所述的关键点检测方法应用范围广，适用于基本所有的人脸关键点数据库。由于待检测人脸图像的稀疏关键点中不包括额头关键点，因此均值人脸中计算仿射变换矩阵时不包括基于步骤S2～S3生成的均值人脸的额头点位。
具体地，本发明将稀疏关键点与均值人脸中对应的关键点进行仿射计算。如待检测人脸图像中的眼睛、嘴巴、脸颊的点位与均值人脸中的眼睛、嘴巴、脸颊的点位相对应，对待检测人脸图像中的眼睛、嘴巴、脸颊进行仿射，与目标均值人脸中对应的眼睛、嘴巴、脸颊距离最小。
S6、通过所述仿射变换的逆变化将所述均值人脸额头关键点映射到待检测人脸图像，得到待检测人脸图像中的人脸额头关键点。
基于待检测人脸图像与均值人脸间的仿射变换，本发明对均值人脸中的额头关键点坐标进行仿射，以得到待检测人脸图像的相应额头关键点。例如，当均值人脸中额头关键点为5个时，依此对这5个关键点的位置坐标进行仿射变换的逆变化，得到待检测人脸图像中新的额头关键点坐标。
实施例二
如图3所示，本实施例提出了一种生成人脸额头关键点的系统，包括：
均值人脸计算模块，用于计算密集关键点在检测模型输入尺寸下的均值人脸；
通常情况下，人脸关键点检测包括人脸关键点检测、定位或者人脸对齐，是指给定人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。本发明采集一批密集关键点数据作为人脸关键点的标准数据，根据这些人脸关键点数据，以现有关键点的外界矩形框为基准，外扩特定比例，例如0.4，然后作为人脸框。
由于同一人不同仰角度、不同左右摇摆角度下的图像关键点位置不同，不同人不同图像的关键点位置也有差异，因此，本发明在获取到人脸框后，计算得到该人脸框标准下均值人脸，使均值人脸图像同时包含多幅人脸图像的综合信息。此外，人脸在三维空间中的变化分为沿横轴、纵轴和竖轴的平移和旋转，在获取到均值人脸后，对通过几何归一化的方法克服平移和旋转对图像关键点检测的影响，由此生成密集关键点在检测模型输入尺寸下的原始均值人脸。
绘制模块，用于以所述均值人脸中左右脸颊角点间的连线为直径在人脸上半部分绘制半圆；
角点就是极值点，即在某方面属性特别突出的点。本发明选择的是均值人脸中左右脸颊的角点，即左右脸颊中最外侧的关键点。也就是说，均值人脸中的密集关键点需要包括左右脸颊的关键点。而现有人脸关键点公开数据集基本可以满足这个需求，只是可能存在点位数量上的差异，或部分点位局部语义上的偏差。人的脸型在左右脸颊的角点上半部分呈近似半圆的形状，因此，本发明以均值人脸中左右脸颊角点间的连线为直径在人脸上半部分作半圆，即以左右脸颊角点的中心为原点，以这两点距离的一半为半径作半圆。众所周知，上半部分的区域包括了额头的区域，因此，半圆区域包括了额头区域，即包括了额头关键点部分。
均值人脸额头关键点生成模块，用于以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点；
如上所述，半圆包括了额头关键点部分，因此，本发明以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点。例如，间隔15度取一个点，由于左右脸颊的角点为半圆的端点，因此，额头候选关键点的个数为11个。
额头位于人脸的最高位置处，在得出额头候选关键点后，对其进行帅选，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点。例如，选取最上方的5个点为均值人脸的额头关键点。
稀疏关键点检测模块，用于使用现有人脸检测器检测待检测人脸图像的稀疏关键点；
本发明基于稀疏关键点校准实现待检测人脸关键点检测，因此，对于输入的人脸图像，本发明首先检测人脸图像的稀疏关键点。人脸图像可以为BGR图像。对稀疏关键点进行检测，本发明不限定稀疏关键点的个数。例如，四个稀疏关键点包括：左眼中心，右眼中心，左嘴角和右嘴角。本发明采用现有人脸检测器进行检测，例如多任务卷积神经网络(Multi-task convolutional neural network，Mtcnn)。
仿射变换矩阵计算模块，用于基于所述均值人脸、待检测人脸图像的稀疏关键点计算仿射变换矩阵；
本发明基于仿射变换实现基于稀疏关键点的校准。仿射变换就是一种简单的变换，它的变化包括旋转、平移、伸缩，原来的直线仿射变换后还是直线，原来的平行线经过仿射变换之后还是平行线，这就是仿射。仿射变换的矩阵是其次坐标形式的变换矩阵。本发明将稀疏关键点与均值人脸间进行仿射变换，并计算相应的仿射变换矩阵。
计算仿射变换矩阵的核心是仿射变换参数的求解，其实质为一个最小二乘问题，可通过Ordinary Procrustes Analysis求解，即：寻找一个关于平移，旋转，缩放的仿射变换，使得原图中所选取的关键点，经过该变换后，与目标均值人脸中对应关键点的距离最小。
为了在稀疏关键点与均值人脸间进行仿射变换，均值人脸密集关键点中必须包含对应的稀疏关键点，如眼睛，嘴巴，脸颊的点位，而现有人脸关键点公开数据集基本可以满足这个需求，只是可能存在点位数量上的差异，或部分点位局部语义上的偏差。因此，本发明所述的关键点检测方法应用范围广，适用于基本所有的人脸关键点数据库。由于待检测人脸图像的稀疏关键点中不包括额头关键点，因此均值人脸中计算仿射变换矩阵时不包括基于绘制模块及均值人脸额头关键点生成模块生成的均值人脸的额头点位。
具体地，本发明将稀疏关键点与均值人脸中对应的关键点进行仿射计算。如待检测人脸图像中的眼睛、嘴巴、脸颊的点位与均值人脸中的眼睛、嘴巴、脸颊的点位相对应，对待检测人脸图像中的眼睛、嘴巴、脸颊进行仿射，与目标均值人脸中对应的眼睛、嘴巴、脸颊距离最小。
仿射模块，用于通过所述仿射变换的逆变化将所述均值人脸额头关键点映射到待检测人脸图像，得到待检测人脸图像中的人脸额头关键点。
基于待检测人脸图像与均值人脸间的仿射变换，本发明对均值人脸中的额头关键点坐标进行仿射，以得到待检测人脸图像的相应额头关键点。例如，当均值人脸中额头关键点为5个时，依此对这5个关键点的位置坐标进行仿射变换的逆变化，得到待检测人脸图像中新的额头关键点坐标。
由此可知，本发明提供的一种生成人脸额头关键点的方法与系统，基于原有密集关键点生成均值人脸及其近似额头点位，对待检测人脸图像进行稀疏关键点检测，通过仿射逆变换得到其人脸额头关键点，实现了人脸额头关键点的检测，弥补了现有的大多数关键点检测不包括对人脸额头关键点进行检测的缺陷。不需要人工标注额头关键点，全自动化生成，具有快速、鲁棒性高、稳定的特点；对稀疏关键点进行检测，通过仿射变换得到稀疏关键点与标准人脸间的映射关系，使人脸所在的位置和所占的比例更加相近，提高了人脸额头关键点的检测精度；所选取的稀疏关键点，相对人脸框交点来说，有更明确的语义信息，因此，更加统一，即使是不同的数据集，对于这些基准点来说，标注的标准基本是统一的，如眼睛中心、嘴角等。因此，能够比传统的基于人脸框的关键点检测更精确，进一步能够提高额头关键点检测的准确性；减少了关键点检测对于人脸框的依赖，提高了关键点检测的稳定性。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (6)
1.一种生成人脸额头关键点的方法，其特征在于，包括步骤：
S1、计算密集关键点在检测模型输入尺寸下的均值人脸；
S2、以所述均值人脸中左右脸颊角点间的连线为直径在人脸上半部分绘制半圆；
S3、以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点；
S4、使用现有人脸检测器检测待检测人脸图像的稀疏关键点；
S5、基于所述均值人脸、待检测人脸图像的稀疏关键点计算仿射变换矩阵；
S6、通过所述仿射变换的逆变化将所述均值人脸额头关键点映射到待检测人脸图像，得到待检测人脸图像中的人脸额头关键点；
所述仿射变换对所述稀疏关键点进行平移、旋转、缩放，使变换后的稀疏关键点在所述均值人脸中稀疏关键点对应的关键点间的距离最小；
所述步骤S5中的均值人脸、待检测人脸图像的稀疏关键点不包括均值人脸额头关键点。
2.根据权利要求1所述的生成人脸额头关键点的方法，其特征在于，通过Ordinary
ProcrustesAnalysis求解所述仿射变换矩阵的参数。
3.根据权利要求1所述的生成人脸额头关键点的方法，其特征在于，所述稀疏关键点包
括：
左眼中心，右眼中心，左嘴角和右嘴角。
4.一种生成人脸额头关键点的系统，其特征在于，包括：
均值人脸计算模块，用于计算密集关键点在检测模型输入尺寸下的均值人脸；
绘制模块，用于以所述均值人脸中左右脸颊角点间的连线为直径在人脸上半部分绘制半圆；
均值人脸额头关键点生成模块，用于以一定的间隔度数在所述半圆取点作为均值人脸额头候选关键点，选取距离下颚最远的几个候选关键点作为均值人脸额头关键点；
稀疏关键点检测模块，用于使用现有人脸检测器检测待检测人脸图像的稀疏关键点；
仿射变换矩阵计算模块，用于基于所述均值人脸、待检测人脸图像的稀疏关键点计算仿射变换矩阵；
仿射模块，用于通过所述仿射变换的逆变化将所述均值人脸额头关键点映射到待检测人脸图像，得到待检测人脸图像中的人脸额头关键点；
所述仿射变换对所述稀疏关键点进行平移、旋转、缩放，使变换后的稀疏关键点在所述均值人脸中稀疏关键点对应的关键点间的距离最小；
所述仿射变换矩阵计算模块中的均值人脸、待检测人脸图像的稀疏关键点不包括均值人脸额头关键点。
5.根据权利要求4所述的生成人脸额头关键点的系统，其特征在于，通过Ordinary
ProcrustesAnalysis求解所述仿射变换矩阵的参数。
6.根据权利要求4所述的生成人脸额头关键点的系统，其特征在于，所述稀疏关键点包括：
左眼中心，右眼中心，左嘴角和右嘴角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911420695.8A CN111126344B (zh) | 2019-12-31 | 2019-12-31 | 一种生成人脸额头关键点的方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911420695.8A CN111126344B (zh) | 2019-12-31 | 2019-12-31 | 一种生成人脸额头关键点的方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126344A CN111126344A (zh) | 2020-05-08 |
| CN111126344B true CN111126344B (zh) | 2023-08-01 |
Family
ID=70507614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911420695.8A Active CN111126344B (zh) | 2019-12-31 | 2019-12-31 | 一种生成人脸额头关键点的方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126344B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798551B (zh) * | 2020-07-20 | 2024-06-04 | 网易（杭州）网络有限公司 | 虚拟表情生成方法及装置 |
| CN113936292A (zh) * | 2021-09-01 | 2022-01-14 | 北京旷视科技有限公司 | 一种皮肤检测方法、装置、设备及介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463777A (zh) * | 2014-11-11 | 2015-03-25 | 厦门美图之家科技有限公司 | 一种基于人脸的实时景深的方法 |
| CN104504376A (zh) * | 2014-12-22 | 2015-04-08 | 厦门美图之家科技有限公司 | 一种人脸图像的年龄分类方法和系统 |
| WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
| WO2018176958A1 (zh) * | 2017-03-28 | 2018-10-04 | 武汉斗鱼网络科技有限公司 | 一种随图像中关键点移动的自适应贴图方法和系统 |
| CN109033935A (zh) * | 2018-05-31 | 2018-12-18 | 深圳和而泰数据资源与云技术有限公司 | 抬头纹检测方法及装置 |
| CN109255337A (zh) * | 2018-09-29 | 2019-01-22 | 北京字节跳动网络技术有限公司 | 人脸关键点检测方法和装置 |
| CN109359618A (zh) * | 2018-10-30 | 2019-02-19 | 北京市商汤科技开发有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| CN109376712A (zh) * | 2018-12-07 | 2019-02-22 | 广州纳丽生物科技有限公司 | 一种人脸额头关键点的识别方法 |
| CN109492608A (zh) * | 2018-11-27 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109993021A (zh) * | 2017-12-29 | 2019-07-09 | 浙江宇视科技有限公司 | 人脸正脸检测方法、装置及电子设备 |
| CN110020577A (zh) * | 2018-01-10 | 2019-07-16 | 武汉斗鱼网络科技有限公司 | 人脸关键点扩展计算方法、存储介质、电子设备及系统 |
| CN110163832A (zh) * | 2019-05-24 | 2019-08-23 | 北京百度网讯科技有限公司 | 人脸融合方法、装置和终端 |
| WO2019165604A1 (zh) * | 2018-02-28 | 2019-09-06 | 华为技术有限公司 | 一种发际线轮廓的定位方法、装置及计算机可读存储介质 |
| CN110363110A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸正向坐标快速建立方法、装置、储存介质和处理器 |
| CN110363107A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸额头点位快速扩展方法、装置、储存介质和处理器 |
| WO2019200719A1 (zh) * | 2018-04-18 | 2019-10-24 | 太平洋未来科技（深圳）有限公司 | 三维人脸模型生成方法、装置及电子设备 |
-
2019
- 2019-12-31 CN CN201911420695.8A patent/CN111126344B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463777A (zh) * | 2014-11-11 | 2015-03-25 | 厦门美图之家科技有限公司 | 一种基于人脸的实时景深的方法 |
| CN104504376A (zh) * | 2014-12-22 | 2015-04-08 | 厦门美图之家科技有限公司 | 一种人脸图像的年龄分类方法和系统 |
| WO2017026839A1 (ko) * | 2015-08-12 | 2017-02-16 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
| WO2018176958A1 (zh) * | 2017-03-28 | 2018-10-04 | 武汉斗鱼网络科技有限公司 | 一种随图像中关键点移动的自适应贴图方法和系统 |
| CN109993021A (zh) * | 2017-12-29 | 2019-07-09 | 浙江宇视科技有限公司 | 人脸正脸检测方法、装置及电子设备 |
| CN110020577A (zh) * | 2018-01-10 | 2019-07-16 | 武汉斗鱼网络科技有限公司 | 人脸关键点扩展计算方法、存储介质、电子设备及系统 |
| WO2019165604A1 (zh) * | 2018-02-28 | 2019-09-06 | 华为技术有限公司 | 一种发际线轮廓的定位方法、装置及计算机可读存储介质 |
| WO2019200719A1 (zh) * | 2018-04-18 | 2019-10-24 | 太平洋未来科技（深圳）有限公司 | 三维人脸模型生成方法、装置及电子设备 |
| CN109033935A (zh) * | 2018-05-31 | 2018-12-18 | 深圳和而泰数据资源与云技术有限公司 | 抬头纹检测方法及装置 |
| CN109255337A (zh) * | 2018-09-29 | 2019-01-22 | 北京字节跳动网络技术有限公司 | 人脸关键点检测方法和装置 |
| CN109359618A (zh) * | 2018-10-30 | 2019-02-19 | 北京市商汤科技开发有限公司 | 一种图像处理方法及其装置、设备和存储介质 |
| CN109492608A (zh) * | 2018-11-27 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109376712A (zh) * | 2018-12-07 | 2019-02-22 | 广州纳丽生物科技有限公司 | 一种人脸额头关键点的识别方法 |
| CN110163832A (zh) * | 2019-05-24 | 2019-08-23 | 北京百度网讯科技有限公司 | 人脸融合方法、装置和终端 |
| CN110363110A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸正向坐标快速建立方法、装置、储存介质和处理器 |
| CN110363107A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸额头点位快速扩展方法、装置、储存介质和处理器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126344A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020063527A1 (zh) | 基于多特征检索和形变的人体发型生成方法 | |
| Passalis et al. | Using facial symmetry to handle pose variations in real-world 3D face recognition | |
| US7711156B2 (en) | Apparatus and method for generating shape model of object and apparatus and method for automatically searching for feature points of object employing the same | |
| EP3836070A1 (en) | Face pose estimation/three-dimensional face reconstruction method and apparatus, and electronic device | |
| CN103577815B (zh) | 一种人脸对齐方法和系统 | |
| Lemaire et al. | Fully automatic 3D facial expression recognition using differential mean curvature maps and histograms of oriented gradients | |
| CN106203400A (zh) | 一种人脸识别方法及装置 | |
| CN103218609B (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
| JP4414401B2 (ja) | 顔特徴点検出方法および装置並びにプログラム | |
| JP2012160178A (ja) | オブジェクト認識デバイス、オブジェクト認識を実施する方法および動的アピアランスモデルを実施する方法 | |
| JP2011022994A (ja) | パターン処理装置及びその方法、プログラム | |
| CN103093237B (zh) | 一种基于结构化模型的人脸检测方法 | |
| US9202138B2 (en) | Adjusting a contour by a shape model | |
| JP4087953B2 (ja) | パターン認識装置及びその方法 | |
| CN111126344B (zh) | 一种生成人脸额头关键点的方法与系统 | |
| CN105701455A (zh) | 基于asm算法的人脸特征点采集及三维人脸建模方法 | |
| US20140098988A1 (en) | Fitting Contours to Features | |
| Castelan et al. | A coupled statistical model for face shape recovery from brightness images | |
| Bagchi et al. | A robust analysis, detection and recognition of facial features in 2.5 D images | |
| WO2022257456A1 (zh) | 头发信息识别方法、装置、设备及存储介质 | |
| CN111144466B (zh) | 一种图像样本自适应的深度度量学习方法 | |
| Zhang et al. | 3D statistical head modeling for face/head-related product design: a state-of-the-art review | |
| Salah et al. | Registration of three-dimensional face scans with average face models | |
| Chen et al. | Eyes localization algorithm based on prior MTCNN face detection | |
| CN110826501B (zh) | 一种基于稀疏关键点校准的人脸关键点检测方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 2302, 23rd Floor, Building A, Huaxing Times Square, No. 478 Wensan Road, Xihu District, Hangzhou City, Zhejiang Province, 310000 Patentee after: Hangzhou Xiaoying Innovation Technology Co.,Ltd. Address before: 16 / F, HANGGANG Metallurgical Science and technology building, 294 Tianmushan Road, Xihu District, Hangzhou City, Zhejiang Province, 310012 Patentee before: HANGZHOU QUWEI SCIENCE & TECHNOLOGY Co.,Ltd. |