CN108108694A - 一种人脸特征点定位方法及装置 - Google Patents

一种人脸特征点定位方法及装置 Download PDF

Info

Publication number
CN108108694A
CN108108694A CN201711391302.6A CN201711391302A CN108108694A CN 108108694 A CN108108694 A CN 108108694A CN 201711391302 A CN201711391302 A CN 201711391302A CN 108108694 A CN108108694 A CN 108108694A
Authority
CN
China
Prior art keywords
target image
characteristic point
face characteristic
human face
roll angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711391302.6A
Other languages
English (en)
Other versions
CN108108694B (zh
Inventor
赵壁原
肖锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sohu New Media Information Technology Co Ltd
Original Assignee
Beijing Sohu New Media Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sohu New Media Information Technology Co Ltd filed Critical Beijing Sohu New Media Information Technology Co Ltd
Priority to CN201711391302.6A priority Critical patent/CN108108694B/zh
Publication of CN108108694A publication Critical patent/CN108108694A/zh
Application granted granted Critical
Publication of CN108108694B publication Critical patent/CN108108694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Abstract

本申请提供了一种人脸特征点定位方法和装置,该方法包括:从视频中获取当前待处理的一帧目标图像,目标图像中包含人脸图像;获取前一帧图像中人脸的横滚角度,前一帧图像为视频中处于目标图像之前且紧邻目标图像的一帧图像;根据横滚角度,对目标图像进行旋转;对旋转后的目标图像进行人脸特征点定位,得到第一人脸特征点集合,第一人脸特征点集合中包括多个第一人脸特征点;根据横滚角度,分别将每个第一人脸特征点映射到未经旋转的目标图像中,得到目标图像中分别与多个第一人脸特征点具有映射关系的多个第二人脸特征点。本申请的方案可以提高对视频中图像帧进行人脸定位的精准度。

Description

一种人脸特征点定位方法及装置
技术领域
本申请涉及图像处理技术领域,更具体地说,涉及一种人脸特征点定位方法及装置。
背景技术
随着计算机视觉领域的技术的发展,人脸特征点定位的技术日趋完善。人脸特征点定位已经被应用到诸多领域中。
然而,目前的人脸检测以及特征点定位只能适用于单帧图像,对于视频等包含多帧图像场景,由于多帧图像之间人脸姿态存在较大变化,通常的特征点定位方法均无法准确定位各帧图像中人脸的特征点。
发明内容
有鉴于此,本申请的目的在于提供一种人脸特征点定位方法及装置,以在多帧图像之间存在人脸姿态较大变化的情况下,提高人脸特征点定位的准确性。
为实现上述目的,本申请提供如下技术方案:一种人脸特征点定位方法,包括:
从视频中获取当前待处理的一帧目标图像,所述目标图像中包含人脸图像;
获取前一帧图像中人脸的横滚角度,所述前一帧图像为所述视频中处于所述目标图像之前且紧邻所述目标图像的一帧图像;
根据所述横滚角度,对所述目标图像进行旋转;
对旋转后的目标图像进行人脸特征点定位,得到第一人脸特征点集合,所述第一人脸特征点集合中包括多个第一人脸特征点;
根据所述横滚角度,分别将每个所述第一人脸特征点映射到未经旋转的所述目标图像中,得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点。
优选的,在所述根据所述横滚角度,对所述目标图像进行旋转之前,还包括:
判断所述横滚角度是否处于预设的角度范围内;
当所述横滚角度未处于所述预设的角度范围内时,执行所述根据所述横滚角度,对所述目标图像进行旋转;
当所述横滚角度处于所述预设的角度范围内时,从所述目标图像中定位出人脸的特征点。
优选的,所述根据所述横滚角度,分别将每个所述第一人脸特征点映射到未经旋转的所述目标图像中,得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点,包括:
确定与所述横滚角度对应的映射矩阵;
针对每个第一人脸特征点,将所述第一人脸特征点与所述映射矩阵相乘,得到所述第一人脸特征点映射到所述目标图像中所得到的第二人脸特征点。
优选的,在所述得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点之后,还包括:
当所述目标图像为被缩放的图像时,依据所述目标图像的缩放比,对所述多个第二人脸特征点进行缩放处理,并将缩放处理后的多个第二人脸特征点作为所述目标图像中人脸的特征点。
优选的,还包括:
确定当前待处理的所述目标图像中人脸的横滚角度;
存储所述目标图像中人脸的横滚角度。
另一方面,本申请还提供了一种人脸特征点定位装置,包括:
图像获取单元,用于从视频中获取当前待处理的一帧目标图像,所述目标图像中包含人脸图像;
姿态获取单元,用于获取前一帧图像中人脸的横滚角度,所述前一帧图像为所述视频中处于所述目标图像之前且紧邻所述目标图像的一帧图像;
图像旋转单元,用于根据所述横滚角度,对所述目标图像进行旋转;
第一点定位单元,用于对旋转后的目标图像进行人脸特征点定位,得到第一人脸特征点集合,所述第一人脸特征点集合中包括多个第一人脸特征点;
特征点映射单元,用于根据所述横滚角度,分别将每个所述第一人脸特征点映射到未经旋转的所述目标图像中,得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点。
优选的,还包括:
姿态判断单元,用于在所述图像旋转单元根据所述横滚角度,对所述目标图像进行旋转之前,判断所述横滚角度是否处于预设的角度范围内;
所述图像旋转单元具体为,用于当所述姿态判断单元判断出所述横滚角度未处于所述预设的角度范围内时,根据所述横滚角度,对所述目标图像进行旋转;
第二点定位单元,用于当所述横滚角度处于所述预设的角度范围内时,从所述目标图像中定位出人脸的特征点。
优选的,所述特征点映射单元,包括:
矩阵匹配子单元,用于确定与所述横滚角度对应的映射矩阵;
映射子单元,用于针对每个第一人脸特征点,将所述第一人脸特征点与所述映射矩阵相乘,得到所述第一人脸特征点映射到所述目标图像中所得到的第二人脸特征点。
优选的,还包括:
特征点缩放单元,在所述特征点映射单元得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点之后,当所述目标图像为被缩放的图像时,依据所述目标图像的缩放比,对所述多个第二人脸特征点进行缩放处理,并将缩放处理后的多个第二人脸特征点作为所述目标图像中人脸的特征点。
优选的,还包括:
姿态估计单元,用于依据所述多个第二人脸特征点,确定当前待处理的所述目标图像中人脸的横滚角度;
姿态存储单元,用于存储所述目标图像中人脸的横滚角度。
从上述技术方案可以看出,在从视频中获取到待处理的目标图像之后,会根据该目标图像的前一帧图像中人脸的横滚角度进行人脸姿态变化估计,这样,依据该前一帧图像中人脸的横滚角度对该目标图像进行旋转,可以抵消由于人脸歪头而导致目标图像中人脸的偏向,使得旋转后的目标图像中人脸的朝向为正向,这样,有利于从旋转后的目标图像中较为精准的提取出人脸特征点,从而可以减少由于人脸歪头等姿态变化而导致提取出的特征点不准确的问题,在此基础上,将从旋转后的目标图像中提取出的人脸特征点映射到未经旋转的目标图像中,就可以得到目标图像中人脸特征点的坐标,从而可以提高目标图像中定位出的人脸特征点的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请公开的一种人脸特征点定位方法一个实施例的流程图;
图2为本申请中人脸围绕不同轴向旋转所形成的不同种旋转角的示意图;
图3为本申请公开的一种人脸特征点定位方法又一个实施例的流程图;
图4为本申请公开的一种人脸特征点定位装置一个实施例的组成结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
如图1所示,为本申请公开的一种人脸特征点定位方法一个实施例的流程图,本方法可以应用于任意具备图像处理的计算机设备、服务器或者分布式计算系统中,本实施例的方法可以包括:
S101,从视频中获取当前待处理的一帧目标图像。
可以理解的是,本申请实施例是针对人脸特征点的提取,因此,视频中待处理的目标图像中包含人脸图像。
其中,视频可以有多帧图像构成,为了便于区分,将当前待进行人脸特征点定位的图像称为目标图像。
S102,获取前一帧图像中人脸的横滚角度。
其中,前一帧图像为视频中处于该目标图像之前且紧邻该目标图像的一帧图像。如,目标图像为视频中第2帧图像,则该前一帧图像为第1帧图像。
其中,该前一帧图像中人脸的横滚角度可以是在处理前一帧图像的过程中确定并存储的。如,该步骤S102可以获取存储的该前一帧图像中人脸的横滚角度。
其中,人脸的偏转方向可以有多种情况,相应的该横滚角度也可以有多种情况。如,人脸的俯仰角pitch的角度值,人脸的航向角yaw的角度值,以及人脸的横滚角的角度值。其中,俯仰角是指,正脸情况下低头、仰头的角度大小;航向角理解就是表示侧脸程度大小的值;横滚角通俗理解就是表示歪头角度大小的值。如,参见图2,其示出了人脸环绕不同轴向旋转所对应的不同偏转角。如,以垂直与人脸的轴向为Z轴时,则用户做歪头时,人脸实际上就是环绕Z轴旋转,而环绕Z轴旋转所称的角度称为横滚角。
可以理解的是,如果将人脸不发生任何偏转的情况下所得到的人脸图像称为正向人脸图像,则可以预置一个正向人脸图像,并检测该目标图像中的人脸相对于预置的正向人脸图像的偏转角度,从而可以得到人脸的横滚角度。
S103,根据该横滚角度,对该目标图像进行旋转。
其中,依据横滚角度对该目标图像进行旋转的方式可以有多种,如,就可以利用opencv库对图像进行了旋转,对于具有如何实现对目标图像的旋转本申请实施例不作限制。
可以理解的是,横滚角度可以为正值或负值,根据该横滚角度可以确定出目标图像所需旋转的方向以及角度。
如,横滚角度表征人脸向右侧歪头时,则可以依据该横滚角度,将人脸向左侧旋转,以将目标图像中的人脸旋转为正向人脸。举例说明,假设人脸向左歪头,则横滚角度为正值,那么在横滚角度为-20度,则可以将该目标图像向右旋转-20度。
当然,以上仅仅是为了便于理解而举出的一个简单例子,在实际应用中,根据该横滚角度旋转该目标图像时,需要处理的数据可能会很多,如,需要预先设定横滚角度与该目标图像旋转角度之间的映射关系,然后根据该映射关系,确定目标图像的旋转方式以及旋转角度等等,然后再旋转该目标图像,本申请对于如何依据该横滚角度将目标图像中的人脸旋转为正向人脸的具体方式不加以限制。
S104,对旋转后的目标图像进行人脸特征点定位,得到第一人脸特征点集合。
其中,第一人脸特征点集合中包括多个第一人脸特征点。
为了便于区分,将从旋转后的目标图像中定位出的人脸特征点称为第一人脸特征点。在本申请实施例中人脸特征点可以人脸面部图像上一些特定的点,如鼻尖、嘴角、眼角等特定位置上的点。
可以理解的是,由于目标图像中人脸存在偏转,而将目标图像进行旋转之后,由于旋转后的目标图像中人脸不存在偏转或者偏转角度较小,在该种情况下,对旋转后的目标图像中的人脸进行特征点定位,可以使得特征点定位的精准度相对较高。
S105,根据该横滚角度,分别将每个第一人脸特征点映射到未经旋转的该目标图像中,得到目标图像中分别与该多个第一人脸特征点具有映射关系的多个第二人脸特征点。
其中,该多个第二人脸特征点就是该目标图像中的人脸特征点。
可以理解的是,从旋转后的目标图像中定位出的人脸特征点并不是原始的该目标图像中特征点的坐标,为了能够确定出旋转后的目标图像中的人脸特征点对应到原始的该目标图像中的坐标点,需要将第一人脸特征点映射到该目标图像中,以从目标图像中找到该第一人脸特征点所映射到的第二人脸特征点,而第二人脸特征点就是该目标图像中人脸的特征点坐标。
其中,由步骤S103可知,第一人脸特征点是将目标图像旋转之后所提取出的特征点的坐标,而由于目标图像与旋转后的目标图像上的点之间具有特定的映射关系,该映射关系与该横滚角度或者说该目标图像的旋转角度有关,因此,根据该横滚角度,可以确定出该第一人脸特征点如果映射到该目标图像中所对应的点的坐标,该点的坐标就是第二人脸特征点。
可以理解的是,由于第一人脸特征点为经过旋转后的目标图像中的人脸特征点,为了确定出未经旋转的该目标图像中人脸特征点的坐标位置,需要对该第一人脸特征点进行旋转,以得到该第一人脸特征点对应的第二人脸特征点。
作为一种可选方式,根据该横滚角,可以确定与该横滚角对应的映射矩阵,如,根据该横滚角度,计算一个处于表征点变换的映射矩阵。然后针对每个第一人脸特征点,将该第一人脸特征点与该映射矩阵相乘,可以得到该第一人脸特征点映射到该目标图像中所得到的第二人脸特征点。
当然,该多个第一人脸特征点也可以构成一个矩阵,并将该多个人脸特征点构成的矩阵与该映射矩阵相乘,从而得到多个第二人脸特征点构成的矩阵。
具体的,该映射公式可以为:
B=A*C (公式一);
其中,A为第一人脸特征点或者多个第一人脸特征点构成的矩阵,C映射矩阵,该映射矩阵为2*2的矩阵,且映射矩阵中包含角度变换信息,B为第二人脸特征点或者多个第二人脸特征点构成的矩阵。
可以理解的是,由于视频数据可能经过压缩等,从视频中获取到的目标图像有可能是经过压缩的,当该目标图像为被缩放的图像时,还需要对第一人脸特征点进行缩放,才可以最终得到未经缩放的目标图像上的人脸特征点,因此,在将第一人脸特征点映射到第二人脸特征点之后,还需要进一步对第二人脸特征点进行缩放。具体的,依据该目标图像的缩放比,对该多个第二人脸特征点进行缩放处理,并将缩放处理后的多个第二人脸特征点作为所述目标图像中人脸的特征点。
特别的,当目标图像为缩放后的图像时,也可以利用公式一,直接对第一人脸特征点进行变化,以得到第二人脸特征点,不过在该公式一种该映射矩阵实际上是一个变换矩阵,在该变换矩阵中除了包含角度变换信息之外,还可以有尺度变换信息。
可见,在本申请实施例中,在从视频中获取到待处理的目标图像之后,会根据该目标图像的前一帧图像中人脸的横滚角度进行人脸姿态变化估计,这样,依据该前一帧图像中人脸的横滚角度对该目标图像进行旋转,可以抵消由于人脸歪头而导致目标图像中人脸的偏向,使得旋转后的目标图像中人脸的朝向为正向,这样,有利于从旋转后的目标图像中较为精准的提取出人脸特征点,从而可以减少由于人脸歪头等姿态变化而导致提取出的特征点不准确的问题,在此基础上,将从旋转后的目标图像中提取出的人脸特征点映射到未经旋转的目标图像中,就可以得到目标图像中人脸特征点的坐标,从而可以提高目标图像中定位出的人脸特征点的准确度。
可以理解的是,在以上实施例中,为了能够为目标图像之后的下一帧图像的处理提供依据,还可以确定当前待处理的该目标图像中人脸的横滚角度;并存储目标图像中人脸的横滚角度。
其中,确定目标图像中人脸的横滚角度的方式可以有多种,为了提高横滚角度的准确性,可以依据该目标图像中确定出的人脸特征点,即依据该多个第二人脸特征点,确定出目标图像中人脸的横滚角度。如,依据该多个第二人脸特征点,与正向人脸图像进行比对,从而确定出该目标图像中人脸的横滚角度。
在一种实现方式中,可以先根据前一帧图像人脸的横滚角度,以及预置的正向人脸模型,预估一相似变化矩阵,然后,根据该目标图像的多个第二人脸特征点,以及该相似变换矩阵,确定出该目标图像中人脸的横滚角度。计方法为计算平均形状和当前形状的相似变换矩阵,依据相似变换矩阵可以算得旋转角度。
其中,相似变换矩阵M,矩阵M可以通过如下公式二确定:
Min|E-F*M|2 (公式二)
其中,E为前一帧图像的横滚角度所表征的形状矩阵,F为预置的正向人脸模型所对应的形状矩阵。通过计算得到使得公式二最小的值,就可以得到相似变换矩阵M。利用M很容易确定旋转角度。
当然,本申请对于确定人脸的横滚角度的具体方式不作限制。
可以理解的是,一般的特征点定位算法都具有一定的容忍性,即,在人脸的横滚角度处于特定角度范围内时,仍可以精准确定出图像中人脸的特征点,因此,为了降低旋转图像等处理而带来的数据处理量,本申请还可以根据特征点定位算法(或者说,特征点定位模型)所能允许的横滚角度的最大角度范围,预设一个角度范围,相应的,当上一帧图像的横滚角度处于该预设的角度范围内时,则可以预估出当前目标图像中人脸的偏转角度较小,在该种情况下,则无需旋转该目标图像,便可以直接从目标图像中定位人脸的特征点;相反的,如果上一帧图像的横滚角度未处于该预设的角度范围内时,则可以预估出当前目标图像中人脸的偏转角度较大,如果直接从该目标图像中定位人脸特征点,则会使得定位出的人脸特征点的准确度较低,因此,需要对该目标图像进行旋转之后,再从旋转后的目标图像中进行人脸特征点的定位,然后再将定位出的人脸特征点映射到该目标图像中。
可以理解的是,考虑到视频中第一帧图像不存在前一帧图像,因此,对应视频中第一帧图像,则可以直接从该第一帧图像中定位出人脸的特征点,并依据人脸的特征点估计该第一帧图像中人脸的横滚角度,以为第二帧图像是否旋转以及如何定位特征点提供依据。
如,参见图3,其示出了本申请一种人脸特征点定位方法又一个实施例的流程示意图,本实施例的方法可以包括:
S301,从视频中获取当前待处理的目标图像;
该目标图像中包含人脸图像。
S302,判断该目标图像是否为该视频的第一帧图像,如果是,则执行步骤S303;如果否,则执行步骤S305。
S303,从该目标图像中定位出人脸特征点。
S304,依据该目标图像中的人脸特征点,估计该目标图像中人脸的横滚角度,并存储该目标图像中人脸的横滚角度。
如果是第一帧图像,或者是目标图像的前一帧图像的横滚角度未超出预设的角度范围,则无需旋转该目标图像,而直接从该目标图像中定位出人脸的特征点。同时,为了能够为该目标图像的下一帧图像的人脸的横滚角度提供依据,需要估计出该目标图像中人脸的横滚角度。
S305,获取存储的该目标图像的前一帧图像中人脸的横滚角度。
如,第二帧图像需要获取第一帧图像中人脸的横滚角度;第三帧图像需要获取第二帧图像中人脸的横滚角度,依次类推。
S306,判断该横滚角度是否超出预设的角度范围,如果是,则执行步骤S307;如果否,则执行步骤S303。
由于相邻两帧图像中人脸的姿态变化较小,如果上一帧图像中人脸的横滚角度小于预设的角度范围,则可以预测出该目标图像中人脸的横滚角度也不会太大,仍处于该预设的角度范围,所以人脸特征点定位算法或者定位模型,仍可以准确定位该目标图像中的人脸特征点,在该种情况下,则可以依据步骤S303的方式,直接从该目标图像中提取出人脸的特征点。相反的,则需要对目标图像进行旋转。
S307,根据该前一帧图像中人脸的横滚角度,对该目标图像进行旋转。
S308,对旋转后的目标图像进行人脸特征点定位,得到第一人脸特征点集合。
其中,第一人脸特征点集合中包括多个第一人脸特征点。
S309,根据该横滚角度,确定映射矩阵,并通过该映射矩阵将该多个第一人脸特征点分别映射为未经旋转的该目标图像中的多个第二人脸特征点,将该多个第二人脸特征点确定为该目标图像的人脸特征点。
S310,依据该目标图像的多个第二人脸特征点,估计该目标图像中人脸的横滚角度,并存储该目标图像中人脸的横滚角度。
以上步骤S307到S310可以参见前面实施例的相关介绍,在此不再赘述。
可以理解的是,当目标图像存在缩放时,该步骤S309中确定出的映射矩阵中可以包含尺度缩放信息,以通过该映射矩阵对该第一人脸特征点进行缩放,具体可以参见前面相关介绍,在此不再赘述。
对应本申请的一种人脸特征点定位方法,本申请还提供了一种人脸特征点定位装置。如,参见图4,其示出了本申请一种人脸特征点定位装置一个实施例的组成结构示意图,本实施例的装置可以包括:
图像获取单元401,用于从视频中获取当前待处理的一帧目标图像,所述目标图像中包含人脸图像;
姿态获取单元402,用于获取前一帧图像中人脸的横滚角度,所述前一帧图像为所述视频中处于所述目标图像之前且紧邻所述目标图像的一帧图像;
图像旋转单元403,用于根据所述横滚角度,对所述目标图像进行旋转;
第一点定位单元404,用于对旋转后的目标图像进行人脸特征点定位,得到第一人脸特征点集合,所述第一人脸特征点集合中包括多个第一人脸特征点;
特征点映射单元405,用于根据所述横滚角度,分别将每个所述第一人脸特征点映射到未经旋转的所述目标图像中,得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点。
在一种实现方式中,该装置还可以包括:
姿态判断单元,用于在所述图像旋转单元根据所述横滚角度,对所述目标图像进行旋转之前,判断所述横滚角度是否处于预设的角度范围内;
所述图像旋转单元具体为,用于当所述姿态判断单元判断出所述横滚角度未处于所述预设的角度范围内时,根据所述横滚角度,对所述目标图像进行旋转;
第二点定位单元,用于当所述横滚角度处于所述预设的角度范围内时,从所述目标图像中定位出人脸的特征点。
在以上装置实施例的基础上,所述特征点映射单元,可以包括:
矩阵匹配子单元,用于确定与所述横滚角度对应的映射矩阵;
映射子单元,用于针对每个第一人脸特征点,将所述第一人脸特征点与所述映射矩阵相乘,得到所述第一人脸特征点映射到所述目标图像中所得到的第二人脸特征点。
在以上装置实施例的基础上,该装置还可以包括:
特征点缩放单元,在所述特征点映射单元得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点之后,当所述目标图像为被缩放的图像时,依据所述目标图像的缩放比,对所述多个第二人脸特征点进行缩放处理,并将缩放处理后的多个第二人脸特征点作为所述目标图像中人脸的特征点。
在一种实现方式中,该装置还包括:
姿态估计单元,用于依据所述多个第二人脸特征点,确定当前待处理的所述目标图像中人脸的横滚角度;
姿态存储单元,用于存储所述目标图像中人脸的横滚角度。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种人脸特征点定位方法,其特征在于,包括:
从视频中获取当前待处理的一帧目标图像,所述目标图像中包含人脸图像;
获取前一帧图像中人脸的横滚角度,所述前一帧图像为所述视频中处于所述目标图像之前且紧邻所述目标图像的一帧图像;
根据所述横滚角度,对所述目标图像进行旋转;
对旋转后的目标图像进行人脸特征点定位,得到第一人脸特征点集合,所述第一人脸特征点集合中包括多个第一人脸特征点;
根据所述横滚角度,分别将每个所述第一人脸特征点映射到未经旋转的所述目标图像中,得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点。
2.根据权利要求1所述的人脸特征点定位方法,其特征在于,在所述根据所述横滚角度,对所述目标图像进行旋转之前,还包括:
判断所述横滚角度是否处于预设的角度范围内;
当所述横滚角度未处于所述预设的角度范围内时,执行所述根据所述横滚角度,对所述目标图像进行旋转;
当所述横滚角度处于所述预设的角度范围内时,从所述目标图像中定位出人脸的特征点。
3.根据权利要求1或2所述的人脸特征点定位方法,其特征在于,所述根据所述横滚角度,分别将每个所述第一人脸特征点映射到未经旋转的所述目标图像中,得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点,包括:
确定与所述横滚角度对应的映射矩阵;
针对每个第一人脸特征点,将所述第一人脸特征点与所述映射矩阵相乘,得到所述第一人脸特征点映射到所述目标图像中所得到的第二人脸特征点。
4.根据权利要求1或2所述的人脸特征点定位方法,其特征在于,在所述得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点之后,还包括:
当所述目标图像为被缩放的图像时,依据所述目标图像的缩放比,对所述多个第二人脸特征点进行缩放处理,并将缩放处理后的多个第二人脸特征点作为所述目标图像中人脸的特征点。
5.根据权利要求1或2所述的人脸特征点定位方法,其特征在于,还包括:
确定当前待处理的所述目标图像中人脸的横滚角度;
存储所述目标图像中人脸的横滚角度。
6.一种人脸特征点定位装置,其特征在于,包括:
图像获取单元,用于从视频中获取当前待处理的一帧目标图像,所述目标图像中包含人脸图像;
姿态获取单元,用于获取前一帧图像中人脸的横滚角度,所述前一帧图像为所述视频中处于所述目标图像之前且紧邻所述目标图像的一帧图像;
图像旋转单元,用于根据所述横滚角度,对所述目标图像进行旋转;
第一点定位单元,用于对旋转后的目标图像进行人脸特征点定位,得到第一人脸特征点集合,所述第一人脸特征点集合中包括多个第一人脸特征点;
特征点映射单元,用于根据所述横滚角度,分别将每个所述第一人脸特征点映射到未经旋转的所述目标图像中,得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点。
7.根据权利要求6所述的人脸特征点定位装置,其特征在于,还包括:
姿态判断单元,用于在所述图像旋转单元根据所述横滚角度,对所述目标图像进行旋转之前,判断所述横滚角度是否处于预设的角度范围内;
所述图像旋转单元具体为,用于当所述姿态判断单元判断出所述横滚角度未处于所述预设的角度范围内时,根据所述横滚角度,对所述目标图像进行旋转;
第二点定位单元,用于当所述横滚角度处于所述预设的角度范围内时,从所述目标图像中定位出人脸的特征点。
8.根据权利要求6或7所述的人脸特征点定位装置,其特征在于,所述特征点映射单元,包括:
矩阵匹配子单元,用于确定与所述横滚角度对应的映射矩阵;
映射子单元,用于针对每个第一人脸特征点,将所述第一人脸特征点与所述映射矩阵相乘,得到所述第一人脸特征点映射到所述目标图像中所得到的第二人脸特征点。
9.根据权利要求6或7所述的人脸特征点定位装置,其特征在于,还包括:
特征点缩放单元,在所述特征点映射单元得到所述目标图像中分别与所述多个第一人脸特征点具有映射关系的多个第二人脸特征点之后,当所述目标图像为被缩放的图像时,依据所述目标图像的缩放比,对所述多个第二人脸特征点进行缩放处理,并将缩放处理后的多个第二人脸特征点作为所述目标图像中人脸的特征点。
10.根据权利要求6或7所述的人脸特征点定位装置,其特征在于,还包括:
姿态估计单元,用于依据所述多个第二人脸特征点,确定当前待处理的所述目标图像中人脸的横滚角度;
姿态存储单元,用于存储所述目标图像中人脸的横滚角度。
CN201711391302.6A 2017-12-21 2017-12-21 一种人脸特征点定位方法及装置 Active CN108108694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711391302.6A CN108108694B (zh) 2017-12-21 2017-12-21 一种人脸特征点定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711391302.6A CN108108694B (zh) 2017-12-21 2017-12-21 一种人脸特征点定位方法及装置

Publications (2)

Publication Number Publication Date
CN108108694A true CN108108694A (zh) 2018-06-01
CN108108694B CN108108694B (zh) 2020-09-29

Family

ID=62211487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711391302.6A Active CN108108694B (zh) 2017-12-21 2017-12-21 一种人脸特征点定位方法及装置

Country Status (1)

Country Link
CN (1) CN108108694B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147708A (zh) * 2018-10-30 2019-08-20 腾讯科技(深圳)有限公司 一种图像数据处理方法和相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1811793A (zh) * 2006-03-02 2006-08-02 复旦大学 一种人脸特征点自动定位方法
US20090220157A1 (en) * 2008-02-29 2009-09-03 Canon Kabushiki Kaisha Feature point location determination method and apparatus
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN105320954A (zh) * 2014-07-30 2016-02-10 北京三星通信技术研究有限公司 人脸认证装置和方法
CN106650682A (zh) * 2016-12-29 2017-05-10 Tcl集团股份有限公司 一种人脸追踪的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1811793A (zh) * 2006-03-02 2006-08-02 复旦大学 一种人脸特征点自动定位方法
US20090220157A1 (en) * 2008-02-29 2009-09-03 Canon Kabushiki Kaisha Feature point location determination method and apparatus
CN104008370A (zh) * 2014-05-19 2014-08-27 清华大学 一种视频人脸识别方法
CN105320954A (zh) * 2014-07-30 2016-02-10 北京三星通信技术研究有限公司 人脸认证装置和方法
CN106650682A (zh) * 2016-12-29 2017-05-10 Tcl集团股份有限公司 一种人脸追踪的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147708A (zh) * 2018-10-30 2019-08-20 腾讯科技(深圳)有限公司 一种图像数据处理方法和相关装置
CN110147708B (zh) * 2018-10-30 2023-03-31 腾讯科技(深圳)有限公司 一种图像数据处理方法和相关装置

Also Published As

Publication number Publication date
CN108108694B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
US11748906B2 (en) Gaze point calculation method, apparatus and device
CN104463108B (zh) 一种单目实时目标识别及位姿测量方法
WO2019170166A1 (zh) 深度相机标定方法以及装置、电子设备及存储介质
US8571258B2 (en) Method of tracking the position of the head in real time in a video image stream
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
WO2017186016A1 (zh) 图像形变处理的方法和装置、计算机存储介质
CN109961055A (zh) 人脸关键点检测方法、装置、设备及存储介质
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
CN103617615A (zh) 径向畸变参数获取方法及获取装置
WO2023093739A1 (zh) 一种多视图三维重建的方法
US11373329B2 (en) Method of generating 3-dimensional model data
CN112766027A (zh) 图像处理方法、装置、设备及存储介质
CN108073855A (zh) 一种人脸表情的识别方法及系统
CN112101247B (zh) 一种人脸姿态估计方法、装置、设备及存储介质
CN109740659A (zh) 一种图像匹配方法及装置、电子设备、存储介质
CN111415420A (zh) 空间信息确定方法、装置及电子设备
CN108305321A (zh) 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置
CN105915885A (zh) 鱼眼图像的3d交互显示方法和系统
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN111681302A (zh) 一种3d虚拟形象的生成方法、装置、电子设备及存储介质
CN111460937B (zh) 脸部特征点的定位方法、装置、终端设备及存储介质
CN108108694A (zh) 一种人脸特征点定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant