CN112487993A - 改进型级联回归人脸特征点定位算法 - Google Patents

改进型级联回归人脸特征点定位算法 Download PDF

Info

Publication number
CN112487993A
CN112487993A CN202011386408.9A CN202011386408A CN112487993A CN 112487993 A CN112487993 A CN 112487993A CN 202011386408 A CN202011386408 A CN 202011386408A CN 112487993 A CN112487993 A CN 112487993A
Authority
CN
China
Prior art keywords
algorithm
regression
human face
shape
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011386408.9A
Other languages
English (en)
Inventor
代少升
黄涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011386408.9A priority Critical patent/CN112487993A/zh
Publication of CN112487993A publication Critical patent/CN112487993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明申请保护一种改进型级联回归人脸特征点定位算法，本算法属于计算机视觉技术领域。本算法对传统的级联回归技术的初始化和回归进行有效的改进，使用领域(5点坐标)来生成投影的初始形状，并进行微调、矫正，这大大提高了基于级联回归算法的性能；在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度，大大减小了回归模型构建中的形状方差，从而使学习的回归模型对形状变化有更好的鲁棒性。与传统的级联回归算法相比，改进后的级联回归人脸特征点定位算法的鲁棒性更高，在计算机视觉技术领域中更具实际应用价值。

Description

改进型级联回归人脸特征点定位算法
技术领域
本发明旨在设计一种改进型级联回归人脸特征点定位算法，该算法通过对传统的级联回归算法进行改进，克服了由于较大遮挡和姿态变化导致人脸对齐失败的问题，从而显著提升了基于级联回归算法的性能。
技术背景
人脸对齐是计算机视觉领域的热点之一。人脸对齐是指面部特征点(例如眉毛、眼睛、鼻尖和嘴角)的定位。高效的人脸对齐通常被视为许多视觉任务的预处理步骤，例如人脸识别、表情分析、面部化妆和三维人脸建模等。随着多媒体技术的快速发展及普及，高效的人脸对齐在多媒体应用中显得至关重要。
近年来，人脸特征点定位发展迅速，特别是级联回归模型在人脸特征点定位领域的应用，这一应用的使用在对于正脸或接近正脸的人脸图片特征点定位中取得了良好的效果。当前，用于人脸特征点定位的算法学习经历了从图像外观到最终形状的特征映射函数的发展过程。经典的主动外观模型(AAM)利用当前外观估计值与目标图像之间的差异来驱动优化问题，然而，对于有遮挡和大姿态变化的图像，AAM是不可行的。为解决这一问题，提出了一种快速的AAM人脸对齐方法。xiang和De la Torre提出了一种基于尺度不变特征变换(SIFT)的有监督下降算法来求解非线性最小二乘问题，并在人脸跟踪中取得了良好的效果。由于在遮挡区域提取的特征描述子在每次迭代时都会对人脸形状的更新产生很大的影响，这将导致提取的形状远离真正的坐标位置，因此上述算法可能难以处理复杂的场景，并且无法准确预测坐标。由此，相继提出了一种新的级联形状回归(CSR)算法，CSR算法利用图像特征以级联方式对人脸点进行估计，在人脸对齐训练和测试中具有很高的效率。Kazemi和Sullivan通过使用一组梯度回归树来检测坐标，Ren等人进一步改进了该算法，并设计了用于形状回归的局部二元特征。
上述大多数算法都是从一个平均形状开始，迭代优化人脸形状，然而，如果初始化不好或错误，基于回归的算法通常会陷入局部最优。同时，由于较大遮挡和姿态变化会导致人脸对齐失败，本发明针对这种问题，提出了一种改进型级联回归初始化算法。
发明内容
针对由于较大遮挡和姿态变化会导致人脸对齐失败的问题，本发明设计一种改进型人脸特征点定位算法。
本发明的技术方案是：大多数传统的回归算法通常使用平均形状作为初始化，但由于较大遮挡，初始不当可能会导致人脸对齐失败。为此我们提出一种投影映射初始形状方法。基于可以通过相似人脸的线性组合来近似人脸，本发明利用一组稀疏的点通过映射得到人脸坐标，这些稀疏点集的信息可以用来生成高质量的初始形状，从而减少了人脸特征点定位的误差。因此，首先通过JDA(Joint detection and alignment)人脸检测器获得5个关键点：两个瞳孔、一个鼻尖和两个嘴角，再通过五个关键点与标准模板信息估计相似变换参数(旋转、平移和缩放)求得对应的68点坐标，在本发明中加入了人脸坐标微调算法用于形状微调和最终初始化。针对人脸姿态变化较大引起对齐失败问题，本发明在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度。根据初始化得到的68个关键点预测人脸视图(左、前、右)，然后选择对应的视图模板，最后使用多视角级联回归算法来完成人脸面部形状定位。与传统的使用平均形状作为初始化的算法相比，本发明具有以下优点：
1：5点集的平均误差低于68点集，更容易逼近真实人脸。
2：5点集是人脸最突出的点，即使在遮挡、姿势和表情的变化中也能获得良好的效果。
3：本发明采用多视角级联回归方法，我们将人脸视图分为正面(-15° -15°)、左侧(-30°-0°)、右侧(0°-30°)三部分，克服因偏转角度太大而导致回归失败的问题。
附图说明
图1是改进型多视角级联回归算法结构框图。
图2是图1中视图形状初始化。
图3是人脸68特征点视图。
图4是算法效果对比图。
具体实施方案
基于回归的人脸对齐算法通过迭代更新初始形状来预测人脸的坐标，该算法是学习回归函数，该函数直接将图像外观映射到目标输出。初始形状的质量对最终对准精度具有重要影响。该算法通常使用平均人脸作为初始形状，或这在测试过程中从训练图像中随机选则形状。由于较大的遮挡和姿态变化，不良的初始形状可能会使人脸对齐达到局部最优。而这些稀疏点集(5点坐标)是人脸上最突出的点，即使在遮挡、姿势和表情的变化中也能获得良好的表现，所以这5个特征点可以近似人脸面部形状和姿势。
下面结合附图和具体实例对本发明的系统实现方法进行详细描述：
本发明提出的算法结构框图如图1所示，首先通过JDA人脸检测器识别人脸，并返回5点坐标：两个瞳孔、一个鼻尖和两个嘴角。然后根据5点坐标与标准模板信息求得相似变换参数(旋转、平移和缩放)，通过相似变换参数得到对应的68点坐标，具体的公式推导如下：
三维空间坐标经过旋转平移压缩后投影到二维空间，可以看作是一个信息压缩的过程，其数学表达式为：
S_3D_5*R＝S_2D_5 (1)
其中S_3D_5是一个5x3的矩阵，表示三维空间标准模型中5的点坐标集， R表示包含旋转和平移信息的投影矩阵，S_2D_5是一个5x2的矩阵，表示通过 JDA返回的5点坐标集。因为只有方阵才可能具有特征值，对于实际遇到的一些最小二乘问题，往往是长方阵，为了确保方程有解，公式(1)两边同时乘以 S_3D_5矩阵的转置，即：
S_3D_5T*S_3D_5*R＝S_3D_5T*S_2D_5 (2)
通过移项最终得到R的表达式为：
R＝(S_3D_5T*S_3D_5)T*S_3D_5T*S_2D_5 (3)
已知三维模型空间与二维空间之间的投影关系，故二维空间下5点坐标集对应的68点坐标集为：
S_2D_68＝S_3D_68*R (4)
其中，S_3D_68是一个68x3的矩阵，表示三维空间模型中68点坐标集， S_2D_68是一个68x2的矩阵，表示二维下的68点坐标集，也就是我们需要的人脸初始坐标集，R为投影矩阵。
接下来以眼睛处的点对初始形状进行微调，如图2所示，36-41点是人脸左眼坐标，42-47点是人脸右眼坐标，左眼中心坐标为：
Figure BDA0002811117080000041
右眼中心坐标为：
Figure BDA0002811117080000042
根据JDA返回的5点坐标可求得两者间缩放的比例关系：
Figure BDA0002811117080000043
其中reye表示JDA返回的右眼瞳孔坐标，leye表示JDA返回的左眼瞳孔坐标，则通过该比例更新初始化形状和左右眼中心坐标为：
Figure BDA0002811117080000044
则在x轴和y轴处的微调距离tx，ty为：
Figure BDA0002811117080000045
对x轴与y轴坐标分别更新。得到最终坐标集合为：
Figure BDA0002811117080000046
此时shape即为最终初始化后的结果，通过映射完成形状初始化。
如图3所示，由于已经知道初始形状，则通过初始形状的坐标点信息估计人脸视图状态，得到
Figure BDA0002811117080000047
其中Vi是视图状态，Pi∈R136x1是68特征点的坐标，R是上述投影矩阵。如图2所示，我们将人脸视图分为正视图(-15°-15°)、左视图(-30°-0°)和右视图(0° -30°)三部分，利用正视图和侧视图之间的重叠，使视图估计更加可靠。根据视图选择最佳的级联回归模型，完成人脸特征点定位。级联回归模型的主要思想是以相加的方式组合一系列的回归因子，以逼近初始形状与真实形状之间复杂的映射关系。给定一幅人脸图片Ii，一个初始形状
Figure BDA0002811117080000051
级联回归模型以逐步累加的方式结合T级回归器(R1,R2,…Rt,…RT)，每一个回归器从图像纹理特征计算得到一个形状增量且以级联方式更新人脸形状：
Figure BDA0002811117080000052
其中，i表示第i张图片；第t级的回归器RT通过更新上一级人脸形状
Figure BDA0002811117080000053
来得到新的人脸形状
Figure BDA0002811117080000054
公式(12)中形状回归增量
Figure BDA0002811117080000055
取决于人脸图像Ii和上一级评估的形状
Figure BDA0002811117080000056
本发明采用hog特征做回归得到形状增量：
Figure BDA0002811117080000057
其中，
Figure BDA0002811117080000058
表示特征映射函数，对人脸形状
Figure BDA0002811117080000059
周围的人脸图像纹理信息进行编码得到hog特征；Wt是一个线性变换矩阵，将hog特征与形状增量之间建立映射关系。
本发明在传统的级联回归技术上对人脸初始化和回归进行改进，采用投影映射初始化和多视角人脸级联回归技术，克服了因遮挡、较大姿态变化和表情下的人脸对齐失败问题。如图4所示，在同等条件下，与传统方法比较得知，本发明的方法设计比传统的方法效果更好，结果更加可靠。因此该方法在人脸特征点定位中更具有实际应用价值。

Claims (3)

1.一种基于改进的级联回归的人脸特征点定位算法，本算法对传统的级联回归技术的初始化和回归进行有效的改进，使用领域(5点坐标)来生成投影的初始形状，并进行微调、矫正，这大大提高了基于级联回归算法的性能；在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度，大大减小了回归模型构建中的形状方差，从而使学习的回归模型对形状变化有更好的鲁棒性。与传统的级联回归算法相比，改进后的级联回归人脸特征点定位算法的鲁棒性更高，传统的方法通常是从平均形状开始的，或者使用复杂的算法进行初始化，但在较大遮挡下，人脸对齐问题往往无法处理。本算法中，我们通过5点的集映射完成初始化，由于5点集是人脸最突出的点，即使在较大遮挡、姿势和表情的变化中也能获得良好的效果，这极大地提高了级联回归算法的性能；传统的回归算法中，通常都是单一模型，当姿态变化较大时，就会导致人脸对齐失败。本算法中，我们在不同的视角下建立不同的模型，通过初始形状评估当前姿态，最后根据评估的姿态选择相对应的模型，进而实现特征点的精确定位。
2.根据权利要求1所述的算法，其优点在于：采用稀疏点(5个关键点)：两个瞳孔、一个鼻尖和两个嘴角，从五个关键点估计相似变换参数(旋转、平移和缩放)，通过相似变换参数求得对应的68点坐标，从而完成初始化。因为这些稀疏点是人脸最突出的点，即使在严重遮挡、复杂的姿势和表情变化的情况下，仍能获得良好的效果，这极大地提高了级联回归算法的性能。
3.根据权利要求1所述的算法，其优势在于：在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度。我们将训练数据分为三个视图(左视图、右视图和正视图)减少形状变化，接着在每个数据集中训练特点视图模型。我们利用这些稀疏点(两个瞳孔、一个鼻尖和两个嘴角)估计面部视图，最后根据评估的姿态选择相应的模型，进而实现特征点的精确定位。
CN202011386408.9A 2020-12-02 2020-12-02 改进型级联回归人脸特征点定位算法 Pending CN112487993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011386408.9A CN112487993A (zh) 2020-12-02 2020-12-02 改进型级联回归人脸特征点定位算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011386408.9A CN112487993A (zh) 2020-12-02 2020-12-02 改进型级联回归人脸特征点定位算法

Publications (1)

Publication Number Publication Date
CN112487993A true CN112487993A (zh) 2021-03-12

Family

ID=74938726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011386408.9A Pending CN112487993A (zh) 2020-12-02 2020-12-02 改进型级联回归人脸特征点定位算法

Country Status (1)

Country Link
CN (1) CN112487993A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035825A1 (en) * 2013-02-02 2015-02-05 Zhejiang University Method for real-time face animation based on single video camera
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN107644203A (zh) * 2017-09-12 2018-01-30 江南大学 一种形状自适应分类的特征点检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150035825A1 (en) * 2013-02-02 2015-02-05 Zhejiang University Method for real-time face animation based on single video camera
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN107644203A (zh) * 2017-09-12 2018-01-30 江南大学 一种形状自适应分类的特征点检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHU H等: "Better initialization for regression-based face alignment", 《COMPUTERS & GRAPHICS》 *
贾项南等: "多视角级联回归模型人脸特征点定位", 《计算机工程与应用》 *

Similar Documents

Publication Publication Date Title
Dai et al. A 3d morphable model of craniofacial shape and texture variation
Ge et al. Robust 3d hand pose estimation in single depth images: from single-view cnn to multi-view cnns
Grauman et al. Inferring 3d structure with a statistical image-based shape model
Smith et al. Recovering facial shape using a statistical model of surface normal direction
US7218760B2 (en) Stereo-coupled face shape registration
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
KR20060116236A (ko) 강한 정보 퓨전을 사용함으로써 다중-모델 성분에 기초하여대상을 추적하기 위한 방법 및 시스템
KR20060057627A (ko) 웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
US20070098239A1 (en) Method for characterizing shape, appearance and motion of an object that is being tracked
Huang et al. Propagationnet: Propagate points to curve to learn structure information
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
CN114422832A (zh) 主播虚拟形象生成方法及装置
Hu et al. Active wavelet networks for face alignment.
Kahraman et al. Robust face alignment for illumination and pose invariant face recognition
Bowden Learning non-linear Models of Shape and Motion
Paterson et al. 3D head tracking using non-linear optimization.
CN112487993A (zh) 改进型级联回归人脸特征点定位算法
CN114219920A (zh) 三维人脸模型的构建方法及装置、存储介质、终端
Guo et al. Photo-realistic face images synthesis for learning-based fine-scale 3D face reconstruction
Ferrari et al. 3D Face Reconstruction from RGB-D Data by Morphable Model to Point Cloud Dense Fitting.
Heo et al. In between 3D active appearance models and 3D morphable models
Cheng et al. Anchored deformable face ensemble alignment
Lin et al. 3D face recognition based on curvature feature matching, with expression variation
KR101436730B1 (ko) 능동적 외양 모델을 이용한 비학습 얼굴의 3차원 얼굴 피팅 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210312