CN105956581B - 一种快速的人脸特征点初始化方法 - Google Patents

一种快速的人脸特征点初始化方法 Download PDF

Info

Publication number
CN105956581B
CN105956581B CN201610409480.6A CN201610409480A CN105956581B CN 105956581 B CN105956581 B CN 105956581B CN 201610409480 A CN201610409480 A CN 201610409480A CN 105956581 B CN105956581 B CN 105956581B
Authority
CN
China
Prior art keywords
characteristic point
feature
point
chain model
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610409480.6A
Other languages
English (en)
Other versions
CN105956581A (zh
Inventor
秦华标
黄宇驹
廖才满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201610409480.6A priority Critical patent/CN105956581B/zh
Publication of CN105956581A publication Critical patent/CN105956581A/zh
Application granted granted Critical
Publication of CN105956581B publication Critical patent/CN105956581B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种快速的人脸特征点初始化方法，属于计算机视觉领域。该方法的实现过程为：首先将训练样本根据姿势不同分为多个训练样本子集，对每个训练样本子集分别提取链式模型和平均特征。对输入的人脸图像，利用动态规划技术结合链式模型由大量可能的特征点分布中快速的搜索最优的特征点分布作为人脸特征点初始化的结果。本发明能有效的对特征点进行初始化，对特征点初始化结果有依赖的特征点检测算法都可以借助本发明所提出的方法提升其检测精度。

Description

一种快速的人脸特征点初始化方法
技术领域
本发明属于图像处理和计算机视觉领域，具体是一种快速的人脸特征点初始化方法。
背景技术
人脸特征点检测是一种自动人脸标定算法，其研究目的在于通过对人脸图像进行分析，获取一组预先定义好的足以描述人脸形状结构的特征点位置信息。作为计算机视觉领域内的一项基础研究，人脸特征点检测有着重要的研究意义和应用前景。对许多人脸图像相关的算法，如人脸识别、表情识别、三维人脸重建等，人脸特征点检测往往是其必须的环节。
传统的人脸特征点检测算法主要包括主动形状模型、主动外观模型等。这些方法通过对输入图像和训练好的形状或者纹理模型进行匹配以确定人脸特征点。可以分为训练阶段和搜索阶段两个环节。在训练阶段，通过样本对人脸的形状进行学习，通过最小化目标函数确定模型参数。在搜索阶段，先根据先验知识确定特征点的大致位置，然后通过一定的搜索策略，寻找与模型最匹配的特征点作为输出特征。近年来，基于级联回归的人脸特征点检测算法取得很好的检测效果，该方法通过训练多个弱回归器进行级联回归，逐步逼近真实的特征点。其算法首先对图像进行特征提取，根据提取到的特征训练一个最优的弱回归器，弱回归器对每个训练样本输出一组向量用于更新样本的特征点分布。完成更新后，用新的特征点分布进行下一轮的特征提取与弱回归器训练。不断重复这个过程以逼近真实的特征点分布。
然而，这些方法在实际应用中对特征点的初始化结果都较为敏感。如果特征点初始化结果与真实位置差异过大，会影响后续的特征点检测精度。常规的人脸特征点初始化方法通常只针对正脸，无法处理姿势变化的情况。一些方法通过先通过传统方法检测眼睛等显著的特征点，在通过插值对其他特征点进行初始化。这些方法虽然能取得一定的效果，但在一些环境下，对显著的特征点检测比较困难，而且也会影响特征点检测的效率。
因此，需要提出一种高效可靠的人脸特征点初始化方法，以增强人脸特征点检测算法的鲁棒性。
发明内容
本发明的目的是解决人脸特征点检查算法对特征点初始化结果敏感的问题。通过设计一种人脸特征点初始化算法，快速的确定输入人脸图像的特征点初始位置，以特征后续人脸特征点检测的精度。本发明通过如下技术方案实现。
一种快速的人脸特征点初始化方法，该方法包括：根据不同头部姿势即人脸图像姿态对训练样本进行划分成多个子类；对每个子类，分别提取链式模型、平均特征，并将所有特征点分布加入特征点分布集合中；对输入的人脸图像，利用动态规划技术快速地由多个的特征点分布中选取最优结果作为人脸特征点初始化的结果。
进一步地，该方法包括训练过程和测试过程两个部分；训练过程为根据人脸图像姿态的不同，将训练样本划分为N个子集Si,i∈[1,N]；对每个子集Si，分别提取平均特征及链式模型Li，并将该子集中每个图像特征点分布经过归一化后加入特征点分布集合Pi中；测试过程为对输入人脸图像，每个特征点的候选位置集合为特征点分布集合Pi,i∈[1,N]中对应特征点的所有位置，利用动态规划技术结合链式模型，依次确定每个特征点，以构成最优特征点分布θi，其中θi满足每个特征点的局部特征得分和特征点之间的整体特征得分之和最小；最后，选取di,i∈[1,N]中的最小值所对应的特征点分布θi作为特征点初始化的结果。
进一步地，平均特征的计算方法，包括如下步骤：
步骤1：对每个特征点，分别以k个不同的半径提取k个圆形LBP特征，得到一个k维的局部特征；
步骤2：对每个特征点，根据当前特征点与链式模型中下一个特征点之间的相对位置提取特征f＝(dx,dy,dx2,dy2)，其中dx,dy分别是两个特征点横坐标之差和纵坐标之差，得到一个4维的整体特征；
步骤3：将所有特征点的局部特征和整体特征级联起来，得到高维特征F；
步骤4：计算所有特征F的均值作为平均特征；
进一步地，链式模型L的提取，包括如下步骤：
步骤1：对姿势集合内所有的样本，计算其特征点平均分布
步骤2：对平均特征点分布随机的选取一个特征点，加入链表中；
步骤3：选取一个离最近加入链表的特征点最近且不在链表中的特征点，将其加入链表中；
步骤4：如果所有特征点均加入链表中，则所建立的链表即为所提取的链式模型，否则重复步骤3。
进一步地，局部特征得分的计算方法为根据指定特征点所提取的特征与平均特征对应的维度之间的欧式距离；整体特征得分的计算方法为根据链式模型顺序下两个相邻特征点所提取的整体特征与平均特征对应的维度之间的欧式距离。
进一步地，最优特征点分布的确定方法，包括如下步骤：
步骤1：使下标j等于1，对链式模型的第j个特征点，对其所有可能位置集合Qj中所有特征点，计算其局部特征得分，作为该特征点位置的得分；
步骤2：使j加1，对链式模型的第j个特征点，对所有可能位置集合Qj中的每一个特征点pj，分别由上一个特征点所有可能位置集合Qj-1中选取一个最优特征点pj-1，使得满足位置pj-1得分、位置pj的局部特征得分和位置pj-1与pj之间的整体特征得分之和最小；并以该结果作为位置pj的得分；
步骤3：如果已经完成对链式模型中所有特征点的计算，以最终最小得分所包含所有特征点位置作为最优特征点分布，否则重复步骤2。
进一步地，所述根据不同头部姿势即人脸图像姿态对训练样本进行划分成多个子类具体是：根据左侧脸、正脸、右侧脸将训练样本划分为3个子类。
进一步地，对每个子类，分别提取链式模型、平均特征，并将所有特征点分布加入特征点分布集合中：首先计算所有人脸图片样本的平均特征点分布；然后随机的以一个特征点作为开始，将该特征点加入链表中；搜索与最后加入链表的特征点最邻近且为加入链表的特征点，将其加入链表中；直到所有特征点均加入链表，及得到链式模型。
进一步地，对每个人脸图像样本，首先对链式模型中第一个特征点提取局部特征，局部特征的提取过程分别以半径3、5、7、9提取圆形LBP特征，得到一个4维度的局部特征；再提取当前特征与链式模型下一个特征点之间的整体特征，整体特征为两个特征点位置的横坐标差值、纵坐标差值、横坐标差值的平方、纵坐标差值的平方；得到一个4维度的整体特征；将局部特征与整体特征级联起来，得到一个8维度的特征；对每个特征点分别进行上述的特征提取过程，并求取所有样本所提取的特征的均值作为平均特征。
上述方法中，所述的方法(3)，包括：对包含n个特征点分布的训练样本子类，每个特征点的可能位置为特征点分布集合中所有特征点分布对应的特征点的位置。最优人脸特征点分布为在每个特征点所有可能的位置中选取一个位置，使得所有特征点的局部特征得分和特征点之间的整体特征得分之和最小。其中局部特征得分为特征点所提取到的局部特征与平均特征对应维度之间的欧式距离。整体特征得分为两个特征点之间所提取到的整体特征与平均特征对应维度之间的欧式距离。
与现有技术相比，本发明具有如下优点和技术效果：本发明通过建立链式模型将对人脸特征点的特征提取过程转换为一个多阶段决策问题，并提出了采用动态规划技术快速的由大量可能的特征点分布中求解最优人脸特征点初始化结果。本发明能有效的对特征点进行初始化，对特征点初始化结果有依赖的特征点检测算法都可以借助本发明所提出的方法提升其检测精度。
附图说明
图1是实施例中快速的人脸特征点初始化方法的整体流程图。
图2是链式模型示意图。
具体实施方式
下面结合附图和实例对本发明的具体实施方式做进一步说明，但本发明的实施和保护不限于此。
本实施方式中，所提出的快速人脸特征点初始化方法能有效的提升对特征点初始化结果比较敏感的人脸特征点检测算法的检测精度。本发明可以分为训练阶段和测试阶段，在训练阶段将所有样本根据姿势分为N个训练样本子集，对每个训练样本子集分别提取相关的样本信息。根据这些信息，在测试阶段分别求解每个姿势下的最优人脸特征点初始化结果，在比较不同姿势的初始化结果确定最优的特征点初始化结果。其整体流程图如图1所示。
本实施方式中，在训练阶段，将所有训练样本分为N个训练样本子集。在实施中可根据左侧脸、右侧脸、正脸划分为三个训练子集。对每个子类型分别提取其链式模型Li,i∈[1,N]和平均特征并将其所有图像的特征点分布经过归一化后加入人脸特征点分布集合Pi中。
本实施方式中，对每个训练子集，计算其所有人脸图像的平均特征点分布θ，由平均特征点分布中，随机选取一个特征点加入链表中，再由剩余的特征点中选择与最近加入链表中的特征点距离最近的特征点加入链表中。最终将所有特征点加入链表中构成链式模型Li,i∈[1,N]，其示意图如图2所示。
本实施方式中，对每个训练子集，根据链式模型的顺序，对每个特征点先提取k个圆形LBP特征作为局部特征，在实施中k的值可取为4，分别以3，5，7，9为半径提取的4个圆形LBP特征。然后提取当前特征点与链式模型的下一个特征点之间的整体特征。整体特征包括两个特征点位置的横坐标差值dx、纵坐标差值dy及dx,dy的平方四个维度。将提取到的所有局部特征和整体特征级联起来，得到单个图像的人脸特征。再求取所有图像的人脸特征的均值作为平均特征
本实施方式中，在测试阶段，对包含n个样本的姿势子集，每个特征点可能的位置集合为特征点分布集合中每个特征点分布对应的特征点的位置。对每个特征点，由其可能的位置中选取一个位置，组成最优人脸特征点分布作为人脸特征点初始化结果。最优人脸特征点分布定义为每个特征点的局部特征得分和特征点之间的整体特征得分之和最小。局部特征得分为特征点所提取到的局部特征与平均特征对应维度之间的欧式距离。整体特征得分为两个特征点之间所提取到的整体特征与平均特征对应维度之间的欧式距离。
本实施方式中，在测试阶段，根据链式模型，首先计算链式模型中第一个特征点所有可能位置的局部特征得分。以局部特征得分作为第一个特征点在该位置的得分。然后，对于下一个特征点，假设为链式模型中第j个特征点。对每个可能的位置pj，由第j-1个特征点的所有可能位置中，选取一个最优的特征点位置pj-1。最优的特征点位置满足pj-1位置得分、pj局部特征得分与pj-1、pj之间的整体特征得分之和最小。并以该结果作为特征点pj位置的得分。依链式模型的顺序计算每个可能的特征点位置得分，得分最低的位置所包含的所有特征点位置即为最优特征点分布。

Claims (5)

1.一种快速的人脸特征点初始化方法，其特征在于该方法包括：根据不同头部姿势即人脸图像姿态对训练样本进行划分成多个子类；对每个子类，分别提取链式模型、平均特征，并将所有特征点分布加入特征点分布集合中；对输入的人脸图像，利用动态规划技术快速地由多个的特征点分布中选取最优结果作为人脸特征点初始化的结果；
该方法包括训练过程和测试过程两个部分；训练过程为根据人脸图像姿态的不同，将训练样本划分为N个子集Si,i∈[1,N]；对每个子集Si，分别提取平均特征及链式模型Li，并将该子集中每个图像特征点分布经过归一化后加入特征点分布集合Pi中；测试过程为对输入人脸图像，每个特征点的候选位置集合为特征点分布集合Pi,i∈[1,N]中对应特征点的所有位置，利用动态规划技术结合链式模型，依次确定每个特征点，以构成最优特征点分布θi，其中θi满足每个特征点的局部特征得分和特征点之间的整体特征得分之和最小；最后，选取di,i∈[1,N]中的最小值所对应的特征点分布θi作为特征点初始化的结果；
平均特征的计算方法，包括如下步骤：
步骤1：对每个特征点，分别以k个不同的半径提取k个圆形LBP特征，得到一个k维的局部特征；
步骤2：对每个特征点，根据当前特征点与链式模型中下一个特征点之间的相对位置提取特征f＝(dx,dy,dx2,dy2)，其中dx,dy分别是两个特征点横坐标之差和纵坐标之差，得到一个4维的整体特征；
步骤3：将所有特征点的局部特征和整体特征级联起来，得到高维特征F；
步骤4：计算所有特征F的均值作为平均特征；
链式模型L的提取，包括如下步骤：
步骤1：对姿势集合内所有的样本，计算其特征点平均分布
步骤2：对平均特征点分布随机的选取一个特征点，加入链表中；
步骤3：选取一个离最近加入链表的特征点最近且不在链表中的特征点，将其加入链表中；
步骤4：如果所有特征点均加入链表中，则所建立的链表即为所提取的链式模型，否则重复步骤3；
最优特征点分布的确定方法，包括如下步骤：
步骤1：使下标j等于1，对链式模型的第j个特征点，对其所有可能位置集合Qj中所有特征点，计算其局部特征得分，作为该特征点位置的得分；
步骤2：使j加1，对链式模型的第j个特征点，对所有可能位置集合Qj中的每一个特征点pj，分别由上一个特征点所有可能位置集合Qj-1中选取一个最优特征点pj-1，使得满足位置pj-1得分、位置pj的局部特征得分和位置pj-1与pj之间的整体特征得分之和最小；并以该结果作为位置pj的得分；
步骤3：如果已经完成对链式模型中所有特征点的计算，以最终最小得分所包含所有特征点位置作为最优特征点分布，否则重复步骤2。
2.如权利要求1所述的快速的人脸特征点初始化方法，其特征在于局部特征得分的计算方法为根据指定特征点所提取的特征与平均特征对应的维度之间的欧式距离；整体特征得分的计算方法为根据链式模型顺序下两个相邻特征点所提取的整体特征与平均特征对应的维度之间的欧式距离。
3.如权利要求1所述的快速的人脸特征点初始化方法，其特征在于所述根据不同头部姿势即人脸图像姿态对训练样本进行划分成多个子类具体是：根据左侧脸、正脸、右侧脸将训练样本划分为3个子类。
4.如权利要求3所述的快速的人脸特征点初始化方法，其特征在于对每个子类，分别提取链式模型、平均特征，并将所有特征点分布加入特征点分布集合中：首先计算所有人脸图片样本的平均特征点分布；然后随机的以一个特征点作为开始，将该特征点加入链表中；搜索与最后加入链表的特征点最邻近且为加入链表的特征点，将其加入链表中；直到所有特征点均加入链表，及得到链式模型。
5.如权利要求3所述的快速的人脸特征点初始化方法，其特征在于：对每个人脸图像样本，首先对链式模型中第一个特征点提取局部特征，局部特征的提取过程分别以半径3、5、7、9提取圆形LBP特征，得到一个4维度的局部特征；再提取当前特征与链式模型下一个特征点之间的整体特征，整体特征为两个特征点位置的横坐标差值、纵坐标差值、横坐标差值的平方、纵坐标差值的平方；得到一个4维度的整体特征；将局部特征与整体特征级联起来，得到一个8维度的特征；对每个特征点分别进行上述的特征提取过程，并求取所有样本所提取的特征的均值作为平均特征。
CN201610409480.6A 2016-06-08 2016-06-08 一种快速的人脸特征点初始化方法 Expired - Fee Related CN105956581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610409480.6A CN105956581B (zh) 2016-06-08 2016-06-08 一种快速的人脸特征点初始化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610409480.6A CN105956581B (zh) 2016-06-08 2016-06-08 一种快速的人脸特征点初始化方法

Publications (2)

Publication Number Publication Date
CN105956581A CN105956581A (zh) 2016-09-21
CN105956581B true CN105956581B (zh) 2019-08-20

Family

ID=56908088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610409480.6A Expired - Fee Related CN105956581B (zh) 2016-06-08 2016-06-08 一种快速的人脸特征点初始化方法

Country Status (1)

Country Link
CN (1) CN105956581B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682598B (zh) * 2016-12-14 2021-02-19 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法
CN106951888B (zh) * 2017-05-09 2020-12-01 安徽大学 人脸特征点的相对坐标约束方法以及定位方法
CN109858363B (zh) * 2018-12-28 2020-07-17 北京旷视科技有限公司 一种狗鼻纹特征点的检测方法、装置、系统及存储介质
CN110276416B (zh) * 2019-07-02 2023-04-28 广东省智能机器人研究院 一种滚动轴承故障预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218609A (zh) * 2013-04-25 2013-07-24 中国科学院自动化研究所 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法
CN103824087A (zh) * 2012-11-16 2014-05-28 广州三星通信技术研究有限公司 人脸特征点的检测定位方法以及系统
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
US9311564B2 (en) * 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311564B2 (en) * 2012-10-05 2016-04-12 Carnegie Mellon University Face age-estimation and methods, systems, and software therefor
CN103824087A (zh) * 2012-11-16 2014-05-28 广州三星通信技术研究有限公司 人脸特征点的检测定位方法以及系统
CN103218609A (zh) * 2013-04-25 2013-07-24 中国科学院自动化研究所 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置
CN103440510A (zh) * 2013-09-02 2013-12-11 大连理工大学 一种面部图像中特征点的定位方法
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于级联回归模型的人脸配准研究;邓健康;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;I138-6548

Also Published As

Publication number Publication date
CN105956581A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
Wu et al. Personnet: Person re-identification with deep convolutional neural networks
Li et al. SHREC’13 track: large scale sketch-based 3D shape retrieval
CN108009222B (zh) 基于较优视图和深度卷积神经网络的三维模型检索方法
Pedronette et al. Shape retrieval using contour features and distance optimization.
CN105956581B (zh) 一种快速的人脸特征点初始化方法
Kang et al. Person re-identification between visible and thermal camera images based on deep residual CNN using single input
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN107316042A (zh) 一种绘画图像检索方法及装置
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN104281572B (zh) 一种基于互信息的目标匹配方法及其系统
Logoglu et al. Cospair: colored histograms of spatial concentric surflet-pairs for 3d object recognition
CN104008379A (zh) 一种基于surf特征的物体识别方法
Irawan et al. A survey: Effect of the number of GLCM features on classification accuracy of lasem batik images using K-nearest neighbor
Zhang et al. 3D object retrieval with multi-feature collaboration and bipartite graph matching
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
Jiang A review of the comparative studies on traditional and intelligent face recognition methods
CN105608443B (zh) 一种多特征描述及局部决策加权的人脸识别方法
CN111125396B (zh) 一种单模型多分支结构的图像检索方法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN104361347B (zh) 一种基于单一图像的数控机床设计模块三维模型检索方法
CN106778897B (zh) 基于余弦距离和中心轮廓距离的两次植物物种识别方法
CN109255043B (zh) 基于场景理解的图像检索方法
Khalid et al. Precise shape matching of large shape datasets using hybrid approach
CN113032613A (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
Konishi et al. Detection of target persons using deep learning and training data generation for Tsukuba challenge

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190820