CN100444190C - 一种基于加权主动形状建模的人脸特征定位方法 - Google Patents
一种基于加权主动形状建模的人脸特征定位方法 Download PDFInfo
- Publication number
- CN100444190C CN100444190C CNB2006100973001A CN200610097300A CN100444190C CN 100444190 C CN100444190 C CN 100444190C CN B2006100973001 A CNB2006100973001 A CN B2006100973001A CN 200610097300 A CN200610097300 A CN 200610097300A CN 100444190 C CN100444190 C CN 100444190C
- Authority
- CN
- China
- Prior art keywords
- point
- model
- shape
- texture model
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于加权主动形状建模的人脸特征定位方法。本发明建立主动形状模型,即全局形状模型、局部纹理模型,局部纹理模型包括中间局部纹理模型、内部局部纹理模型、外部局部纹理模型,该三个模型沿面部轮廓的法线,在原点内、外分别选取一点,经计算得到马氏距离准则函数,反复迭代。解决了现有技术局部纹理模型中因经常受到初始位置、光照和面部表情等因素的影响,使ASM陷入最优化过程中的局部最小问题,导致图像漂移、数据丢失,致使最后形成的图像离开真实的图像较远,从而无法满足更精确的要求。本发明的优点在于挖掘标定点附近的局部纹理信息,扩展为3个子模型,捕获特征点附近更多纹理信息,更精确地定位面部关键特征点。
Description
技术领域
本发明涉及一种人脸特征定位方法,特别涉及一种基于加权主动形状建模的人脸特征定位方法。
背景技术
在本发明之前,在计算机视觉和模式识别领域中对人脸识别和面部表情识别,通常应用主动形状模型方法,简称ASM方法。它的核心算法包括两个子模型,即全局形状模型和局部纹理模型。在局部纹理模型中,由于经常会受到诸如初始位置、光照和面部表情等因素的影响,会导致ASM陷入最优化过程中的局部最小问题,从而影响它的性能,无法满足更精确的要求。主要表现在于图像漂移、数据丢失,致使最后形成的图像离开真实的图像较远。
发明内容
本发明的目的就在于克服上述缺陷,设计、研发一种更精确的基于加权主动形状建模的人脸特征定位方法。
本发明的技术方案是:
一种基于加权主动形状建模的人脸特征定位方法,其主要技术步骤如下:建立主动形状模型,即
(1)全局形状模型:
假设给定训练样本集合为
其中,K为训练样本数目,N为预先定义的关键特征点的数目,M中的每个形状向量sj是由训练图像Ij上预先定义并手工标定的N个关键特征点的横纵坐标串接而成;
根据广义对齐算法,将其统一以同一坐标框架下,对齐后的形状向量为
得全局形状模型为
s≈s+Pb
其中,s表示平均形状,b为主分量参数,P为主成分特征向量构成的变换矩阵;
(2)局部纹理模型:
将原局部纹理模型扩展为三个模型,分别为中间局部纹理模型即原局部纹理模型、内部局部纹理模型、外部局部纹理模型;
中间局部纹理模型为
在未知人脸图像中搜索某个特征点p的最佳侯选点q时,用下式计算相应的马氏距离准则函数,
其中,lq是由未知图像q点附近采样得到的归一化纹理向量,上标-1表示求逆运算,d(lq)最小值对应的点q就是p的最佳侯选点;
沿面部轮廓的法线,在其内、外分别选取一点,建立同样的上述模型,分别为内部局部纹理模型、外部局部纹理模型;
由此获得与某给定点p相对应的3个平均向量和3个协方差矩阵,分别记作lp m,lp i,lp e,∑p m,∑p i,∑p e,其中lp m和∑p m表示点p的中间局部纹理模型;lp i和∑p i表示点p的内部局部纹理模型;lp e和∑p e表示点p的外部局部纹理模型;将三个模型组合成整个局部纹理模型,即将此与马氏距离准则函数推广为一般形式
其中,lq i,lq m,lq e分别表示在q点附近采样得到的内部局部纹理向量,中间局部纹理向量以及外部局部纹理向量,α,β,γ是相应的加权参数,
满足条件
α+β+γ=1
α,β,γ≥0即可;
(3)迭代过程
假设当前的全局面部形状为st-1;
用步骤(2)的结果搜索每一个标定点对应的最佳侯选点,由此获得图像框架下的新的面部形状,记为s′t;
经相似变换,将新的全局面部形状从图像框架投影到坐标框架下,获得坐标框架下对应的形状st+1=s″,s″=G-1(s+Pb,Θ),其中G-1代表相关的逆相似变换,Θ为对应的相似变换参数;
比较相邻两次迭代结果st和st+1之间的差别,如果它们之间小于阈值,则宣布算法收敛,否则,用步骤(2)的结果继续搜索,进行新的迭代。
本发明的优点和效果在于从ASM方法原始的思想出发,充分挖掘标定点附近的局部纹理信息,将原局部纹理模型扩展为3个子模型:第1个是原来的局部纹理模型,另外两个则采样每个标定点两边附近的纹理信息,经过归一化等步骤构建而成,将其扩展为更为鲁棒的模型;并综合3个子模型,并对其进行相应的加权,更好地捕获特征点附近的纹理信息,从而为更精确地定位面部关键特征点提供可靠的依据。
本发明的优点和效果将在下面的具体实施方式中继续描述。
附图说明
图1——本发明中3个子模型采样位置示意图。
图2——本发明与原ASM方法的精度性能比较数据图。
图3——原ASM方法局部最小问题人脸轮廓示意图。
图4——本发明解决局部最小问题后人脸轮廓示意图。
图5——本发明与ASM方法的搜索范围比较图。
具体实施方式
根据ASM方法原始的点分布模型方法,包括全局形状模型和局部纹理模型。先建立全局形状模型:
假设给定训练样本集合为
其中,K为训练样本数目,N为预先定义的关键特征点的数目;M中的每个形状向量sj是由训练图像Ij上预先定义并手工标定的N个关键特征点的横纵坐标串接而成。运用广义对齐算法将它们统一到同一坐标框架之下,对齐后的形状向量记为
接着对其进行主分量分析便可获得ASM的全局形状模型。最终获得全局形状模型为:
s≈s+Pb
其中,s表示平均形状,b为主分量参数,P为主成分特征向量构成的变换矩阵。
然后建立局部纹理模型:
由于本发明将原局部纹理模型改建为中间局部纹理模型(即原局部纹理模型)、内部局部纹理模型和外部局部纹理模型3个。该3个子模型的采样位置如图1所示:
设p0是面部轮廓上的点,相对于点p0而言,p1被称作是面部图像“内部”的点,而p2则被称作是面部图像“外部”的点。λ1和λ2分别表示点p0到点p1和p2之间的距离。分别以p0,p1,p2为中心,以一定像素长度为半径,在相应的法线方向上采样,可得3个相应的向量,采用相同的方法对训练集中每幅图像的标定点做类似处理之后,最终可以获得与某给定点p相对应的3个平均向量和3个协方差矩阵,分别记作lp m,lp i,lp e,∑p m,∑p i,∑p e,其中lp m和∑p m表示点p的中间局部纹理模型;lp i和∑p i表示点p的内部局部纹理模型;lp e和∑p e表示点p的外部局部纹理模型。至此,已经将原始的局部纹理模型推广为一个由3个子模型组成的更鲁棒的模型。
3个子模型只是采样的点不同,其余皆同,故只说明建立中间局部纹理模型为例:
局部纹理模型,它与每一个标定点一一对应,通过平均纹理和协方差矩阵两个参数来具体刻画该点的灰度分布情况,并运用该模型在未知人脸图像中搜索某个特征点p的最佳侯选点q时,用下式计算相应的马氏距离准则函数:
其中,lq是由未知图像q点附近采样得到的归一化纹理向量,上标-1表示求逆运算,d(lq)最小值对应的点q就是p的最佳侯选点。
经过对局部纹理模型扩充之后,与马氏距离准则函数对应的准则函数可以推广为下面更一般的形式:
其中lq i,lq m,lq e分别表示在q点附近采样得到的内部局部纹理向量,中间局部纹理向量以及外部局部纹理向量,α,β,γ是相应的加权参数,满足条件α+β+γ=1和α,β,γ≥0即可。
α,β,γ3个值的选择应该满足上述条件,同时,对于这α,β,γ3个值可以具体分别设定为0.25,0.5,0.25。
根据3个子模型建立的局部纹理模型,比ASM所取得的图像精度、性能要强,如图2所示;
首先将测试集中的每一幅图像对应的准确标定点的坐标分别沿x坐标和y坐标偏移不同的幅值,最高可达±8个像素,每幅图像偏移多次,然后以此偏移作为初始位置,用ASM方法进行迭代收敛,以期偏移点重新回到原来准确的位置;其中水平坐标表示收敛得到的点和手工标定点之间的距离,垂直坐标表示在偏移当前水平坐标值的情况下,收敛点所占的比例;从图中可以看出,在收敛点和准确标定点距离相差较小的时候(水平坐标值小的情况),改进算法对应的纵轴百分比要高于原来的算法,这说明此时的收敛点的数目多,和原来准确点拟合的程度好;相反,在水平坐标值大的情况,改进算法对应的纵轴百分比要略低于原来的算法,这说明偏离准确位置的点少。
两者的比较表明,改进的加权ASM算法能更精确的定位面部的关键特征点。然后进行迭代过程:
基于上述加权ASM方法,我们可以通过迭代的方法来实现未知人脸图像的关键特征点的搜索,每步的迭代过程如下:
(1)假设当前的全局面部形状为st-1;
(2)用式(3)搜索每一个标定点对应的最佳侯选点,由此获得图像框架下的新的面部形状,记为s′t;
(3)借助于相似变换,将新的全局面部形状从图像框架投影到坐标框架下,获得坐标框架下对应的形状st+1=s″,s″=G-1(s+Pb,Θ),其中G-1代表相关的逆相似变换,Θ为对应的相似变换参数;
(4)比较相邻两次迭代结果st和st+1之间的差别,如果它们之间小于阈值,则宣布算法收敛,否则,转到过程(2),继续新的迭代。
对局部最小问题的解决如图3、图4所示:
利用加权ASM模型,通过内部纹理模型和外部纹理模型面部特征点的强制约束,可以有效地解决局部最小问题,图中显示了两种方法比较的结果,从图中可以看出,传统的ASM方法有时在面部特征定位时不能奏效,本发明利用加权ASM可以将这些点拉回到更准确的位置。
搜索范围比较如图5所示:
将每一幅测试集中的准确标定点偏离它原来的准确位置(通常偏移到平均形状的位置),然后以此为起始位置,采用ASM算法进行搜索,使其尽量回到原来的最佳位置,计算搜索得到的关键点和原来手工标定点之间的距离差值。图中显示了搜索范围比较的结果,从两条曲线上可以看出,同样误差的情况下,本发明的算法搜索范围相对宽一些。
本发明请求保护的范围并不仅仅局限于上述描述。
Claims (2)
1.一种基于加权主动形状建模的人脸特征定位方法,其步骤如下:
建立主动形状模型,即
(1)全局形状模型:
假设给定训练样本集合为
其中,K为训练样本数目,N为预先定义的关键特征点的数目,M中的每个形状向量sj是由训练图像Ij上预先定义并手工标定的N个关键特征点的横纵坐标串接而成;
根据广义对齐算法,将其统一以同一坐标框架下,对齐后的形状向量为
得全局形状模型为
s≈s+Pb
其中,s表示平均形状,b为主分量参数,P为主成分特征向量构成的变换矩阵;
(2)局部纹理模型:
将原局部纹理模型扩展为三个模型,分别为中间局部纹理模型即原局部纹理模型、内部局部纹理模型、外部局部纹理模型;
中间局部纹理模型为
在未知人脸图像中搜索某个特征点p的最佳侯选点q时,用下式计算相应的马氏距离准则函数,
其中,lq是由未知图像q点附近采样得到的归一化纹理向量,上标-1表示求逆运算,d(lq)最小值对应的点q就是p的最佳侯选点;
沿面部轮廓的法线,在其内、外分别选取一点,建立同样的上述模型,分别为内部局部纹理模型、外部局部纹理模型;
由此获得与某给定点p相对应的3个平均向量和3个协方差矩阵,分别记作lp m,lp i,lp e,∑p m,∑p i,∑p e,其中lp m和∑p m表示点p的中间局部纹理模型;lp i和∑p i表示点p的内部局部纹理模型;lp e和∑p e表示点p的外部局部纹理模型;将三个模型组合成整个局部纹理模型,即将此与前述马氏距离准则函数推广为一般形式
其中,lq i,lq m,lq e分别表示在q点附近采样得到的内部局部纹理向量,中间局部纹理向量以及外部局部纹理向量,α,β,γ是相应的加权参数,
满足条件
α+β+γ=1
α,β,γ≥0即可;
(3)迭代过程
假设当前的全局面部形状为st-1;
用步骤(2)的结果搜索每一个标定点对应的最佳侯选点,由此获得图像框架下的新的面部形状,记为s’t;
经相似变换,将新的全局面部形状从图像框架投影到坐标框架下,获得坐标框架下对应的形状st+1=s″,s″=G-1(s+Pb,Θ),其中G-1代表相关的逆相似变换,Θ为对应的相似变换参数;
比较相邻两次迭代结果st和st+1之间的差别,如果它们之间小于阈值,则宣布算法收敛,否则,用步骤(2)的结果继续搜索,进行新的迭代。
2.根据权利要求1所述的一种基于加权主动形状建模的人脸特征定位方法,其特征在于α,β,γ3个值的选择应该满足步骤(2)中所提的条件,即步骤(2)中α,β,γ3个值可以分别设定为0.25,0.5,0.25。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006100973001A CN100444190C (zh) | 2006-10-30 | 2006-10-30 | 一种基于加权主动形状建模的人脸特征定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006100973001A CN100444190C (zh) | 2006-10-30 | 2006-10-30 | 一种基于加权主动形状建模的人脸特征定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1945595A CN1945595A (zh) | 2007-04-11 |
CN100444190C true CN100444190C (zh) | 2008-12-17 |
Family
ID=38044994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006100973001A Expired - Fee Related CN100444190C (zh) | 2006-10-30 | 2006-10-30 | 一种基于加权主动形状建模的人脸特征定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100444190C (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4361946B2 (ja) * | 2007-08-07 | 2009-11-11 | シャープ株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、およびそのプログラムが格納された記録媒体 |
CN101561875B (zh) * | 2008-07-17 | 2012-05-30 | 清华大学 | 一种二维人脸图像定位的方法 |
CN101989354B (zh) * | 2009-08-06 | 2012-11-14 | Tcl集团股份有限公司 | 一种主动形状模型的对应点搜索方法及终端设备 |
CN101984428A (zh) * | 2010-11-03 | 2011-03-09 | 浙江工业大学 | 数据挖掘过程中基于加权Moore-Penrose逆的马氏距离测定方法 |
CN102043966B (zh) * | 2010-12-07 | 2012-11-28 | 浙江大学 | 基于部分主分量分析和姿态估计联合的人脸识别方法 |
CN104598936B (zh) * | 2015-02-28 | 2018-07-27 | 北京畅景立达软件技术有限公司 | 人脸图像面部关键点的定位方法 |
CN107945219B (zh) * | 2017-11-23 | 2019-12-03 | 翔创科技(北京)有限公司 | 脸部图像对齐方法、计算机程序、存储介质及电子设备 |
CN111275728A (zh) * | 2020-04-10 | 2020-06-12 | 常州市第二人民医院 | 一种基于主动形状模型的前列腺轮廓提取方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1184542A (zh) * | 1995-03-20 | 1998-06-10 | Lau技术公司 | 识别图象的系统和方法 |
US20050123202A1 (en) * | 2003-12-04 | 2005-06-09 | Samsung Electronics Co., Ltd. | Face recognition apparatus and method using PCA learning per subgroup |
CN1794265A (zh) * | 2005-12-31 | 2006-06-28 | 北京中星微电子有限公司 | 基于视频的面部表情识别方法及装置 |
KR20060089376A (ko) * | 2005-02-04 | 2006-08-09 | 오병주 | Pca와 역전파 알고리즘을 이용한 얼굴인식 방법 |
-
2006
- 2006-10-30 CN CNB2006100973001A patent/CN100444190C/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1184542A (zh) * | 1995-03-20 | 1998-06-10 | Lau技术公司 | 识别图象的系统和方法 |
US20050123202A1 (en) * | 2003-12-04 | 2005-06-09 | Samsung Electronics Co., Ltd. | Face recognition apparatus and method using PCA learning per subgroup |
KR20060089376A (ko) * | 2005-02-04 | 2006-08-09 | 오병주 | Pca와 역전파 알고리즘을 이용한 얼굴인식 방법 |
CN1794265A (zh) * | 2005-12-31 | 2006-06-28 | 北京中星微电子有限公司 | 基于视频的面部表情识别方法及装置 |
Non-Patent Citations (4)
Title |
---|
基于加权Fisher准则的线性鉴别分析及人脸识别. 郭娟,林冬,戚文芽.计算机应用,第26卷第05期. 2006 |
基于加权Fisher准则的线性鉴别分析及人脸识别. 郭娟,林冬,戚文芽.计算机应用,第26卷第05期. 2006 * |
基于加权主元分析(WPCA)的人脸识别. 乔宇,黄席樾,柴毅,邓金城,陈虹宇.重庆大学学报,第27卷第03期. 2004 |
基于加权主元分析(WPCA)的人脸识别. 乔宇,黄席樾,柴毅,邓金城,陈虹宇.重庆大学学报,第27卷第03期. 2004 * |
Also Published As
Publication number | Publication date |
---|---|
CN1945595A (zh) | 2007-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100444190C (zh) | 一种基于加权主动形状建模的人脸特征定位方法 | |
CN108319972B (zh) | 一种针对图像语义分割的端到端差异网络学习方法 | |
CN110223324B (zh) | 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法 | |
CN111160108B (zh) | 一种无锚点的人脸检测方法及系统 | |
CN108335284B (zh) | 一种冠脉血管中心线匹配方法和系统 | |
CN110852267B (zh) | 基于光流融合型深度神经网络的人群密度估计方法及装置 | |
US8238660B2 (en) | Hybrid graph model for unsupervised object segmentation | |
JP7263216B2 (ja) | ワッサースタイン距離を使用する物体形状回帰 | |
CN110659565B (zh) | 一种基于带孔卷积的3d多人人体姿态估计方法 | |
Suárez et al. | ELSED: Enhanced line segment drawing | |
CN112712546A (zh) | 一种基于孪生神经网络的目标跟踪方法 | |
CN111709984B (zh) | 位姿深度预测方法、视觉里程计方法、装置、设备及介质 | |
CN114449452B (zh) | 一种基于CNN-RNN的Wi-Fi室内定位方法 | |
CN111507161B (zh) | 利用合并网络进行异质传感器融合的方法和装置 | |
CN112116613A (zh) | 模型训练方法、图像分割方法、图像矢量化方法及其系统 | |
CN114283285A (zh) | 交叉一致性自训练遥感图像语义分割网络训练方法及装置 | |
Ma et al. | Object-level proposals | |
CN114821299B (zh) | 一种遥感图像变化检测方法 | |
CN113609097B (zh) | 指纹库的生成方法、装置、计算机设备和存储介质 | |
CN115546519A (zh) | 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法 | |
CN109344897B (zh) | 一种基于图片蒸馏的通用物体检测系统及其实现方法 | |
CN109862510A (zh) | 一种基于压缩感知的凸区域定位方法 | |
CN115797665B (zh) | 基于图像特征的图像和单帧毫米波雷达目标的匹配方法 | |
CN104200222B (zh) | 一种基于因子图模型的图片中对象识别方法 | |
CN116861985A (zh) | 一种基于卷积层相对信息熵的神经网络剪枝子网搜索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081217 Termination date: 20091130 |