CN105590107B - 一种人脸底层特征构建方法 - Google Patents

一种人脸底层特征构建方法 Download PDF

Info

Publication number
CN105590107B
CN105590107B CN201610079262.0A CN201610079262A CN105590107B CN 105590107 B CN105590107 B CN 105590107B CN 201610079262 A CN201610079262 A CN 201610079262A CN 105590107 B CN105590107 B CN 105590107B
Authority
CN
China
Prior art keywords
face
image
eyes
level image
image feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610079262.0A
Other languages
English (en)
Other versions
CN105590107A (zh
Inventor
邹国锋
傅桂霞
姜殿波
张存山
高明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Technology
Original Assignee
Shandong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Technology filed Critical Shandong University of Technology
Priority to CN201610079262.0A priority Critical patent/CN105590107B/zh
Publication of CN105590107A publication Critical patent/CN105590107A/zh
Application granted granted Critical
Publication of CN105590107B publication Critical patent/CN105590107B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

一种人脸底层特征构建方法，属于模式识别与特征提取技术领域。其特征在于：包括以下步骤，1.1、读取人脸库中的参考人脸图像和具有姿态变化的多姿态人脸图像；1.2、定位参考人脸和姿态人脸的双眼位置坐标，确定多姿态人脸左右摇摆角度；1.3、根据得出的左右摇摆角度，计算发生摇摆变化人脸的权重值；1.4、根据计算得出的权重值，计算新的人脸底层特征图像。本发明提供了一种新的人脸底层特征的构建方法，能够更准确的反应不同人脸的不同影响，新的底层特征较好的融合了多幅人脸图像的综合信息，节省存储空间，降低计算的复杂度，弱化单幅图像中出现的噪声干扰，为后期的深度特征提取和分类识别提供了一种计算简单，效果显著的新特征。

Description

一种人脸底层特征构建方法
技术领域
一种新的人脸底层特征构建方法，属于模式识别与特征提取技术领域。
背景技术
提取好的特征是一直以来都是模式识别的本质问题。按照特征产生方式不同，图像特征分为两类：自然特征和人工特征。人工特征是通过运算构造出的特征，如直方图、频谱图、链码等；自然特征是图像本身固有的特征，通过人类视觉感知系统能够直接获得，如图像的边缘、纹理、形状、点、线等。在人脸识别中，通过对人脸进行测量，可以得到人脸的一种描述，即用测量空间中的一个点来表示一个人脸。
当前，代数特征抽取的研究往往都以外观特征直接作为底层特征，但这样做不能全面反映后期处理算法的性能，研究表明针对原始人脸图像构造新的底层特征，然后再对底层特征进行处理能获得更优秀的分类效果。当前，已有的两种常用的人脸低层特征是Gabor特征和LBP特征。
Gabor特征：在高斯窗口约束下的局部区域内，Gabor滤波函数将在与其振荡方向平行的边缘处产生强烈的响应，而边缘对三维物体的识别是至关重要的。例如，人的视觉系统中有专门的细胞对局部变化发生反应。Gabor滤波可以看作一个对方向和尺度敏感的有方向性的显微镜，用其检测响应图像中一些具有相应的方向频率信息的、局部的显著特征。Gabor滤波可以形成亮度图像的局部特征图谱，这些局部特征形成了原始输入图像的一种鲁棒(如光照变化)、信息量丰富的特征表示。(邓伟洪，高精度人脸识别算法研究[D]，北京邮电大学博士学位论文，2008年)。
LBP特征：其基本思想是先使用纹理描述子得到若干个局部区域的描述，然后把它们结合成一个整体的描述。一般的纹理图像的特征大多反映在局部纹理的有规律重复，全局的纹理直方图可以鲁棒描述。所有的人脸模式都具有相似的形状规律，使用划分区域的直方图方法可以保存纹理间的空间关系，对于人脸识别非常重要。(张文超，山世光，等，基于局部Gabor变化直方图序列的人脸描述与识别[J]，软件学报，2006，17(12)：2508-2517)。
人脸能量图也是针对多姿态人脸识别的一种人脸特征。该特征的构建过程借鉴了步态均值图像的构建过程，是一种较新的人脸特征构建方法。但是该图像的构建只是简单的采用的了图像的平均叠加，构建得到能量图中无法反应不同质量或不同重要程度的人脸的影响。
发明内容
本发明所要解决的技术问题是：克服现有技术的不足，提供一种能够反应不同质量或不同重要程度的人脸，能够较好反应不同姿态人脸对新特征的影响的人脸底层特征构建方法。
本发明解决其技术问题所采用的技术方案是：该人脸底层特征构建方法，其特征在于：包括以下步骤，
1.1、读取人脸库中的参考人脸图像和具有姿态变化的多姿态人脸图像；
1.2、定位参考人脸和姿态人脸的双眼位置坐标，确定多姿态人脸左右摇摆角度；
1.3、根据得出的左右摇摆角度，计算发生摇摆变化人脸的权重值；
1.4、根据计算得出的权重值，计算新的人脸底层特征图像。
步骤1.2中所述的双眼位置坐标的获得是基于眼睛分类器从人脸图像中快速确定双眼候选区域，然后根据双眼在候选区中所处位置和所占比例，将候选区域分为宽度相同的左眼子区、中间子区和右眼子区三个子区域，再对包含眼睛的左眼子区和右眼子区分别求积分投影来准确定位双眼位置坐标。
步骤1.2中人脸左右摇摆角度α的求解公式为：
|BB′|为发生左右摇摆前后双眼产生的位移差，R为双眼旋转时所在圆的半径，点O(xo,yo)为所在圆的圆心的坐标，将点O(xo,yo)为所在圆的圆心的坐标代入式(1)求出半径R，则摇摆角度α可解，摇摆角α是双眼位置坐标值的函数，即：
α＝f(xA,xB,xA′,xB′)
其中，坐标A(xA,yA)、B(xB,yB)为发生摇摆前的双眼位置坐标，A′(xA′,yA′)、B′(xB′,yB′)为发生左右摇摆后双眼位置坐标。
步骤1.3所述的发生摇摆变化人脸的权重值的表达式为ω，第k幅人脸图像的权重值ωk的计算公式如下
其中，αk表示对应第k幅人脸图像的左右摇摆角度，则权值ωk的求解转化为计算摇摆角度αk。
步骤1.4中所述的新的人脸底层特征图像为多姿态人脸中某一人在不同俯仰角度、不同左右摇摆角度下的多幅图像的加权平均得到的特征图；给定的多姿态灰度人脸图像Ij(x,y)，新的人脸底层特征图的定义公式为：
其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，ωj表示对应第j幅人脸图像的权重值，x,y代表二维图像平面坐标。
所述的点O(xo,yo)为所在圆的圆心的坐标获得，
由公式(1)得出：
联立式(1)和(2)，化简整理可得：
同理可得：
显然，通过式(3)和(4)联立可求得圆心点O(xo,yo)的坐标。
与现有技术相比，本发明所具有的有益效果是：
本发明提供了一种新的人脸底层特征的构建方法，能够较好反应不同姿态人脸对新特征的影响。读取人脸图像后，首先，准确定位姿态人脸中双眼的精确位置，确定双眼位置坐标；然后，通过发生摇摆前的双眼位置坐标和发生摇摆之后的双眼位置坐标，准确计算人脸摇摆时所在圆的圆心坐标，基于以上五个关键点的坐标，计算出人脸的摇摆角度；最后，通过摇摆角度的大小，确定该幅人脸图像的权重取值，并将该权重取值用于最终的新特征构建。该方法在一定程度上能够更准确的反应不同人脸的不同影响，新的底层特征较好的融合了多幅人脸图像的综合信息，能够很好的节省存储空间，降低计算的复杂度，弱化单幅图像中出现的噪声干扰，为后期的深度特征提取和分类识别提供了一种计算简单，效果显著的新特征。
附图说明
图1为新的人脸底层特征图构建流程图。
图2为原始多种姿态的人脸图像。
图3为双眼定位效果图。
图4为姿态人脸旋转示意图。
图5为构建得到的新人脸底层特征图。
具体实施方式
图1～5是本发明的最佳实施例，下面结合附图1～5对本发明做进一步说明。
参照附图1～5：一种人脸底层特征构建方法，首先，读入人脸库中的参考人脸和多姿态人脸图像；其次，定位参考人脸和多姿态人脸的双眼位置坐标；然后，根据人脸发生姿态变化前后的双眼位置坐标，计算人脸的左右摇摆角度；第四，根据得出的左右摇摆角度，计算发生摇摆变化人脸的权重值；最后，利用计算出发生摇摆变化人脸的权重值，构建加权的人脸底层特征图像。
1、读取参考人脸和多姿态人脸图像
结合图2，充分说明新的人脸底层特征构建方法的计算步骤和有效性，本发明使用了麻省理工学院共享的多姿态人脸数据库中的图像。参考人脸选择一幅姿态较好的人脸即可。
2、定位参考人脸和多姿态人脸的双眼位置坐标
基于AdaBoost算法训练得到的眼睛分类器从人脸图像中快速确定双眼候选区域，然后根据双眼在候选区中所处位置和所占比例，将候选区域分为宽度相同的左眼子区、中间子区和右眼子区三个子区域，再对包含眼睛的左眼子区和右眼子区分别求积分投影来准确定位双眼位置。
3、根据人脸发生姿态变化前后的双眼位置坐标，计算人脸的左右摇摆角度
图3中给出了双眼定位效果图，结合图4，给出了人脸发生左右摇摆变化时，摇摆角的示意图。
图4中点A和B为人脸左右摇摆前的双眼位置，坐标分别为A(xA,yA)和B(xB,yB)。点A′(xA′,yA′)和B′(xB′,yB′)为发生向右摇摆后的双眼位置坐标。点O(xo,yo)是人脸横截面图所在圆的圆心。∠α为人脸向右的摇摆角。则：
一般情况下，圆心点O(xo,yo)的坐标无法通过定位得出，需通过计算获取。
由于：
联立式(1)和(2)，化简整理可得：
同理可得：
显然，通过式(3)和(4)联立可求得圆心点O(xo,yo)的坐标式，(3)和(4)联立为二元一次方程组，可求得圆心点O(xo,yo)的坐标。
xo＝f1(xA,xB,xA′,xB′) yo＝f2(xA,xB,xA′,xB′)。
将该结果代入式(1)求出半径R，则摇摆角度α可解，摇摆角α是双眼位置坐标值的函数，即：
α＝f(xA,xB,xA′,xB′)
4、根据得出的左右摇摆角度，计算发生摇摆变化人脸的权重值
第k幅人脸图像的权重值ωk的计算公式如下
其中，αk表示对应第k幅人脸图像的左右摇摆角度，则权值ωk的求解转化为计算摇摆角度αk。
5、构建加权的人脸底层特征图像。
对于给定的多姿态灰度人脸图像Ij(x,y)，新的人脸底层特征构建公式如下：
其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，ωj表示对应第j幅人脸图像的权重值，x,y代表二维图像平面坐标。如图5中给出的一幅构建得到的新人脸底层特征图。
该方法在一定程度上能够更准确的反应不同人脸的不同影响，新的底层特征较好的融合了多幅人脸图像的综合信息，能够很好的节省存储空间，降低计算的复杂度，弱化单幅图像中出现的噪声干扰，为后期的深度特征提取和分类识别提供了一种计算简单，效果显著的新特征。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (4)

1.一种人脸底层特征构建方法，其特征在于：包括以下步骤，
1.1、读取人脸库中的参考人脸图像和具有姿态变化的多姿态人脸图像；
1.2、定位参考人脸和多姿态人脸的双眼位置坐标，确定多姿态人脸左右摇摆角度；
1.3、根据得出的左右摇摆角度，计算发生摇摆变化人脸的权重值；
1.4、根据计算得出的权重值，计算新的人脸底层特征图像；
步骤1.2中所述的双眼位置坐标的获得是基于眼睛分类器从人脸图像中快速确定双眼候选区域，然后根据双眼在候选区中所处位置和所占比例，将候选区域分为宽度相同的左眼子区、中间子区和右眼子区三个子区域，再对包含眼睛的左眼子区和右眼子区分别求积分投影来准确定位双眼位置坐标；
步骤1.2中人脸左右摇摆角度α的求解公式为：
|BB′|为发生左右摇摆前后双眼产生的位移差，R为双眼旋转时所在圆的半径，点O(xo,yo)为所在圆的圆心的坐标，将所述圆心的坐标代入式(1)求出半径R，则摇摆角度α可解，摇摆角度α是双眼位置坐标值的函数，即：
α＝f(xA,xB,xA′,xB′)
其中，坐标A(xA,yA)、B(xB,yB)为发生摇摆前的双眼位置坐标，A′(xA′,yA′)、B′(xB′,yB′)为发生左右摇摆后双眼位置坐标。
2.根据权利要求1所述的一种人脸底层特征构建方法，其特征在于：步骤1.3所述的发生摇摆变化人脸的权重值的表达式为ω，第k幅人脸图像的权重值ωk的计算公式如下
其中，αk表示对应第k幅人脸图像的左右摇摆角度，则权值ωk的求解转化为计算摇摆角度αk，M表示同一人的不同姿态图像总数，j代表第j幅变化图像。
3.根据权利要求1所述的一种人脸底层特征构建方法，其特征在于：步骤1.4中所述的新的人脸底层特征图像为多姿态人脸中某一人在不同俯仰角度、不同左右摇摆角度下的多幅图像的加权平均得到的特征图；给定的多姿态灰度人脸图像Ij(x,y)，新的人脸底层特征图的定义公式为：
其中，M表示同一人的不同姿态图像总数，j代表第j幅变化图像，ωj表示对应第j幅人脸图像的权重值，x,y代表二维图像平面坐标。
4.根据权利要求1所述的一种人脸底层特征构建方法，其特征在于：所述的点O(xo,yo)为所在圆的圆心的坐标，
由式(1)得出：
联立式(1)和(2)，化简整理可得：
同理可得：
显然，通过式(3)和(4)联立可求得圆心点O(xo,yo)的坐标。
CN201610079262.0A 2016-02-04 2016-02-04 一种人脸底层特征构建方法 Expired - Fee Related CN105590107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610079262.0A CN105590107B (zh) 2016-02-04 2016-02-04 一种人脸底层特征构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610079262.0A CN105590107B (zh) 2016-02-04 2016-02-04 一种人脸底层特征构建方法

Publications (2)

Publication Number Publication Date
CN105590107A CN105590107A (zh) 2016-05-18
CN105590107B true CN105590107B (zh) 2019-07-02

Family

ID=55929677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610079262.0A Expired - Fee Related CN105590107B (zh) 2016-02-04 2016-02-04 一种人脸底层特征构建方法

Country Status (1)

Country Link
CN (1) CN105590107B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490029B (zh) * 2018-05-15 2022-04-15 瑞昱半导体股份有限公司 能够对脸部数据做差异化处理的影像处理方法
CN110555338A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 对象识别方法和装置、神经网络生成方法和装置
CN111291669B (zh) * 2020-01-22 2023-08-04 武汉大学 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458763A (zh) * 2008-10-30 2009-06-17 中国人民解放军国防科学技术大学 基于图像加权平均的自动人脸识别方法
CN102013011A (zh) * 2010-12-16 2011-04-13 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
CN102486868A (zh) * 2010-12-06 2012-06-06 华南理工大学 一种基于平均脸的美丽人脸合成方法
CN102915435A (zh) * 2012-10-23 2013-02-06 哈尔滨工程大学 一种基于人脸能量图的多姿态人脸识别方法
CN103218606A (zh) * 2013-04-10 2013-07-24 哈尔滨工程大学 一种基于人脸均值和方差能量图的多姿态人脸识别方法
CN103971096A (zh) * 2014-05-09 2014-08-06 哈尔滨工程大学 一种基于mb-lbp特征和人脸能量图的多姿态人脸识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458763A (zh) * 2008-10-30 2009-06-17 中国人民解放军国防科学技术大学 基于图像加权平均的自动人脸识别方法
CN102486868A (zh) * 2010-12-06 2012-06-06 华南理工大学 一种基于平均脸的美丽人脸合成方法
CN102013011A (zh) * 2010-12-16 2011-04-13 重庆大学 基于正脸补偿算子的多姿态人脸识别方法
CN102915435A (zh) * 2012-10-23 2013-02-06 哈尔滨工程大学 一种基于人脸能量图的多姿态人脸识别方法
CN103218606A (zh) * 2013-04-10 2013-07-24 哈尔滨工程大学 一种基于人脸均值和方差能量图的多姿态人脸识别方法
CN103971096A (zh) * 2014-05-09 2014-08-06 哈尔滨工程大学 一种基于mb-lbp特征和人脸能量图的多姿态人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Eyes Location Method Based on the AdaBoost Algorithm and Block Integral Projection;Guofeng Zou 等;《2013 25th Chinese Control and Decision Conference (CCDC)》;20131231;1483-1486
基于能量图与非线性耦合度量的人脸识别方法研究;邹国锋;《中国博士学位论文全文数据库信息科技辑》;20140415;第2014年卷(第4期);第2节，第2.1节，第2.3节，第3节，第3.1.1节，图2.1，图2.7，图3.1
多姿态人脸识别综述;邹国锋 等;《模式识别与人工智能》;20150731;第28卷(第7期);613-625
局部加权平均虚拟样本的多姿态人脸识别算法;张尤赛 等;《江苏科技大学学报( 自然科学版)》;20130228;第27卷(第1期);74-79

Also Published As

Publication number Publication date
CN105590107A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
CN106778468B (zh) 3d人脸识别方法及设备
Lin et al. Facet segmentation-based line segment extraction for large-scale point clouds
CN102592136B (zh) 基于几何图像中中频信息的三维人脸识别方法
CN105447441B (zh) 人脸认证方法和装置
CN106599785B (zh) 人体3d特征身份信息库的建立方法及设备
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN106796449A (zh) 视线追踪方法及装置
CN101558431A (zh) 脸认证设备
CN106778474A (zh) 3d人体识别方法及设备
CN102799872B (zh) 基于面部图像特征的图像处理方法
CN105354555B (zh) 一种基于概率图模型的三维人脸识别方法
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
CN105590107B (zh) 一种人脸底层特征构建方法
CN108052912A (zh) 一种基于矩傅里叶描述子的立体面像识别方法
CN106778491B (zh) 人脸3d特征信息的获取方法及设备
Makwana Illumination invariant face recognition: a survey of passive methods
Masaoud et al. A review paper on ear recognition techniques: models, algorithms and methods
Xie et al. Elastic shape-texture matching for human face recognition
Mian et al. 3D face recognition
Ibikunle et al. Face recognition using line edge mapping approach
Jaiswal et al. Brief description of image based 3D face recognition methods
Yan-Feng et al. The 3d face recognition algorithm fusing multi-geometry features
Mehrdad et al. 3D object retrieval based on histogram of local orientation using one-shot score support vector machine
Zou et al. 3-D face recognition based on warped example faces
Prakash et al. Human face detection and segmentation using eigenvalues of covariance matrix, Hough transform and raster scan algorithms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190702

Termination date: 20200204