CN104268539B - 一种高性能的人脸识别方法及系统 - Google Patents

一种高性能的人脸识别方法及系统 Download PDF

Info

Publication number
CN104268539B
CN104268539B CN201410553184.4A CN201410553184A CN104268539B CN 104268539 B CN104268539 B CN 104268539B CN 201410553184 A CN201410553184 A CN 201410553184A CN 104268539 B CN104268539 B CN 104268539B
Authority
CN
China
Prior art keywords
face
image
lbp
features
visual angles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410553184.4A
Other languages
English (en)
Other versions
CN104268539A (zh
Inventor
董兰芳
任乐乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201410553184.4A priority Critical patent/CN104268539B/zh
Publication of CN104268539A publication Critical patent/CN104268539A/zh
Application granted granted Critical
Publication of CN104268539B publication Critical patent/CN104268539B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高性能的人脸识别方法及系统，其中，该方法包括：基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化，获得归一化后的多个视角的人脸图像；将提取到的所述归一化后图像的方向梯度直方图HOG特征及局部二值模式LBP特征相连接，获得最终特征；提取样本库中的人脸图像的HOG特征及LBP特征的并进行训练后与所述最终特征相匹配，实现高性能的人脸识别；其中，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像。通过采用本发明公开的方法及系统，使得人脸识别性能不受光照条件和人脸姿态因素变化影响，提高了人脸识别速率，降低了计算复杂度。

Description

一种高性能的人脸识别方法及系统
技术领域
本发明涉及图像处理与模式识别技术领域，尤其涉及一种高性能的人脸识别方法及系统。
背景技术
人脸识别技术是通过分析脸部器官的唯一形状和位置来进行身份鉴别，是一种重要生物识别技术，广泛应用于银行监控、门禁系统、出入境检查、刑事侦查和疑犯追踪、场馆摄像监视、信息安全、家庭娱乐等诸多领域。
目前，人脸识别系统根据处理的数据不同分为二维人脸识别系统和三维人脸识别系统。
其中，二维人脸识别系统所采用的方法相对成熟，早于1991年Turk和Pentland提出的特征脸(Eigenfaces)方法就具有较好的识别效果。随后的研究中，基于神经网络的人脸识别方法、基于支持向量机(SVM)的人脸识别方法和基于小波变换的人脸识别方法等等都不断的涌现。但是，不论如何改进都无法克服二维人脸识别固有的缺陷，即光照条件和人脸姿态等因素的变化影响了待识别图像特征与样本库中图像特征的匹配，从而降低了识别性能。
而大部分的三维人脸识别方法是基于较抽象的空间几何特征，如采用迭代最近点方法进行曲面相似度匹配的识别方法、根据三维模型特征点定位提取局部区域进行曲线的匹配的识别方法。但是，三维人脸识别技术还不够成熟，三维数据又过于庞大，计算复杂，识别速率低，并且三维数据获取设备昂贵、三维数据获取条件受限，所以，三维人脸识别难以在实际应用中推广。
发明内容
本发明的目的是提供一种高性能的人脸识别方法及系统，使得人脸识别性能不受光照条件和人脸姿态因素变化影响，提高了人脸识别速率，降低了计算复杂度。
本发明的目的是通过以下技术方案实现的：
一种高性能的人脸识别方法，该方法包括：
基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化，获得归一化后的多个视角的二维人脸图像；
提取每一视角的归一化后二维人脸图像的方向梯度直方图HOG特征及局部二值模式LBP特征，并相连接，获得最终特征；
提取样本库中的人脸图像的HOG特征及LBP特征，采用树型结构SVM训练获得包含多个光照环境及多个视角的人脸光照姿态分类器，再计算LBP特征的平均特征向量，获得一平均LBP特征向量库；其中，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像；
利用获得人脸光照姿态分类器及平均LBP特征向量库与所述最终特征相匹配，实现高性能的人脸识别。
进一步的，所述基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化包括：
基于多视角进行人脸检测：对输入的彩色图像进行灰度化并进行直方图均衡化，分别使用正面、左侧面与右侧面人脸检测器进行人脸检测，并去除面积小于预定值的人脸检测结果，获得多视角的人脸图像；
人脸定位与归一化：基于HOG特征的混合树形结构特征点模型，在获得的多视角的人脸图像中进行特征点定位，当定位特征点后，根据人脸外轮廓特征点精确确定人脸区域，并通过剪裁和缩放人脸区域图像完成人脸图像归一化。
进一步的，所述提取每一视角的归一化后二维人脸图像的方向梯度直方图HOG特征及局部二值模式LBP特征，并相连接，获得最终特征包括：
对归一化后的图像进行直方图均衡化并提取HOG特征后，按照不同的分块策略对图像分块；
再采用混合LBP算子提取分块图像的LBP特征，并将提取到的HOG特征与LBP特征相连接，获得最终特征。
进一步的，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像包括：
从三维人脸模型中获取顶点、面片和纹理信息，通过OpenGL绘制出来，将绘制的三维人脸模型平移到世界坐标系下的原点；
再根据OpenGL中的光照模型分别在所述三维人脸模型的上面、下面、左侧、右侧和正面添加光照；
对于每一种光照，均围绕Z轴旋转所述三维人脸模型，绘制结果将缓冲到帧缓冲区FrameBuffer中，从FrameBuffer中提取数据并保存成图像，通过一系列的旋转变换后获得多视角的投影图像。
进一步的，所述利用获得人脸光照姿态分类器及平均LBP特征向量库与所述最终特征相匹配，实现高性能的人脸识别包括：
将所述最终特征中的HOG特征输入所述人脸光照姿态分类器中，所述人脸光照姿态分类器估计出该最终特征中的HOG特征对应人脸图像的光照和人脸姿态；
再采用度量方法度量所述最终特征中的LBP特征与平均LBP特征向量库中具有相同光照条件和姿态下的LBP特征的平均特征向量的匹配程度，并根据与预先设定的阈值进行比较获得识别结果，从而实现高性能的人脸识别。
一种高性能的人脸识别系统，该系统包括：
人脸图像获取模块，用于基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化，获得归一化后的多个视角的二维人脸图像；
最终特征获取模块，用于提取每一视角的归一化后二维人脸图像的方向梯度直方图HOG特征及局部二值模式LBP特征，并相连接，获得最终特征；
样本特征提取与训练模块，用于提取样本库中的人脸图像的HOG特征及LBP特征，采用树型结构SVM训练获得包含多个光照环境及多个视角的人脸光照姿态分类器，再计算LBP特征的平均特征向量，获得一平均LBP特征向量库；其中，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像；
人脸识别模块，用于利用获得人脸光照姿态分类器及平均LBP特征向量库与所述最终特征相匹配，实现高性能的人脸识别。
进一步的，所述人脸图像获取模块包括：
多视角人脸检测模块，用于基于多视角进行人脸检测：对输入的彩色图像进行灰度化并进行直方图均衡化，分别使用正面、左侧面与右侧面人脸检测器进行人脸检测，并去除面积小于预定值的人脸检测结果，获得多视角的人脸图像；
人脸定位与归一化模块，用于人脸定位与归一化：基于HOG特征的混合树形结构特征点模型，在获得的多视角的人脸图像中进行特征点定位，当定位特征点后，根据人脸外轮廓特征点精确确定人脸区域，并通过剪裁和缩放人脸区域图像完成人脸图像归一化。
进一步的，所述最终特征获取模块包括：
HOG特征提取及分块模块，用于对归一化后的图像进行直方图均衡化并提取HOG特征后，按照不同的分块策略对图像分块；
LBP特征提取及特征连接模块，用于采用混合LBP算子提取分块图像的LBP特征，并将提取到的HOG特征与LBP特征相连接，获得最终特征。
进一步的，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像包括：
从三维人脸模型中获取顶点、面片和纹理信息，通过OpenGL绘制出来，将绘制的三维人脸模型平移到世界坐标系下的原点；
再根据OpenGL中的光照模型分别在所述三维人脸模型的上面、下面、左侧、右侧和正面添加光照；
对于每一种光照，均围绕Z轴旋转所述三维人脸模型，绘制结果将缓冲到帧缓冲区FrameBuffer中，从FrameBuffer中提取数据并保存成图像，通过一系列的旋转变换后获得多视角的投影图像。
进一步的，所述人脸识别模块包括：
匹配识别模块，用于将所述最终特征中的HOG特征输入所述人脸光照姿态分类器中，所述人脸光照姿态分类器估计出该最终特征中的HOG特征对应人脸图像的光照和人脸姿态；再采用度量方法度量所述最终特征中的LBP特征与平均LBP特征向量库中具有相同光照条件和姿态下的LBP特征的平均特征向量的匹配程度，并根据与预先设定的阈值进行比较获得识别结果，从而实现高性能的人脸识别。
由上述本发明提供的技术方案可以看出，利用对三维人脸模型添加不同光照并生成多视角的投影图像，将这些能充分模拟实际情况中的人脸姿态和光照环境的图像作为训练样本，并在识别人脸的同时估计图像中人脸姿态与光照；由于主要采用的还是二维人脸图像进行识别，所以计算复杂度相对于三维识别要小，同时又结合了三维模型，所以能减少光照环境和人脸姿态变化对识别率的影响，从而能够提高人脸识别性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例一提供的一种高性能的人脸识别方法的流程图；
图2为本发明实施例二提供的一种包含样本处理、输入图片处理及人脸识别过程的总流程图；
图3为本发明实施例二提供的一种树形结构的分层SVM拓扑结构图；
图4为本发明实施例三提供的一种高性能的人脸识别系统的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
实施例一
图1为本发明实施例一提供的一种高性能的人脸识别方法的流程图。如图1所示，该方法主要包括如下步骤：
步骤11、基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化，获得归一化后的多个视角的二维人脸图像。
具体来说，本步骤包括：基于多视角进行人脸检测：对输入的彩色图像进行灰度化并进行直方图均衡化，分别使用正面、左侧面与右侧面人脸检测器进行人脸检测，并去除面积小于预定值的人脸检测结果，获得多视角的人脸图像；
人脸定位与归一化：基于HOG(方向梯度直方图)特征的混合树形结构特征点模型，在获得的多视角的人脸图像中进行特征点定位，当定位特征点后，根据人脸外轮廓特征点精确确定人脸区域，并通过剪裁和缩放人脸区域图像完成人脸图像归一化。
步骤12、提取每一视角的归一化后二维人脸图像的HOG特征及LBP特征，并相连接，获得最终特征。
本发明实施例中，首先，对归一化后的图像进行直方图均衡化并提取HOG特征后，按照不同的分块策略对图像分块；再采用混合LBP(局部二值模式)算子提取分块图像的LBP特征，并将提取到的HOG特征与LBP特征相连接，获得最终特征。
步骤13、提取样本库中的人脸图像的HOG特征及LBP特征，采用树型结构SVM训练获得包含多个光照环境及多个视角的人脸光照姿态分类器，再计算LBP特征的平均特征向量，获得一平均LBP特征向量库。
本发明实施例中，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像；具体的：从三维人脸模型中获取顶点、面片和纹理信息，通过OpenGL绘制出来，将绘制的三维人脸模型平移到世界坐标系下的原点；再根据OpenGL中的光照模型分别在所述三维人脸模型的上面、下面、左侧、右侧和正面添加光照；对于每一种光照，均围绕Z轴旋转所述三维人脸模型，绘制结果将缓冲到FrameBuffer(帧缓冲区)中，从FrameBuffer中提取数据并保存成图像，通过一系列的旋转变换后获得多视角的投影图像。
本步骤可采用与步骤12类似的方法提取样本库中人脸图像的HOG特征及LBP特征，然后，采用树型结构SVM训练(HOG特征)获得包含多个光照环境及多个视角的人脸光照姿态分类器，再计算LBP特征的平均特征向量，获得平均LBP特征向量库。
步骤14、利用获得人脸光照姿态分类器及平均LBP特征向量库与所述最终特征相匹配，实现高性能的人脸识别。
匹配识别的步骤如下：将所述最终特征中的HOG特征输入所述人脸光照姿态分类器中，所述人脸光照姿态分类器估计出该最终特征中的HOG特征对应人脸图像的光照和人脸姿态；再采用度量方法度量所述最终特征中的LBP特征与平均LBP特征向量库中具有相同光照条件和姿态下的LBP特征的平均特征向量的匹配程度，并根据与预先设定的阈值进行比较获得识别结果，从而实现高性能的人脸识别。
本发明实施例通过利用对三维人脸模型添加不同光照并生成多视角的投影图像，将这些能充分模拟实际情况中的人脸姿态和光照环境的图像作为训练样本，并在识别人脸的同时估计图像中人脸姿态与光照；由于主要采用的还是二维人脸图像进行识别，所以计算复杂度相对于三维识别要小，同时又结合了三维模型，所以能减少光照环境和人脸姿态变化对识别率的影响，从而能够提高人脸识别性能。
实施例二
为了便于理解本发明，下面结合附图2对本发明做进一步的介绍。
如图2所示，本发明主要包括三个部分处理流程：1)针对输入图像进行处理的流程；2)针对样本库的处理流程；3)结合1)与2)进行人脸识别的过程。
1、右侧针对输入图像进行处理与识别的流程主要包括：人脸检测、人脸定位与归一化以及特征提取。
1)人脸检测为多视角的人脸检测主要包括：对图像灰度化后进行直方图均衡化以减少光线过暗或过亮的影响，然后使用基于Haar特征(矩形)的Adaboost(一种迭代算法)人脸检测算法进行人脸检测。
考虑到多姿态的人脸其Haar特征明显不同，所以本发明实施例中，将人脸姿态分为正面、侧面这两类，分别训练得到正面人脸检测器和侧面人脸检测器。人脸姿态中的侧脸可分为左侧脸与右侧脸，根据人脸的对称性，图像中的右侧脸通过水平翻转变换可转变为左侧脸，在进行人脸检测时，本发明实施例只需采用左侧脸检测器对待检测图像检测侧脸。
本发明实施例中，多视角的人脸检测主要有以下几个步骤：
a.如果输入图像为彩色图像，对其进行灰度化，对灰度化后的图像统计直方图并均衡化，使用正面人脸检测器检测图像，记录检测结果后将检测区域的灰度值设置为0；
b.对上一步骤中生成的图像使用左侧面人脸检测器检测，同理，记录检测结果后将检测区域的灰度值设置为0；
c.对上一步骤中生成的图像做一次水平翻转变换后再使用左侧面人脸检测器检测，记录检测结果；
d.综合上述步骤中检测的结果，对于面积过小的检测区域删去，得到最终的多视角的人脸检测图像。
2)人脸定位与归一化：人脸检测粗略确定人脸候选区域后需要根据人脸特征点定位算法精确确定人脸区域，并对人脸区域进行大小归一化。
本发明实施例所采用的特征点模型是一种基于HOG特征的混合树形结构特征点模型，根据人脸偏转角度的不同，从-90度到90度，即全右侧脸偏转180度到全左侧脸的人脸特征点模型分成了13个模型，其中-45度到45度之间的模型最多具有68个特征点，其他模型最多具有39个特征点。采用该模型在人脸图像内进行特征点定位，由于人脸图像可能只包含人脸的部分，为了提高特征点定位的准确性，对人脸检测区域向左、右、下这三个方向扩大一点。
当定位特征点后，根据人脸外轮廓特征点精确确定人脸区域，并通过剪裁和缩放人脸区域图像，使人脸区域图像大小统一，例如，可统一为64×64像素，即图像宽度与高度都为64像素。具体来说，根据定位的特征点确定人脸区域的上下边界，即确定人脸的高度H，然后根据定位的特征点能够计算出人脸的宽度W。如果H/W大于1就通过将人脸区域左边界左移和人脸区域右边界右移来增加W使得H/W＝1；如果H/W小于1就通过将人脸区域左边界右移和人脸区域右边界左移来减小W使得H/W＝1；高度与宽度比例固定后对图像进行双线性插值缩放，使其大小归一化为64×64像素。
3)特征提取：对于归一化后的图像进行直方图均衡化并提取HOG特征后，按照不同的分块策略对图像分块，并采用混合LBP算子提取分块区域的LBP特征，最后将HOG特征与LBP特征联接起来，构成最终的特征向量。
本发明实施例中，HOG特征是描述子是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它是通过计算和统计图像局部区域的梯度方向直方图来构成特征。LBP是一种局部纹理描述算子，当图像的灰度特征呈线性变化时，其LBP特征能够保持不变。LBP特征提取时采用传统LBP算子和均匀LBP算子相结合。由于均匀模式LBP在整个LBP特征中占85％-90％，而均匀LBP特征维数为58，远小于传统LBP特征维数的256，所以本发明为了降低特征维数，将提取分块图像的均匀LBP。
特征向量的提取具体有以下几个步骤：
HOG特征提取：采用常规方法直接对上述归一化的图像提取HOG特征；例如，归一化为64×64像素，则提取的HOG特征维数为1764。
LBP特征提取：
a.使用传统LBP算子处理原始图像，并统计处理后的LBP图像的每个像素的值得到该LBP图像的直方图H0；
b.对图像进行分块(例如，分为四等份)，每一块采用均匀LBP算子处理，并统计得到相应的直方图再将所有的直方图按照一定顺序联合构成H1；再对图像进行精细分块(例如，分为十六等份)，并使用相同的方法处理分块图像，得到H2；
c.将上述步骤中的直方图H0，H1，H2连接成直方图H1；示例性的，上述过程获得的直方图可以使用的采样点为8，采样半径为1的LBP算子；
d.使用采样点为8，采样半径为2的LBP算子替换上述算子，重复步骤a)、b)、c)，得到直方图H2。联合H1和H2，得到特征向量H；
e.使用以上特征提取方法提取归一化为64×64像素的图像，得到的LBP特征向量的维数为2872。
f.将上述步骤中提取的HOG特征与LBP特征连接形成最终的特征向量。
2、左侧针对样本库的处理流程主要包括：样本生成(绘制三维人脸模型、生成二维投影、人脸定位与归一化)、特征提取与训练分类。
首先，样本生成主要包括：读取三维人脸模型，并对模型添加各种光照，变换姿态得到模型不同光照条件与姿态下的二维投影图像，从而生成训练样本，再根据特征点定位算法与特征提取算法得到样本特征数据库。具体来说，先从三维人脸模型中获取顶点，面片和纹理信息，通过OpenGL绘制出来，将绘制的三维人脸模型平移到世界坐标系下的原点，模型始终朝向观察者；然后，根据OpenGL中的光照模型分别在所述三维人脸模型的上面、下面、左侧、右侧和正面添加光照。对于每一种光照，均围绕Z轴旋转模型，绘制结果将会缓冲到FrameBuffer(帧缓冲区)中，从FrameBuffer中提取数据并保存成图像即可得到二维投影图像，通过一系列的旋转变换后生成多视角的样本图像。
其次，特征提取与训练分类包括：首先，提取所有训练样本图像的特征(HOG特征及LBP特征)构成样本特征数据库；再利用样本库中的人脸图像的HOG特征训练支持向量机(SVM)得到人脸光照姿态分类器(包含多个光照环境的光照模型分类器与包含多个视角的人脸姿态分类器)，并计算LBP特征的平均特征向量。
示例性的，对于获得的样本特征数据库中的前1764维特征向量(即HOG特征)采用树形结构的分层SVM训练得到光照模型分类器与人脸姿态分类器其拓扑结构如图3所示(根据一光照环境分类)，然后，根据一定的分类方式对样本特征数据库分类，并计算每一类特征向量的后2872维特征(即LBP特征)的平均特征向量。
具体的：根据光源位于三维人脸模型的正面，左侧面，右侧面，上面，下面这五种光照环境，将对应的二维投影图像分为五大类，样本特征数据库中的特征也分为五大类并使用特征向量的前1764维，即HOG特征训练第一层的SVM。
对于同一种光照环境下，将样本分成五类，对应样本特征数据库中的特征也分为五类并使用特征向量的前1764维，即HOG特征训练第二层的SVM，这五类的划分是根据投影样本图像中人脸偏转角度的不同进行的，即[-90°,-45°)为第一类，[-45°,-15°)为第二类，[-15°,15°]为第三类，(15°,45°]为第四类，(45°,90°]为第五类。
对于同一种光照环境，人脸偏转角度在同一范围的样本图像根据其是否属于同一三维人脸模型进行分类，计算每一类图像特征向量后2872维，即LBP特征的平均特征向量并存储。
上述训练过程产生了一个光照模型分类器、五个姿态模型分类器和一个平均LBP特征向量库。
本发明实施例中，SVM是一种基于结构风险最小化原则(即兼顾训练误差与测试误差的最小化)的学习方法，SVM的基本思想是在样本空间构造出最优超平面，使得超平面与不同类样本集之间的距离达到最大。由于SVM本身是一种处理两类问题的方法，在处理多类问题时有两种基本策略，即1-多判别策略和1-1判别策略。本发明中的树形结构的分层SVM将采用1-1的判别策略。
3、人脸识别的过程。
本发明实施例中，结合前述1-2部分的结果进行人脸的识别；即，将前述部分1中获得的最终的特征向量中的HOG特征输入所述人脸光照姿态分类器中，所述人脸光照姿态分类器估计出该人脸图像的光照和人脸姿态；再采用度量方法度量所述最终特征中的LBP特征与平均LBP特征向量库中具有相同光照条件和姿态下的LBP特征的平均特征向量的匹配程度，并根据与预先设定的阈值比较获得识别结果，从而实现高性能的人脸识别。
由于训练样本集中的图像能充分模拟实际情况中的光照环境与人脸姿态，同时HOG特征能提取形状信息，可以有效用于估计人脸姿态，而LBP作为一种纹理描述算子对线性光照具有不变性，所以本发明能够解决二维人脸识别性能受光照姿态变化影响较大的缺陷。
本发明实施例利用对三维人脸模型添加不同光照并生成多视角的投影图像，将这些能充分模拟实际情况中的人脸姿态和光照环境的图像作为训练样本，并在识别人脸的同时估计图像中人脸姿态与光照；由于主要采用的还是二维人脸图像进行识别，所以计算复杂度相对于三维识别要小，同时又结合了三维模型，所以能减少光照环境和人脸姿态变化对识别率的影响，从而能够提高人脸识别性能。
实施例三
图4为本发明实施例三提供的一种高性能的人脸识别系统的示意图。如图4所示，该系统主要包括：
人脸图像获取模块41，用于基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化，获得归一化后的多个视角的二维人脸图像；
最终特征获取模块42，用于提取每一视角的归一化后二维人脸图像的方向梯度直方图HOG特征及局部二值模式LBP特征，并相连接，获得最终特征；
样本特征提取与训练模块43，用于提取样本库中的人脸图像的HOG特征及LBP特征，采用树型结构SVM训练获得包含多个光照环境及多个视角的人脸光照姿态分类器，再计算LBP特征的平均特征向量，获得一平均LBP特征向量库；其中，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像；
人脸识别模块44，用于将样本库中的人脸图像的HOG特征及LBP特征的融合特征，与所述最终特征相匹配，实现高性能的人脸识别。
进一步的，所述人脸图像获取模块41可以包括：
多视角人脸检测模块411，用于基于多视角进行人脸检测：对输入的彩色图像进行灰度化并进行直方图均衡化，分别使用正面、左侧面与右侧面人脸检测器进行人脸检测，并去除面积小于预定值的人脸检测结果，获得多视角的人脸图像；
人脸定位与归一化模块412，用于人脸定位与归一化：基于HOG特征的混合树形结构特征点模型，在获得的多视角的人脸图像中进行特征点定位，当定位特征点后，根据人脸外轮廓特征点精确确定人脸区域，并通过剪裁和缩放人脸区域图像完成人脸图像归一化。
进一步的，所述最终特征获取模块42可以包括：
HOG特征提取及分块模块421，用于对归一化后的图像进行直方图均衡化并提取HOG特征后，按照不同的分块策略对图像分块；
LBP特征提取及特征连接模块422，用于采用混合LBP算子提取分块图像的LBP特征，并将提取到的HOG特征与LBP特征相连接，获得最终特征。
进一步的，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像包括：
从三维人脸模型中获取顶点、面片和纹理信息，通过OpenGL绘制出来，将绘制的三维人脸模型平移到世界坐标系下的原点；
再根据OpenGL中的光照模型分别在所述三维人脸模型的上面、下面、左侧、右侧和正面添加光照；
对于每一种光照，均围绕Z轴旋转所述三维人脸模型，绘制结果将缓冲到帧缓冲区FrameBuffer中，从FrameBuffer中提取数据并保存成图像，通过一系列的旋转变换后获得多视角的投影图像。
进一步的，所述人脸识别模块44可以包括：匹配识别模块441，用于将所述最终特征中的HOG特征输入所述人脸光照姿态分类器中，所述人脸光照姿态分类器估计出该最终特征中的HOG特征对应人脸图像的光照和人脸姿态；再采用度量方法度量所述最终特征中的LBP特征与平均LBP特征向量库中具有相同光照条件和姿态下的LBP特征的平均特征向量的匹配程度，并根据与预先设定的阈值进行比较获得识别结果，从而实现高性能的人脸识别。
需要说明的是，上述系统中包含的各个功能模块所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种高性能的人脸识别方法，其特征在于，该方法包括：
基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化，获得归一化后的多个视角的二维人脸图像；
提取每一视角的归一化后二维人脸图像的方向梯度直方图HOG特征及局部二值模式LBP特征，并相连接，获得最终特征；
提取样本库中的人脸图像的HOG特征及LBP特征，采用树型结构SVM训练获得包含多个光照环境及多个视角的人脸光照姿态分类器，再计算LBP特征的平均特征向量，获得一平均LBP特征向量库；其中，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像；
利用获得人脸光照姿态分类器及平均LBP特征向量库与所述最终特征相匹配，实现高性能的人脸识别；
其中，所述基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化包括：
基于多视角进行人脸检测：对输入的彩色图像进行灰度化并进行直方图均衡化，分别使用正面、左侧面与右侧面人脸检测器进行人脸检测，并去除面积小于预定值的人脸检测结果，获得多视角的人脸图像；
人脸定位与归一化：基于HOG特征的混合树形结构特征点模型，在获得的多视角的人脸图像中进行特征点定位，当定位特征点后，根据人脸外轮廓特征点精确确定人脸区域，并通过剪裁和缩放人脸区域图像完成人脸图像归一化。
2.根据权利要求1所述的方法，其特征在于，所述提取每一视角的归一化后二维人脸图像的方向梯度直方图HOG特征及局部二值模式LBP特征，并相连接，获得最终特征包括：
对归一化后的图像进行直方图均衡化并提取HOG特征后，按照不同的分块策略对图像分块；
再采用混合LBP算子提取分块图像的LBP特征，并将提取到的HOG特征与LBP特征相连接，获得最终特征。
3.根据权利要求1所述的方法，其特征在于，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像包括：
从三维人脸模型中获取顶点、面片和纹理信息，通过OpenGL绘制出来，将绘制的三维人脸模型平移到世界坐标系下的原点；
再根据OpenGL中的光照模型分别在所述三维人脸模型的上面、下面、左侧、右侧和正面添加光照；
对于每一种光照，均围绕Z轴旋转所述三维人脸模型，绘制结果将缓冲到帧缓冲区FrameBuffer中，从FrameBuffer中提取数据并保存成图像，通过一系列的旋转变换后获得多视角的投影图像。
4.根据权利要求1所述的方法，其特征在于，所述利用获得人脸光照姿态分类器及平均LBP特征向量库与所述最终特征相匹配，实现高性能的人脸识别包括：
将所述最终特征中的HOG特征输入所述人脸光照姿态分类器中，所述人脸光照姿态分类器估计出该最终特征中的HOG特征对应人脸图像的光照和人脸姿态；
再采用度量方法度量所述最终特征中的LBP特征与平均LBP特征向量库中具有相同光照条件和姿态下的LBP特征的平均特征向量的匹配程度，并根据与预先设定的阈值进行比较获得识别结果，从而实现高性能的人脸识别。
5.一种高性能的人脸识别系统，其特征在于，该系统包括：
人脸图像获取模块，用于基于多视角进行人脸检测，并根据人脸特征点定位算法确定人脸区域后进行图像归一化，获得归一化后的多个视角的二维人脸图像；
最终特征获取模块，用于提取每一视角的归一化后二维人脸图像的方向梯度直方图HOG特征及局部二值模式LBP特征，并相连接，获得最终特征；
样本特征提取与训练模块，用于提取样本库中的人脸图像的HOG特征及LBP特征，采用树型结构SVM训练获得包含多个光照环境及多个视角的人脸光照姿态分类器，再计算LBP特征的平均特征向量，获得一平均LBP特征向量库；其中，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像；
人脸识别模块，用于利用获得人脸光照姿态分类器及平均LBP特征向量库与所述最终特征相匹配，实现高性能的人脸识别；
其中，所述人脸图像获取模块包括：
多视角人脸检测模块，用于基于多视角进行人脸检测：对输入的彩色图像进行灰度化并进行直方图均衡化，分别使用正面、左侧面与右侧面人脸检测器进行人脸检测，并去除面积小于预定值的人脸检测结果，获得多视角的人脸图像；
人脸定位与归一化模块，用于人脸定位与归一化：基于HOG特征的混合树形结构特征点模型，在获得的多视角的人脸图像中进行特征点定位，当定位特征点后，根据人脸外轮廓特征点精确确定人脸区域，并通过剪裁和缩放人脸区域图像完成人脸图像归一化。
6.根据权利要求5所述的系统，其特征在于，所述最终特征获取模块包括：
HOG特征提取及分块模块，用于对归一化后的图像进行直方图均衡化并提取HOG特征后，按照不同的分块策略对图像分块；
LBP特征提取及特征连接模块，用于采用混合LBP算子提取分块图像的LBP特征，并将提取到的HOG特征与LBP特征相连接，获得最终特征。
7.根据权利要求5所述的系统，其特征在于，所述样本库中的人脸图像为添加了光照的三维人脸模型的多视角投影图像包括：
从三维人脸模型中获取顶点、面片和纹理信息，通过OpenGL绘制出来，将绘制的三维人脸模型平移到世界坐标系下的原点；
再根据OpenGL中的光照模型分别在所述三维人脸模型的上面、下面、左侧、右侧和正面添加光照；
对于每一种光照，均围绕Z轴旋转所述三维人脸模型，绘制结果将缓冲到帧缓冲区FrameBuffer中，从FrameBuffer中提取数据并保存成图像，通过一系列的旋转变换后获得多视角的投影图像。
8.根据权利要求5或7所述的系统，其特征在于，所述人脸识别模块包括：
匹配识别模块，用于将所述最终特征中的HOG特征输入所述人脸光照姿态分类器中，所述人脸光照姿态分类器估计出该最终特征中的HOG特征对应人脸图像的光照和人脸姿态；再采用度量方法度量所述最终特征中的LBP特征与平均LBP特征向量库中具有相同光照条件和姿态下的LBP特征的平均特征向量的匹配程度，并根据与预先设定的阈值进行比较获得识别结果，从而实现高性能的人脸识别。
CN201410553184.4A 2014-10-17 2014-10-17 一种高性能的人脸识别方法及系统 Expired - Fee Related CN104268539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410553184.4A CN104268539B (zh) 2014-10-17 2014-10-17 一种高性能的人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410553184.4A CN104268539B (zh) 2014-10-17 2014-10-17 一种高性能的人脸识别方法及系统

Publications (2)

Publication Number Publication Date
CN104268539A CN104268539A (zh) 2015-01-07
CN104268539B true CN104268539B (zh) 2017-10-31

Family

ID=52160059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410553184.4A Expired - Fee Related CN104268539B (zh) 2014-10-17 2014-10-17 一种高性能的人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN104268539B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933441B (zh) * 2015-06-12 2018-08-10 北京科富兴科技有限公司 目标检测系统及方法
CN106326816A (zh) 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 一种面部识别系统及面部识别方法
CN105224911A (zh) * 2015-08-27 2016-01-06 湖北文理学院 一种多视角实时行人检测方法及系统
CN105260749B (zh) * 2015-11-02 2018-11-13 中国电子科技集团公司第二十八研究所 基于方向梯度二值模式和软级联svm的实时目标检测方法
CN105654048A (zh) * 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 一种多视角人脸比对方法
CN105740775B (zh) * 2016-01-25 2020-08-28 北京眼神智能科技有限公司 一种三维人脸活体识别方法及其装置
CN107038401B (zh) * 2016-02-03 2018-10-30 北方工业大学 一种嘴唇轮廓的分割及特征提取方法
CN105608448B (zh) * 2016-02-22 2019-08-09 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置
JP2017182129A (ja) * 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置。
CN107315984B (zh) * 2016-04-26 2020-04-28 杭州华为企业通信技术有限公司 一种行人检索的方法及装置
CN105989363B (zh) * 2016-04-29 2017-04-12 李鑫 多角度人脸图片库的建立方法
CN106054278B (zh) * 2016-07-07 2018-06-12 王飞 一种头部三维数据采集及身份识别的安检门及方法
CN106372578A (zh) * 2016-08-25 2017-02-01 广州御银科技股份有限公司 一种基于3d人脸模型的人脸反塑装置
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106548195A (zh) * 2016-10-13 2017-03-29 华南理工大学 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN106548157A (zh) * 2016-11-03 2017-03-29 贺江涛 一种基于银行服务机器人的人眼球方向识别方法
CN106339702A (zh) * 2016-11-03 2017-01-18 北京星宇联合投资管理有限公司 一种基于多特征融合的人脸识别方法
CN106815560B (zh) * 2016-12-22 2021-03-12 广州大学 一种应用于自适应驾座的人脸识别方法
CN106599870A (zh) * 2016-12-22 2017-04-26 山东大学 一种基于自适应加权局部特征融合的人脸识别方法
CN106934353B (zh) * 2017-02-28 2020-08-04 北京奥开信息科技有限公司 一种用于养老机器人的人脸识别及主动跟踪的方法
CN107239734A (zh) * 2017-04-20 2017-10-10 合肥工业大学 一种用于监狱出入口管理系统的三维人脸识别方法
CN107247936A (zh) * 2017-05-31 2017-10-13 北京小米移动软件有限公司 图像识别方法及装置
CN109033923A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种检测图片中人体朝向的方法及装置
CN107463875A (zh) * 2017-07-03 2017-12-12 金讯系统管理有限公司 一种判断人员身份的方法和装置
CN107403168B (zh) * 2017-08-07 2020-08-11 青岛有锁智能科技有限公司 一种面部识别系统
CN107609535A (zh) * 2017-09-28 2018-01-19 天津大学 基于共享池混合树模型的人脸检测、姿态估计和定位方法
CN107657706A (zh) * 2017-10-27 2018-02-02 佛山科学技术学院 一种基于rfid与人脸识别的门禁系统及联合识别方法
CN107729875A (zh) * 2017-11-09 2018-02-23 上海快视信息技术有限公司 三维人脸识别方法和装置
CN108171174A (zh) * 2017-12-29 2018-06-15 盎锐（上海）信息科技有限公司 基于3d摄像的训练方法及装置
CN108256477B (zh) * 2018-01-17 2023-04-07 百度在线网络技术（北京）有限公司 一种用于检测人脸的方法和装置
US10885314B2 (en) * 2018-01-22 2021-01-05 Kneron Inc. Face identification system and face identification method with high security level and low power consumption
CN108335198A (zh) * 2018-02-07 2018-07-27 平安科技（深圳）有限公司 客户风险测评方法、装置、设备及计算机可读存储介质
CN110647782A (zh) * 2018-06-08 2020-01-03 北京信息科技大学 三维人脸重建与多姿态人脸识别方法及装置
CN108960209B (zh) * 2018-08-09 2023-07-21 腾讯科技（深圳）有限公司 身份识别方法、装置及计算机可读存储介质
CN109388727A (zh) * 2018-09-12 2019-02-26 中国人民解放军国防科技大学 一种基于聚类的bgp人脸快速检索方法
CN109558794B (zh) * 2018-10-17 2024-06-28 平安科技（深圳）有限公司 基于摩尔纹的图像识别方法、装置、设备和存储介质
CN111507467A (zh) * 2019-01-31 2020-08-07 北京奇虎科技有限公司 神经网络模型的训练方法、装置、计算机设备及存储介质
CN110119691B (zh) * 2019-04-19 2021-07-20 华南理工大学 一种基于局部二维模式和不变矩查找的人像定位方法
CN110189447B (zh) * 2019-05-31 2022-03-22 安徽无界万禾传媒科技有限公司 一种基于人脸身份识别的智慧社区闸机控制系统
CN110232376B (zh) * 2019-06-11 2021-04-20 重庆邮电大学 一种利用投影回归的齿轮式数字仪表识别方法
CN110490065B (zh) * 2019-07-11 2024-02-02 平安科技（深圳）有限公司 人脸识别方法及装置、存储介质、计算机设备
CN110647865B (zh) * 2019-09-30 2023-08-08 腾讯科技（深圳）有限公司 人脸姿态的识别方法、装置、设备及存储介质
CN111598110B (zh) * 2020-05-11 2023-04-28 重庆大学 基于网格细胞记忆的hog算法图像识别方法
CN111881732B (zh) * 2020-06-17 2022-06-07 北京邮电大学 一种基于svm的人脸质量评价方法
CN111860288B (zh) * 2020-07-16 2023-12-22 启航汽车有限公司 人脸识别方法、装置及系统、可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867174A (zh) * 2012-08-30 2013-01-09 中国科学技术大学 一种人脸特征定位方法及装置
CN103914676A (zh) * 2012-12-30 2014-07-09 杭州朗和科技有限公司 一种在人脸识别中使用的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867174A (zh) * 2012-08-30 2013-01-09 中国科学技术大学 一种人脸特征定位方法及装置
CN103914676A (zh) * 2012-12-30 2014-07-09 杭州朗和科技有限公司 一种在人脸识别中使用的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Pedestrian Detection Based on HOG-LBP Feature;GuoLong Gan 等;《2011 Seventh International Conference on Computational Intelligence and Security》;20111204;第1184-1187页 *
可变光照和可变条件下的人脸图像识别研究;胡元奎;《万方数据库》;20070702;第109页 *
基于Android平台的人脸识别研究;鲁魁魁;《万方数据库》;20121130;第2、26、49页 *

Also Published As

Publication number Publication date
CN104268539A (zh) 2015-01-07

Similar Documents

Publication Publication Date Title
CN104268539B (zh) 一种高性能的人脸识别方法及系统
Papazov et al. Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features
CN109359526B (zh) 一种人脸姿态估计方法、装置和设备
CN107742102B (zh) 一种基于深度传感器的手势识别方法
CN107093205B (zh) 一种基于无人机图像的三维空间建筑物窗户检测重建方法
Xu et al. Hierarchical semantic propagation for object detection in remote sensing imagery
CN110263774A (zh) 一种人脸检测方法
CN108427871A (zh) 3d人脸快速身份认证方法与装置
CN108470354A (zh) 视频目标跟踪方法、装置和实现装置
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN110008913A (zh) 基于姿态估计与视点机制融合的行人再识别方法
CN104050475A (zh) 基于图像特征匹配的增强现实的系统和方法
CN105893946A (zh) 一种正面人脸图像的检测方法
CN103310233A (zh) 同类行为多视图间相似度挖掘方法及行为识别方法
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN104966081B (zh) 书脊图像识别方法
CN103310194A (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN109711416A (zh) 目标识别方法、装置、计算机设备和存储介质
Liu et al. A novel rock-mass point cloud registration method based on feature line extraction and feature point matching
CN104732247B (zh) 一种人脸特征定位方法
CN110348310A (zh) 一种霍夫投票3d彩色点云识别方法
Pratikakis et al. Partial 3D object retrieval combining local shape descriptors with global fisher vectors
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN109886091A (zh) 基于带权重局部旋度模式的三维人脸表情识别方法
CN108876819A (zh) 一种基于泊松多伯努利滤波的三维多目标追踪算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171031