CN104143081A - 基于嘴部特征的笑脸识别系统及方法 - Google Patents

基于嘴部特征的笑脸识别系统及方法 Download PDF

Info

Publication number
CN104143081A
CN104143081A CN201410321034.0A CN201410321034A CN104143081A CN 104143081 A CN104143081 A CN 104143081A CN 201410321034 A CN201410321034 A CN 201410321034A CN 104143081 A CN104143081 A CN 104143081A
Authority
CN
China
Prior art keywords
mouth
face
feature
image
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410321034.0A
Other languages
English (en)
Inventor
李保印
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wingtech Communication Co Ltd
Original Assignee
Wingtech Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wingtech Communication Co Ltd filed Critical Wingtech Communication Co Ltd
Priority to CN201410321034.0A priority Critical patent/CN104143081A/zh
Publication of CN104143081A publication Critical patent/CN104143081A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明揭示了一种基于嘴部特征的笑脸识别系统及方法,所述笑脸识别系统包括:人脸定位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模块、基于支持向量机的分类模块。基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位。基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类。本发明提出的基于嘴部特征的笑脸识别系统及方法,可提高笑脸识别的效率及精度。

Description

基于嘴部特征的笑脸识别系统及方法
技术领域
本发明属于笑脸识别技术领域,涉及一种笑脸识别系统,尤其涉及一种基于嘴部特征的笑脸识别系统;同时,本发明还涉及一种基于嘴部特征的笑脸识别方法。
背景技术
随着人们生活水平的不断提高,以及多媒体技术的发展,具有拍照功能的移动终端产品得到了广泛的普及,比如手机、数码相机等,这自然而然也就带动了各个生产商之间的竞争。各个生产商为了能够在激烈的市场竞争中立于不败之地,纷纷在他们的产品中增加一些特殊功能以吸引消费者的眼球,而笑脸识别正是这些特殊功能中重要的一种。
笑脸识别功能是基于对消费者行为和需求的深入了解而推出的一款人性化的产品。它可以更好地满足用户在拍摄中对于笑脸拍摄的需要,方便用户拍摄到生活中难得的瞬间的灿烂笑容。目前,笑脸识别功能已经广泛地用于数码相机、手机、数码摄像机等数码产品中。
虽然近年来笑脸识别的功能被广泛地用于数码相机、手机等移动终端中,但是,人类表情的表现方式有细微的和强烈的、缓和的和激动的、轻松的和紧张的诸多形式,同一种表情往往表现出不同的强度。比如同样是高兴的表情,不同的人却有不同的表现形式,有些只是嘴角稍微向两侧上抬:而有些则不仅仅是嘴角的上抬,而是先将整个嘴轻微的张开,然后向左右两边运动等。这就给笑脸的确切识别带来了一定的困难,从而也就影响了笑脸识别功能的实际应用性能。
有鉴于此,如今迫切需要设计一种新的笑脸识别方法,以便克服现有识别方法的上述缺陷。
发明内容
本发明所要解决的技术问题是:提供一种基于嘴部特征的笑脸识别系统,可提高笑脸识别的效率及精度。
此外,本发明还提供一种基于嘴部特征的笑脸识别方法,可提高笑脸识别的效率及精度。
为解决上述技术问题,本发明采用如下技术方案:
一种基于嘴部特征的笑脸识别系统,所述笑脸识别系统包括:人脸定位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模块、基于支持向量机的分类模块;
人脸定位与预处理模块用以对人脸定位,在输入的图像中如果存在人脸区域,则检测出人脸,确定所有人脸的大小、位置和位姿;采用Haar-Like特征与级联的Adaboost学习算法相结合的方法定位;包括:对人脸进行Haar-Like特征计算,运用“积分图”算法快速提取特征;根据AdaBoost算法提取最有效的Haar-Like特征,经过多次迭代确定各个弱分类器的权值;将训练得到的弱分类器进行级联,组成完整的人脸检测系统;
直方图均衡化模块用以对人脸样本图像进行直方图均衡化,把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布;
尺寸归一化模块用以通过尺度校正、平移、旋转的方法去除图像中的结构变形,使人脸图像标准化;采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸;
基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位;
基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类;在分类阶段中,将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果,若输出的结果为1表示对应的样本为正样本,若为-1对应的样本则为负样本;
基于支持向量机的分类模块包括训练优化单元、最优分类模型获取单元、分类结果获取单元;所述训练优化单元用以进行训练优化,寻找合适的内核函数及其对应的最优参数;所述最优分类模型获取单元将寻找到的最优内核函数及参数送入到训练函数中对训练样本特征集进行训练,以获得支持向量机最优分类模型;所述分类结果获取单元将待分类样本特征集与最优分类模型送入到预测函数中,获取最终的分类结果;
所述笑脸特征提取模块包括嘴部粗定位单元、嘴部精定位单元、基于嘴部的HOG特征的笑脸特征提取单元;
嘴部粗定位单元用以根据人脸的面部的结构特征,将嘴部区域划定为人脸的下三分之一,且距离左右人脸边界为人脸宽度的四分之一;嘴部精定位单元用以对嘴部粗定位得到的图像进行直方图规定化处理后,通过二值化处理来实现嘴部的精定位;具体采用Ostu方法通过阈值将图像分割成两个区域,每个区域有着相似的灰度值,分别为目标和背景,来实现嘴部的精定位;
基于嘴部的HOG特征的笑脸特征提取单元用以在对嘴部进行HOG特征提取的过程中,分别对HOG特征提取的信息进行了以下处理:
对于输入图像:为了降低算法运算的复杂度,输入的嘴部图像为灰度图像;
对于颜色空间标准化与预处理:对输入的嘴部图像进行直方图规定化处理使得图像的轮廓更为清晰,所有的嘴部图像尺寸归一化为64*42的大小;
对于梯度向量的计算:采用一阶梯度算子(-1,0,1),(-1,0,1)T来进行梯度的计算,即嘴部图像点(x,y)的梯度大小G(x,y)和方向θ(x,y)为:
Gx(x,y)=I(x+1,y)-I(x-1,y)
Gy(x,y)=I(x,y+1)-I(x,y-1)
θ ( x , y ) = arccos G x ( x , y ) G ( x , y ) G x ( x , y ) ≥ 0 2 π - arccos G x ( x , y ) g ( x , y ) otherwise
其中,I(x,y)为点(x,y)处的灰度值,θ(x,y))为[0,360]区间内的值;
对于空间和方向上的梯度信息统计:将嘴部图像分成2*2个Block,每个Block上含有2*2个Cell,梯度向量的方向在360°的方位内分成40个区域,则每个Cell的HOG特征的维数为40D,整幅图像的HOG特征的维数为640D;
对于块内标准化:采用L2-hys来进行数据归一化;
所述基于嘴部的HOG特征的笑脸特征提取单元包括:
梯度计算子单元,用以对经过预处理的嘴部图片进行梯度计算;
第一HOG特征获取子单元,以各像素点的幅度为权重,统计各Cell的梯度方向直方图,得到Cell的HOG特征;
第二HOG特征获取子单元,用以对同一Block内的Cell的HOG特征进行归一化处理,得到Block的HOG特征;
嘴部HOG生成子单元,用以将所有Block的HOG特征连接组成嘴部的HOG特征。
一种基于嘴部特征的笑脸识别系统,所述笑脸识别系统包括:人脸定位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模块、基于支持向量机的分类模块;
人脸定位与预处理模块用以对人脸定位,在输入的图像中如果存在人脸区域,则检测出人脸,确定所有人脸的大小、位置和位姿;采用Haar-Like特征与级联的Adaboost学习算法相结合的方法定位;包括:对人脸进行Haar-Like特征计算,运用“积分图”算法快速提取特征;根据AdaBoost算法提取最有效的Haar-Like特征,经过多次迭代确定各个弱分类器的权值;将训练得到的弱分类器进行级联,组成完整的人脸检测系统;
直方图均衡化模块用以对人脸样本图像进行直方图均衡化,把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布;
尺寸归一化模块用以通过尺度校正、平移、旋转的方法去除图像中的结构变形,使人脸图像标准化;采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸;
基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位;
基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类;在分类阶段中,将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果,若输出的结果为1表示对应的样本为正样本,若为-1对应的样本则为负样本。
作为本发明的一种优选方案,基于支持向量机的分类模块包括训练优化单元、最优分类模型获取单元、分类结果获取单元;所述训练优化单元用以进行训练优化,寻找合适的内核函数及其对应的最优参数;所述最优分类模型获取单元将寻找到的最优内核函数及参数送入到训练函数中对训练样本特征集进行训练,以获得支持向量机最优分类模型;所述分类结果获取单元将待分类样本特征集与最优分类模型送入到预测函数中,获取最终的分类结果。
作为本发明的一种优选方案,所述笑脸特征提取模块包括嘴部粗定位单元、嘴部精定位单元;
嘴部粗定位单元用以根据人脸的面部的结构特征,将嘴部区域划定为人脸的下三分之一,且距离左右人脸边界为人脸宽度的四分之一;嘴部精定位单元用以对嘴部粗定位得到的图像进行直方图规定化处理后,通过二值化处理来实现嘴部的精定位;具体采用Ostu方法通过阈值将图像分割成两个区域,每个区域有着相似的灰度值,分别为目标和背景,来实现嘴部的精定位。
作为本发明的一种优选方案,所述笑脸特征提取模块还包括基于嘴部的HOG特征的笑脸特征提取单元,用以在对嘴部进行HOG特征提取的过程中,分别对HOG特征提取的信息进行了以下处理:
对于输入图像:为了降低算法运算的复杂度,输入的嘴部图像为灰度图像;
对于颜色空间标准化与预处理:对输入的嘴部图像进行直方图规定化处理使得图像的轮廓更为清晰,所有的嘴部图像尺寸归一化为64*42的大小;
对于梯度向量的计算:采用一阶梯度算子(-1,0,1),(-1,0,1)T来进行梯度的计算,即嘴部图像点(x,y)的梯度大小G(x,y)和方向θ(x,y)为:
Gx(x,y)=I(x+1,y)-I(x-1,y)
Gy(x,y)=I(x,y+1)-I(x,y-1)
θ ( x , y ) = arccos G x ( x , y ) G ( x , y ) G x ( x , y ) ≥ 0 2 π - arccos G x ( x , y ) g ( x , y ) otherwise
其中,I(x,y)为点(x,y)处的灰度值,θ(x,y))为[0,360]区间内的值;
对于空间和方向上的梯度信息统计:将嘴部图像分成2*2个Block,每个Block上含有2*2个Cell,梯度向量的方向在360°的方位内分成40个区域,则每个Cell的HOG特征的维数为40D,整幅图像的HOG特征的维数为640D;
对于块内标准化:采用L2-hys来进行数据归一化。
作为本发明的一种优选方案,所述基于嘴部的HOG特征的笑脸特征提取单元包括:
梯度计算子单元,用以对经过预处理的嘴部图片进行梯度计算;
第一HOG特征获取子单元,以各像素点的幅度为权重,统计各Cell的梯度方向直方图,得到Cell的HOG特征;
第二HOG特征获取子单元,用以对同一Block内的Cell的HOG特征进行归一化处理,得到Block的HOG特征;
嘴部HOG生成子单元,用以将所有Block的HOG特征连接组成嘴部的HOG特征。
一种基于嘴部特征的笑脸识别方法,所述笑脸识别方法包括如下步骤:
人脸定位与预处理步骤:对人脸定位,在输入的图像中如果存在人脸区域,则检测出人脸,确定所有人脸的大小、位置和位姿;采用Haar-Like特征与级联的Adaboost学习算法相结合的方法定位;包括:对人脸进行Haar-Like特征计算,运用“积分图”算法快速提取特征;根据AdaBoost算法提取最有效的Haar-Like特征,经过多次迭代确定各个弱分类器的权值;将训练得到的弱分类器进行级联,组成完整的人脸检测系统;
直方图均衡化步骤:对人脸样本图像进行直方图均衡化,把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布;
尺寸归一化步骤:通过尺度校正、平移、旋转的方法去除图像中的结构变形,使人脸图像标准化;采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸;
基于嘴部特征的笑脸特征提取步骤:在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位;
基于支持向量机的分类步骤:使用支持向量机的分类方法对样本进行分类;在分类阶段中,将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果,若输出的结果为1表示对应的样本为正样本,若为-1对应的样本则为负样本。
作为本发明的一种优选方案,基于支持向量机的分类步骤包括:
训练优化步骤:进行训练优化,寻找合适的内核函数及其对应的最优参数;
最优分类模型获取步骤:将寻找到的最优内核函数及参数送入到训练函数中对训练样本特征集进行训练,以获得支持向量机最优分类模型;
分类结果获取步骤:将待分类样本特征集与最优分类模型送入到预测函数中,获取最终的分类结果。
作为本发明的一种优选方案,所述笑脸特征提取步骤包括:
-嘴部粗定位步骤:根据人脸的面部的结构特征,将嘴部区域划定为人脸的下三分之一,且距离左右人脸边界为人脸宽度的四分之一;
-嘴部精定位步骤:对嘴部粗定位得到的图像进行直方图规定化处理后,通过二值化处理来实现嘴部的精定位;具体采用Ostu方法通过阈值将图像分割成两个区域,每个区域有着相似的灰度值,分别为目标和背景,来实现嘴部的精定位;
-基于嘴部的HOG特征的笑脸特征提取步骤:在对嘴部进行HOG特征提取的过程中,分别对HOG特征提取的信息进行了以下处理:
对于输入图像:为了降低算法运算的复杂度,输入的嘴部图像为灰度图像;
对于颜色空间标准化与预处理:对输入的嘴部图像进行直方图规定化处理使得图像的轮廓更为清晰,所有的嘴部图像尺寸归一化为64*42的大小;
对于梯度向量的计算:采用一阶梯度算子(-1,0,1),(-1,0,1)T来进行梯度的计算,即嘴部图像点(x,y)的梯度大小G(x,y)和方向θ(x,y)为:
Gx(x,y)=I(x+1,y)-I(x-1,y)
Gy(x,y)=I(x,y+1)-I(x,y-1)
θ ( x , y ) = arccos G x ( x , y ) G ( x , y ) G x ( x , y ) ≥ 0 2 π - arccos G x ( x , y ) g ( x , y ) otherwise
其中,I(x,y)为点(x,y)处的灰度值,θ(x,y))为[0,360]区间内的值;
对于空间和方向上的梯度信息统计:将嘴部图像分成2*2个Block,每个Block上含有2*2个Cell,梯度向量的方向在360°的方位内分成40个区域,则每个Cell的HOG特征的维数为40D,整幅图像的HOG特征的维数为640D;
对于块内标准化:采用L2-hys来进行数据归一化。
作为本发明的一种优选方案,所述基于嘴部的HOG特征的笑脸特征提取步骤包括:
梯度计算子步骤,对经过预处理的嘴部图片进行梯度计算;
第一HOG特征获取子步骤,以各像素点的幅度为权重,统计各Cell的梯度方向直方图,得到Cell的HOG特征;
第二HOG特征获取子步骤,对同一Block内的Cell的HOG特征进行归一化处理,得到Block的HOG特征;
嘴部HOG生成子步骤,将所有Block的HOG特征连接组成嘴部的HOG特征。
本发明的有益效果在于:本发明提出的基于嘴部特征的笑脸识别系统及方法,采用的粗、精嘴部定位方法,精简了运算复杂度;其中粗定位通过人脸的几何位置关系得到,精定位则是通过二值化及灰化投影方法得到;考虑到嘴部轮廓是笑脸表情的一种重要体现方式,结合HOG特征具有能够较好地表达目标图像的轮廓信息的特征,选用了嘴部的HOG特征来进行笑脸识别。本发明可提高笑脸识别的效率及精度。
附图说明
图1为本发明笑脸识别系统的组成示意图。
图2为本发明笑脸识别方法的流程图。
图3为4种特征形式示意图。
图4为矩阵和计算的示意图。
图5为矩阵特征值计算的示意图。
图6级联分类器结构的示意图。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例一
请参阅图1,本发明揭示了一种基于嘴部特征的笑脸识别系统,所述笑脸识别系统包括:人脸定位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模块、基于支持向量机的分类模块。
【人脸定位与预处理模块】
人脸定位与预处理模块用以对人脸定位,在输入的图像中如果存在人脸区域,则检测出人脸,确定所有人脸的大小、位置和位姿;采用Haar-Like特征与级联的Adaboost学习算法相结合的方法定位。
具体步骤包括:
(1)对人脸进行Haar-Like特征计算,运用“积分图”算法快速提取特征;
目标的特征通常是对待分类目标进行研究后得到的知识进行编码来取得的,用来编码的知识通常很难从从原始图像的像素中直接获到。在人脸图像的模型建立过程中,运用人脸的特征能够使得人脸跟非人脸这两个类别的类内距离得到大大的降低,不仅如此,此法还能使人脸类别以及非人脸类别的两类之间的距离得到大大的增加,对于设计出性能更优的判别函数十分有利。此外,可以更方便的形式化目标的特征,对经过形式化的目标特征进行计算比直接对目标特征进行计算要便捷的多,对于提高目标检测的速度很有益处。Papageorgion等最先使用Harr-Hke特征来表示人脸。后来Viola等研究人员在Papageorgion等人提出的Harr-1ike特征上又延伸出了几种新的特征,最后给出了3种类型共4种变形形式的矩形特征。图3列出了上述的4种矩形特征。
图3中的A类矩形特征、B类矩形特征和D类矩形特征,计算矩形特征表示的数值可以利用下式完成。
v=Sum白-Sum黑
而对于C来说,计算公式如下:
v=Sum白-2*Sum黑
之所以将黑色区域像素和乘以2,是为了使两种矩形区域中像素数目一致。
如果变换特征模版在图像子窗口中的中心与规模,事实上能够给的图像特征数量是十分庞大的。为了方便描述,上图中列举出的4种矩形特征往往被叫做“特征原型”,将此特征原型经过不断的延展之后可以得到新的特征,我们常常将此新特征叫做“矩形特征”;表示矩形特征的值通常被人们叫做“特征值”。
将训练窗口的规模初始化为W*H个像素点;W代表特征原型长度具有的像素个数,h代表特征原型宽度具有的像素个数,图3中给出的4种特征原型的长和宽的像素的比分别为:1:2、3:1、2:2。
令:X=(~W)/w,."~"表示对数值取整。一个大小为w*h的特征原型在一个大小为W*H的搜索窗中可以得到的矩形特征的个数常常用下面的公式的计算结果来表不。
XY * ( W + 1 - w * X + 1 2 ) ( H + 1 - h * Y + 1 2 )
一个haar-like特征在24*24像素图的子检测窗口中的矩形特征数量总计为134736个。
2、积分图:
由于训练样本通常有近万个,并且矩形特征的数量非常庞大,如果每次计算特征值都要统计矩形内所以像素之和,将会大大降低训练和检测的速度。因此引入了一种新的图像表示方法——积分图像,矩形特征的特征值计算,只与此特征矩形的端点的积分图有关,所以不管此特征矩形的尺度变换如何,特征值的计算所消耗的时间都是常量。这样只要遍历图像一次,就可以求得所有子窗口的特征值。
积分图的定义为:
ii ( x , y ) = Σ x , ≤ x Σ y , ≤ y I ( x , , y , )
其中I(x',y')为图像在点(x',y')处的像素值。
为了节约时间,减少重复计算,则图像I的积分图可按如下递推公式计算:
s ( x , y ) = s ( x , y - 1 ) + i ( x , y ) ii ( x , y ) = ii ( x - 1 , y ) + s ( x , y )
这样就可以进行2种运算:
(1)任意矩形区域内像素积分。由图像的积分图可方便快速地计算图像中任意矩形内所有像素灰度积分。如图4所示,点1的积分图像ii1的值为(其中Sum为求和):
ii1=Sum(A)。
同理,点2、点3、点4的积分图像分别为:
ii2=Sum(A)+Sum(B);
ii3=Sum(A)+Sum(C);
ii4=Sum(A)+Sum(B)+Sum(C)+Sum(D);
矩形区域D内的所有像素灰度积分可由矩形端点的积分图像值得到:
Sum(D)=ii1+ii4-(ii2+ii3)     (1)
(2)特征值计算
矩形特征的特征值是两个不同的矩形区域像素和之差,由(1)式可以计算任意矩形特征的特征值,下面以图3中特征原型A为例说明特征值的计算。
如图5所示,该特征原型的特征值定义为:
Sum(A)-Sum(B)
根据(1)式则有:Sum(A)=ii4+ii1-(ii2+ii3);
Sum(B)=ii6+ii3-(ii4+ii5);
所以此类特征原型的特征值为:
(ii4-ii3)-(ii2-ii1)+(ii4-ii3)-(ii6-ii5)
另示:运用积分图可以快速计算给定的矩形之所有象素值之和Sum(r)。假设r=(x,y,w,h),那么此矩形内部所有元素之和等价于下面积分图中下面这个式子:
Sum(r)=ii(x+w,y+h)+ii(x-1,y-1)-ii(x+w,y-1)-ii(x-1,y+h)
(2)根据AdaBoost算法提取最有效的Haar-Like特征,经过多次迭代确定各个弱分类器的权值;
AdaBoost算法可以同时进行训练分类器和特征选择的工作,这是它的一个非常重要的特点。AdaBoost算法中的每个弱分类器都与某个特征对应,弱分类器的个数等于矩形特征数。训练过程中从大量的弱分类器中选出一个在当前样本权重分布情况下具有最小分类错误率的弱分类器作为本轮的最优弱分类器,进行T轮训练以后,最终得出T个最具代表性的特征(对应了T个弱分类器),最后根据每个特征的不同权值加权后连接得到一个非常强大的分类器。
令X为训练样本空间,Y={0,1}中包含了训练样本可能来自的类别的记号.1代表正的样本点(即人脸样本),0代表负的样本点(即非人脸样本);假设一共有K个矩形特征;wt,j代表第t轮迭代过程中的第j个样本点所具有的权重;算法的具体实现通常包含下面的4个重要环节:
(1)已知训练样本集X={(x1,y1),(x2,y2),…,(xn,yn)}。式中xi∈X;。假定训练集中共包含l个人脸样本点,m个非人类样本点,l+m=n。
(2)给每个样本点一个起始权重。
(3)对于t=l,…,T(T为循环次数)。
①对样本所具有的权重执行归一化操作;
②针对每一个特征j,在已知的样本权重分布情况下训练得到弱分类器ht,j(x),通过计算得到每个弱分类器对样本集的分类错误率,
ϵ t , j = Σ t = 1 n w t , j * | h t , j ( x ) - y i | 其中j=1,2,…,n
③确定第t轮迭代的最优弱分类器ht(x),令k=arg minεt,j,并将样本集的分类错误率取为εt=εt,k
④根据获得的最优弱分类器修改样本的权重:其中βt=εt/(1-εt);ei=0,表示xi被正确分类,ei=1表示xi被错误分类
(4)最后得到的强分类器为:
式中: a t = ln 1 ϵ t
(3)将训练得到的弱分类器进行级联,组成完整的人脸检测系统。
为了能够改善人脸检测的时间性能,Viola在研究过程中给出了一种新的分类器结构:分层,通过这样的一种分类器组织方式可以使得人脸检测过程随着层数的递增得到更高的精度。
图6给出了分层的AdaBoost分类器的简单结构描述。事实上上述的级联分类器的判决过程与经过退化的决策树的判定过程是非常相似的,若第i层将搜索子窗判定为“是”,那么这个可能会包含人脸图像的搜索子窗便会被继续派发到第i+1层分类器,同时诱发第i+1层的分类器进行分类工作,如此逐级检测。这种检测方法首先副除巨量的不包含人脸图像的搜索子窗,从而使得人脸检测的时间性能得打很好的优化。
【直方图均衡化模块】
为减少光照对人脸图像灰度分布的影响,直方图均衡化模块对人脸样本图像进行直方图均衡化。直方图均衡化处理的“中心思想”是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。
【尺寸归一化模块】
图像采集过程中由于受到距离、焦距的影响等,使得人脸在整幅图像中的位置和大小不确定,从而导致检测出来的人脸尺寸不一致。几何归一化模块通过尺度校正、平移、旋转等方法,去除图像中的结构变形,使人脸图像标准化。本发明采用双线性插值算法对检测出的人脸图像进行归一化为128*128像素(当然也可以是其他尺寸)。
【基于嘴部特征的笑脸特征提取模块】
基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位。
所述笑脸特征提取模块包括嘴部粗定位单元、嘴部精定位单元、基于嘴部的HOG特征的笑脸特征提取单元。
嘴部粗定位单元用以根据人脸的面部的结构特征,将嘴部区域划定为人脸的下三分之一,且距离左右人脸边界为人脸宽度的四分之一。
嘴部精定位单元用以对嘴部粗定位得到的图像进行直方图规定化处理后,通过二值化处理来实现嘴部的精定位;具体采用Ostu方法通过阈值将图像分割成两个区域,每个区域有着相似的灰度值,分别为目标和背景,来实现嘴部的精定位。
Qstu法由大津于1979年提出,其依据的原理是利用类方差作为判据,选择使类间方差最大的图像灰度值作为最佳阈值。
设一副图像的灰度范围为[0,L-,],图像,总像素为N,灰度值i的像素为ni,则i的概率为
p i = n i N
把图像中的像素按灰度值用阈值T分成C1和C2两类,C1对应于灰度值在[0,T-,]之间的像素,C2对应于灰度值在[T,L-,]之间的像素,则C1和C2的概率分别为
w 1 = Σ i = 0 T - 1 p i
w 2 = Σ i = T L - 1 p i = 1 - w 1
C1和C2均值分别为
u 1 = Σ i = 0 T - 1 ip i / w i
u 2 = Σ i = T L - 1 ip i / w 2
整个图像的灰度均值为
u=w1u1+w2u2
则采用阈值T进行二值化的类间方差为
σ2(T)=w1(u1-u)2+w2(u2-u)2=w1w2(u1-u2)2
令阈值T从0~L-1遍历,使得类间方差最大的T值即为最佳阈值。
基于嘴部的HOG特征的笑脸特征提取单元用以在对嘴部进行HOG特征提取的过程中,分别对HOG特征提取的信息进行了以下处理:
对于输入图像:为了降低算法运算的复杂度,输入的嘴部图像为灰度图像;
对于颜色空间标准化与预处理:对输入的嘴部图像进行直方图规定化处理使得图像的轮廓更为清晰,所有的嘴部图像尺寸归一化为64*42像素的大小;
对于梯度向量的计算:采用一阶梯度算子(-1,0,1),(-1,0,1)T来进行梯度的计算,即嘴部图像点(x,y)的梯度大小G(x,y)和方向θ(x,y)为:
Gx(x,y)=I(x+1,y)-I(x-1,y)
Gy(x,y)=I(x,y+1)-I(x,y-1)
θ ( x , y ) = arccos G x ( x , y ) G ( x , y ) G x ( x , y ) ≥ 0 2 π - arccos G x ( x , y ) g ( x , y ) otherwise
其中,I(x,y)为点(x,y)处的灰度值,θ(x,y))为[0,360]区间内的值;
对于空间和方向上的梯度信息统计:将嘴部图像分成2*2个Block,每个Block上含有2*2个Cell,梯度向量的方向在360°的方位内分成40个区域,则每个Cell的HOG特征的维数为40D,整幅图像的HOG特征的维数为640D;
对于块内标准化:采用L2-hys来进行数据归一化。
所述基于嘴部的HOG特征的笑脸特征提取单元包括:梯度计算子单元、第一HOG特征获取子单元、第二HOG特征获取子单元、嘴部HOG生成子单元。
梯度计算子单元用以对经过预处理的嘴部图片进行梯度计算。
第一HOG特征获取子单元以各像素点的幅度为权重,统计各Cell的梯度方向直方图,得到Cell的HOG特征。
第二HOG特征获取子单元用以对同一Block内的Cell的HOG特征进行归一化处理,得到Block的HOG特征。
嘴部HOG生成子单元用以将所有Block的HOG特征连接组成嘴部的HOG特征。
【基于支持向量机的分类模块】
基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类;在分类阶段中,将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果,若输出的结果为1表示对应的样本为正样本,若为-1对应的样本则为负样本。
基于支持向量机的分类模块包括训练优化单元、最优分类模型获取单元、分类结果获取单元。所述训练优化单元用以进行训练优化,寻找合适的内核函数及其对应的最优参数;所述最优分类模型获取单元将寻找到的最优内核函数及参数送入到训练函数中对训练样本特征集进行训练,以获得支持向量机最优分类模型;所述分类结果获取单元将待分类样本特征集与最优分类模型送入到预测函数中,获取最终的分类结果。
实施例二
本发明还揭示一种基于嘴部特征的笑脸识别方法,所述笑脸识别方法包括如下步骤:
【步骤S1】人脸定位与预处理步骤。
对人脸定位,在输入的图像中如果存在人脸区域,则检测出人脸,确定所有人脸的大小、位置和位姿;采用Haar-Like特征与级联的Adaboost学习算法相结合的方法定位;包括:对人脸进行Haar-Like特征计算,运用“积分图”算法快速提取特征;根据AdaBoost算法提取最有效的Haar-Like特征,经过多次迭代确定各个弱分类器的权值;将训练得到的弱分类器进行级联,组成完整的人脸检测系统。
【步骤S2】直方图均衡化步骤。
对人脸样本图像进行直方图均衡化,把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布;
【步骤S3】尺寸归一化步骤。
通过尺度校正、平移、旋转的方法去除图像中的结构变形,使人脸图像标准化;采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸;
【步骤S4】基于嘴部特征的笑脸特征提取步骤。
在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位;
所述笑脸特征提取步骤包括:
(步骤S41)嘴部粗定位步骤:根据人脸的面部的结构特征,将嘴部区域划定为人脸的下三分之一,且距离左右人脸边界为人脸宽度的四分之一;
(步骤S42)嘴部精定位步骤:对嘴部粗定位得到的图像进行直方图规定化处理后,通过二值化处理来实现嘴部的精定位;具体采用Ostu方法通过阈值将图像分割成两个区域,每个区域有着相似的灰度值,分别为目标和背景,来实现嘴部的精定位;
(步骤S43)基于嘴部的HOG特征的笑脸特征提取步骤:在对嘴部进行HOG特征提取的过程中,分别对HOG特征提取的信息进行了以下处理:
对于输入图像:为了降低算法运算的复杂度,输入的嘴部图像为灰度图像;
对于颜色空间标准化与预处理:对输入的嘴部图像进行直方图规定化处理使得图像的轮廓更为清晰,所有的嘴部图像尺寸归一化为64*42的大小;
对于梯度向量的计算:采用一阶梯度算子(-1,0,1),(-1,0,1)T来进行梯度的计算,即嘴部图像点(x,y)的梯度大小G(x,y)和方向θ(x,y)为:
Gx(x,y)=I(x+1,y)-I(x-1,y)
Gy(x,y)=I(x,y+1)-I(x,y-1)
θ ( x , y ) = arccos G x ( x , y ) G ( x , y ) G x ( x , y ) ≥ 0 2 π - arccos G x ( x , y ) g ( x , y ) otherwise
其中,I(x,y)为点(x,y)处的灰度值,θ(x,y))为[0,360]区间内的值;
对于空间和方向上的梯度信息统计:将嘴部图像分成2*2个Block,每个Block上含有2*2个Cell,梯度向量的方向在360°的方位内分成40个区域,则每个Cell的HOG特征的维数为40D,整幅图像的HOG特征的维数为640D;
对于块内标准化:采用L2-hys来进行数据归一化。
具体地,所述基于嘴部的HOG特征的笑脸特征提取步骤包括:
梯度计算子步骤,对经过预处理的嘴部图片进行梯度计算;
第一HOG特征获取子步骤,以各像素点的幅度为权重,统计各Cell的梯度方向直方图,得到Cell的HOG特征;
第二HOG特征获取子步骤,对同一Block内的Cell的HOG特征进行归一化处理,得到Block的HOG特征;
嘴部HOG生成子步骤,将所有Block的HOG特征连接组成嘴部的HOG特征。
【步骤S5】基于支持向量机的分类步骤。
使用支持向量机的分类方法对样本进行分类;在分类阶段中,将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果,若输出的结果为1表示对应的样本为正样本,若为-1对应的样本则为负样本。
基于支持向量机的分类步骤包括:
(步骤S51)训练优化步骤:进行训练优化,寻找合适的内核函数及其对应的最优参数;
(步骤S52)最优分类模型获取步骤:将寻找到的最优内核函数及参数送入到训练函数中对训练样本特征集进行训练,以获得支持向量机最优分类模型;
(步骤S53)分类结果获取步骤:将待分类样本特征集与最优分类模型送入到预测函数中,获取最终的分类结果。
综上所述,本发明提出的基于嘴部特征的笑脸识别系统及方法,采用的粗、精嘴部定位方法,精简了运算复杂度;其中粗定位通过人脸的几何位置关系得到,精定位则是通过二值化及灰化投影方法得到;考虑到嘴部轮廓是笑脸表情的一种重要体现方式,结合HOG特征具有能够较好地表达目标图像的轮廓信息的特征,选用了嘴部的HOG特征来进行笑脸识别。本发明可提高笑脸识别的效率及精度。
这里本发明的描述和应用是说明性的,并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的,对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是,在不脱离本发明的精神或本质特征的情况下,本发明可以以其它形式、结构、布置、比例,以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下,可以对这里所披露的实施例进行其它变形和改变。

Claims (10)

1.一种基于嘴部特征的笑脸识别系统,其特征在于,所述笑脸识别系统包括:人脸定位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模块、基于支持向量机的分类模块;
人脸定位与预处理模块用以对人脸定位,在输入的图像中如果存在人脸区域,则检测出人脸,确定所有人脸的大小、位置和位姿;采用Haar-Like特征与级联的Adaboost学习算法相结合的方法定位;包括:对人脸进行Haar-Like特征计算,运用“积分图”算法快速提取特征;根据AdaBoost算法提取最有效的Haar-Like特征,经过多次迭代确定各个弱分类器的权值;将训练得到的弱分类器进行级联,组成完整的人脸检测系统;
直方图均衡化模块用以对人脸样本图像进行直方图均衡化,把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布;
尺寸归一化模块用以通过尺度校正、平移、旋转的方法去除图像中的结构变形,使人脸图像标准化;采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸;
基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位;
基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类;在分类阶段中,将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果,若输出的结果为1表示对应的样本为正样本,若为-1对应的样本则为负样本;
基于支持向量机的分类模块包括训练优化单元、最优分类模型获取单元、分类结果获取单元;所述训练优化单元用以进行训练优化,寻找合适的内核函数及其对应的最优参数;所述最优分类模型获取单元将寻找到的最优内核函数及参数送入到训练函数中对训练样本特征集进行训练,以获得支持向量机最优分类模型;所述分类结果获取单元将待分类样本特征集与最优分类模型送入到预测函数中,获取最终的分类结果;
所述笑脸特征提取模块包括嘴部粗定位单元、嘴部精定位单元、基于嘴部的HOG特征的笑脸特征提取单元;
嘴部粗定位单元用以根据人脸的面部的结构特征,将嘴部区域划定为人脸的下三分之一,且距离左右人脸边界为人脸宽度的四分之一;嘴部精定位单元用以对嘴部粗定位得到的图像进行直方图规定化处理后,通过二值化处理来实现嘴部的精定位;具体采用Ostu方法通过阈值将图像分割成两个区域;
基于嘴部的HOG特征的笑脸特征提取单元用以在对嘴部进行HOG特征提取的过程中,分别对HOG特征提取的信息进行了以下处理:
对于输入图像:为了降低算法运算的复杂度,输入的嘴部图像为灰度图像;
对于颜色空间标准化与预处理:对输入的嘴部图像进行直方图规定化处理使得图像的轮廓更为清晰,所有的嘴部图像尺寸归一化为64*42的大小;
对于梯度向量的计算:采用一阶梯度算子(-1,0,1),(-1,0,1)T来进行梯度的计算,即嘴部图像点(x,y)的梯度大小G(x,y)和方向θ(x,y)为:
Gx(x,y)=I(x+1,y)-I(x-1,y)
Gy(x,y)=I(x,y+1)-I(x,y-1)
θ ( x , y ) = arccos G x ( x , y ) G ( x , y ) G x ( x , y ) ≥ 0 2 π - arccos G x ( x , y ) g ( x , y ) otherwise
其中,I(x,y)为点(x,y)处的灰度值,θ(x,y))为[0,360]区间内的值;
对于空间和方向上的梯度信息统计:将嘴部图像分成2*2个Block,每个Block上含有2*2个Cell,梯度向量的方向在360°的方位内分成40个区域,则每个Cell的HOG特征的维数为40D,整幅图像的HOG特征的维数为640D;
对于块内标准化:采用L2-hys来进行数据归一化;
所述基于嘴部的HOG特征的笑脸特征提取单元包括:
梯度计算子单元,用以对经过预处理的嘴部图片进行梯度计算;
第一HOG特征获取子单元,以各像素点的幅度为权重,统计各Cell的梯度方向直方图,得到Cell的HOG特征;
第二HOG特征获取子单元,用以对同一Block内的Cell的HOG特征进行归一化处理,得到Block的HOG特征;
嘴部HOG生成子单元,用以将所有Block的HOG特征连接组成嘴部的HOG特征。
2.一种基于嘴部特征的笑脸识别系统,其特征在于,所述笑脸识别系统包括:人脸定位与预处理模块、直方图均衡化模块、尺寸归一化模块、基于嘴部特征的笑脸特征提取模块、基于支持向量机的分类模块;
人脸定位与预处理模块用以对人脸定位,在输入的图像中如果存在人脸区域,则检测出人脸,确定所有人脸的大小、位置和位姿;采用Haar-Like特征与级联的Adaboost学习算法相结合的方法定位;包括:对人脸进行Haar-Like特征计算,运用“积分图”算法快速提取特征;根据AdaBoost算法提取最有效的Haar-Like特征,经过多次迭代确定各个弱分类器的权值;将训练得到的弱分类器进行级联,组成完整的人脸检测系统;
直方图均衡化模块用以对人脸样本图像进行直方图均衡化,把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布;
尺寸归一化模块用以通过尺度校正、平移、旋转的方法去除图像中的结构变形,使人脸图像标准化;采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸;
基于嘴部特征的笑脸特征提取模块用以在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位;
基于支持向量机的分类模块用以使用支持向量机的分类方法对样本进行分类;在分类阶段中,将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果,若输出的结果为1表示对应的样本为正样本,若为-1对应的样本则为负样本。
3.根据权利要求2所述的基于嘴部特征的笑脸识别系统,其特征在于:
基于支持向量机的分类模块包括训练优化单元、最优分类模型获取单元、分类结果获取单元;所述训练优化单元用以进行训练优化,寻找合适的内核函数及其对应的最优参数;所述最优分类模型获取单元将寻找到的最优内核函数及参数送入到训练函数中对训练样本特征集进行训练,以获得支持向量机最优分类模型;所述分类结果获取单元将待分类样本特征集与最优分类模型送入到预测函数中,获取最终的分类结果。
4.根据权利要求2所述的基于嘴部特征的笑脸识别系统,其特征在于:
所述笑脸特征提取模块包括嘴部粗定位单元、嘴部精定位单元;
嘴部粗定位单元用以根据人脸的面部的结构特征,将嘴部区域划定为人脸的下三分之一,且距离左右人脸边界为人脸宽度的四分之一;嘴部精定位单元用以对嘴部粗定位得到的图像进行直方图规定化处理后,通过二值化处理来实现嘴部的精定位;具体采用Ostu方法通过阈值将图像分割成两个区域。
5.根据权利要求4所述的基于嘴部特征的笑脸识别系统,其特征在于:
所述笑脸特征提取模块还包括基于嘴部的HOG特征的笑脸特征提取单元,用以在对嘴部进行HOG特征提取的过程中,分别对HOG特征提取的信息进行了以下处理:
对于输入图像:为了降低算法运算的复杂度,输入的嘴部图像为灰度图像;
对于颜色空间标准化与预处理:对输入的嘴部图像进行直方图规定化处理使得图像的轮廓更为清晰,所有的嘴部图像尺寸归一化为64*42的大小;
对于梯度向量的计算:采用一阶梯度算子(-1,0,1),(-1,0,1)T来进行梯度的计算,即嘴部图像点(x,y)的梯度大小G(x,y)和方向θ(x,y)为:
Gx(x,y)=I(x+1,y)-I(x-1,y)
Gy(x,y)=I(x,y+1)-I(x,y-1)
θ ( x , y ) = arccos G x ( x , y ) G ( x , y ) G x ( x , y ) ≥ 0 2 π - arccos G x ( x , y ) g ( x , y ) otherwise
其中,I(x,y)为点(x,y)处的灰度值,θ(x,y))为[0,360]区间内的值;
对于空间和方向上的梯度信息统计:将嘴部图像分成2*2个Block,每个Block上含有2*2个Cell,梯度向量的方向在360°的方位内分成40个区域,则每个Cell的HOG特征的维数为40D,整幅图像的HOG特征的维数为640D;
对于块内标准化:采用L2-hys来进行数据归一化。
6.根据权利要求5所述的基于嘴部特征的笑脸识别系统,其特征在于:
所述基于嘴部的HOG特征的笑脸特征提取单元包括:
梯度计算子单元,用以对经过预处理的嘴部图片进行梯度计算;
第一HOG特征获取子单元,以各像素点的幅度为权重,统计各Cell的梯度方向直方图,得到Cell的HOG特征;
第二HOG特征获取子单元,用以对同一Block内的Cell的HOG特征进行归一化处理,得到Block的HOG特征;
嘴部HOG生成子单元,用以将所有Block的HOG特征连接组成嘴部的HOG特征。
7.一种基于嘴部特征的笑脸识别方法,其特征在于,所述笑脸识别方法包括如下步骤:
人脸定位与预处理步骤:对人脸定位,在输入的图像中如果存在人脸区域,则检测出人脸,确定所有人脸的大小、位置和位姿;采用Haar-Like特征与级联的Adaboost学习算法相结合的方法定位;包括:对人脸进行Haar-Like特征计算,运用“积分图”算法快速提取特征;根据AdaBoost算法提取最有效的Haar-Like特征,经过多次迭代确定各个弱分类器的权值;将训练得到的弱分类器进行级联,组成完整的人脸检测系统;
直方图均衡化步骤:对人脸样本图像进行直方图均衡化,把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布;
尺寸归一化步骤:通过尺度校正、平移、旋转的方法去除图像中的结构变形,使人脸图像标准化;采用双线性插值算法对检测出的人脸图像进行归一化为设定尺寸;
基于嘴部特征的笑脸特征提取步骤:在对人脸进行准确的定位的基础之上,根据人脸面部的结构特征结合经验实现嘴部的粗定位,接着通过对定位到的嘴部大致图片的直方图进行规定化来提高图像的对比度;而后对经过处理的嘴部图像进行二值化,并对二值化结果使用灰度投影法来实现嘴部的精定位;
基于支持向量机的分类步骤:使用支持向量机的分类方法对样本进行分类;在分类阶段中,将训练过程中得到的模型与待识别样本特征送入预测函数中得出分类结果,若输出的结果为1表示对应的样本为正样本,若为-1对应的样本则为负样本。
8.根据权利要求7所述的基于嘴部特征的笑脸识别方法,其特征在于:
基于支持向量机的分类步骤包括:
训练优化步骤:进行训练优化,寻找合适的内核函数及其对应的最优参数;
最优分类模型获取步骤:将寻找到的最优内核函数及参数送入到训练函数中对训练样本特征集进行训练,以获得支持向量机最优分类模型;
分类结果获取步骤:将待分类样本特征集与最优分类模型送入到预测函数中,获取最终的分类结果。
9.根据权利要求7所述的基于嘴部特征的笑脸识别方法,其特征在于:
所述笑脸特征提取步骤包括:
-嘴部粗定位步骤:根据人脸的面部的结构特征,将嘴部区域划定为人脸的下三分之一,且距离左右人脸边界为人脸宽度的四分之一;
-嘴部精定位步骤:对嘴部粗定位得到的图像进行直方图规定化处理后,通过二值化处理来实现嘴部的精定位;具体采用Ostu方法通过阈值将图像分割成两个区域,每个区域有着相似的灰度值,分别为目标和背景,来实现嘴部的精定位;
-基于嘴部的HOG特征的笑脸特征提取步骤:在对嘴部进行HOG特征提取的过程中,分别对HOG特征提取的信息进行了以下处理:
对于输入图像:为了降低算法运算的复杂度,输入的嘴部图像为灰度图像;
对于颜色空间标准化与预处理:对输入的嘴部图像进行直方图规定化处理使得图像的轮廓更为清晰,所有的嘴部图像尺寸归一化为64*42的大小;
对于梯度向量的计算:采用一阶梯度算子(-1,0,1),(-1,0,1)T来进行梯度的计算,即嘴部图像点(x,y)的梯度大小G(x,y)和方向θ(x,y)为:
Gx(x,y)=I(x+1,y)-I(x-1,y)
Gy(x,y)=I(x,y+1)-I(x,y-1)
θ ( x , y ) = arccos G x ( x , y ) G ( x , y ) G x ( x , y ) ≥ 0 2 π - arccos G x ( x , y ) g ( x , y ) otherwise
其中,I(x,y)为点(x,y)处的灰度值,θ(x,y))为[0,360]区间内的值;
对于空间和方向上的梯度信息统计:将嘴部图像分成2*2个Block,每个Block上含有2*2个Cell,梯度向量的方向在360°的方位内分成40个区域,则每个Cell的HOG特征的维数为40D,整幅图像的HOG特征的维数为640D;
对于块内标准化:采用L2-hys来进行数据归一化。
10.根据权利要求9所述的基于嘴部特征的笑脸识别方法,其特征在于:
所述基于嘴部的HOG特征的笑脸特征提取步骤包括:
梯度计算子步骤,对经过预处理的嘴部图片进行梯度计算;
第一HOG特征获取子步骤,以各像素点的幅度为权重,统计各Cell的梯度方向直方图,得到Cell的HOG特征;
第二HOG特征获取子步骤,对同一Block内的Cell的HOG特征进行归一化处理,得到Block的HOG特征;
嘴部HOG生成子步骤,将所有Block的HOG特征连接组成嘴部的HOG特征。
CN201410321034.0A 2014-07-07 2014-07-07 基于嘴部特征的笑脸识别系统及方法 Pending CN104143081A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410321034.0A CN104143081A (zh) 2014-07-07 2014-07-07 基于嘴部特征的笑脸识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410321034.0A CN104143081A (zh) 2014-07-07 2014-07-07 基于嘴部特征的笑脸识别系统及方法

Publications (1)

Publication Number Publication Date
CN104143081A true CN104143081A (zh) 2014-11-12

Family

ID=51852251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410321034.0A Pending CN104143081A (zh) 2014-07-07 2014-07-07 基于嘴部特征的笑脸识别系统及方法

Country Status (1)

Country Link
CN (1) CN104143081A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
CN104915641A (zh) * 2015-05-27 2015-09-16 上海交通大学 基于android平台获取人脸图像光源方位的方法
CN105913264A (zh) * 2016-04-01 2016-08-31 王涛 基于指纹辅助身份识别的人脸支付装置
CN107949848A (zh) * 2015-06-26 2018-04-20 英特尔公司 数字图像中的缺陷检测和校正
CN108229422A (zh) * 2018-01-25 2018-06-29 浙江中控技术股份有限公司 一种图像识别的方法和装置
WO2018233325A1 (zh) * 2017-06-22 2018-12-27 京东方科技集团股份有限公司 目标检测方法和装置
CN109492562A (zh) * 2018-10-30 2019-03-19 河南科技大学 一种无接触家畜识别系统
CN109740429A (zh) * 2017-11-30 2019-05-10 沈阳工业大学 基于嘴角坐标平均值变化的笑脸识别方法
CN109933683A (zh) * 2019-01-17 2019-06-25 南京信安融慧网络技术有限公司 一种图像特征提取算法
CN111586428A (zh) * 2020-04-30 2020-08-25 永康精信软件开发有限公司 具有虚拟人物上妆功能的化妆品直播系统及方法
CN111586424A (zh) * 2020-04-28 2020-08-25 永康精信软件开发有限公司 一种实现化妆品多维动态展示的视频直播方法及装置
CN113440101A (zh) * 2021-02-01 2021-09-28 复旦大学附属眼耳鼻喉科医院 一种基于集成学习的眩晕诊断装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699470A (zh) * 2009-10-30 2010-04-28 华南理工大学 一种对人脸图片进行笑脸识别的提取方法
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699470A (zh) * 2009-10-30 2010-04-28 华南理工大学 一种对人脸图片进行笑脸识别的提取方法
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
严新平: "基于特征融合的笑脸识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504365A (zh) * 2014-11-24 2015-04-08 闻泰通讯股份有限公司 视频序列中的笑脸识别系统及方法
CN104915641A (zh) * 2015-05-27 2015-09-16 上海交通大学 基于android平台获取人脸图像光源方位的方法
CN104915641B (zh) * 2015-05-27 2018-02-02 上海交通大学 基于android平台获取人脸图像光源方位的方法
CN107949848A (zh) * 2015-06-26 2018-04-20 英特尔公司 数字图像中的缺陷检测和校正
CN107949848B (zh) * 2015-06-26 2022-04-15 英特尔公司 数字图像中的缺陷检测和校正
CN105913264A (zh) * 2016-04-01 2016-08-31 王涛 基于指纹辅助身份识别的人脸支付装置
CN105913264B (zh) * 2016-04-01 2018-05-22 广州代伴网络科技有限公司 基于指纹辅助身份识别的人脸支付装置
CN109117689B (zh) * 2017-06-22 2020-01-07 京东方科技集团股份有限公司 行人检测方法和装置
US11393218B2 (en) 2017-06-22 2022-07-19 Boe Technology Group Co., Ltd. Object detection method and device
WO2018233325A1 (zh) * 2017-06-22 2018-12-27 京东方科技集团股份有限公司 目标检测方法和装置
CN109117689A (zh) * 2017-06-22 2019-01-01 京东方科技集团股份有限公司 行人检测方法和装置
CN109740429A (zh) * 2017-11-30 2019-05-10 沈阳工业大学 基于嘴角坐标平均值变化的笑脸识别方法
CN108229422A (zh) * 2018-01-25 2018-06-29 浙江中控技术股份有限公司 一种图像识别的方法和装置
CN109492562B (zh) * 2018-10-30 2021-05-25 河南科技大学 一种无接触家畜识别系统
CN109492562A (zh) * 2018-10-30 2019-03-19 河南科技大学 一种无接触家畜识别系统
CN109933683A (zh) * 2019-01-17 2019-06-25 南京信安融慧网络技术有限公司 一种图像特征提取算法
CN111586424A (zh) * 2020-04-28 2020-08-25 永康精信软件开发有限公司 一种实现化妆品多维动态展示的视频直播方法及装置
CN111586424B (zh) * 2020-04-28 2022-05-31 永康精信软件开发有限公司 一种实现化妆品多维动态展示的视频直播方法及装置
CN111586428A (zh) * 2020-04-30 2020-08-25 永康精信软件开发有限公司 具有虚拟人物上妆功能的化妆品直播系统及方法
CN113440101A (zh) * 2021-02-01 2021-09-28 复旦大学附属眼耳鼻喉科医院 一种基于集成学习的眩晕诊断装置及系统
CN113440101B (zh) * 2021-02-01 2023-06-23 复旦大学附属眼耳鼻喉科医院 一种基于集成学习的眩晕诊断装置及系统

Similar Documents

Publication Publication Date Title
CN104143081A (zh) 基于嘴部特征的笑脸识别系统及方法
Souly et al. Semi and weakly supervised semantic segmentation using generative adversarial network
Souly et al. Semi supervised semantic segmentation using generative adversarial network
US10198657B2 (en) All-weather thermal-image pedestrian detection method
Zhang et al. Multi-class weather classification on single images
CN106156777B (zh) 文本图片检测方法及装置
WO2019080203A1 (zh) 一种机器人的手势识别方法、系统及机器人
CN105718889B (zh) 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
CN105069472A (zh) 一种基于卷积神经网络自适应的车辆检测方法
Wang et al. Traffic sign detection using a cascade method with fast feature extraction and saliency test
WO2020077940A1 (en) Method and device for automatic identification of labels of image
CN102915453B (zh) 一种实时反馈更新的车辆检测方法
CN105760858A (zh) 一种基于类Haar中间层滤波特征的行人检测方法及装置
CN112150493A (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN110322445A (zh) 一种基于最大化预测和标签间相关性损失函数的语义分割方法
CN101996308A (zh) 人脸认证方法及系统、人脸模型训练方法及系统
CN106874825A (zh) 人脸检测的训练方法、检测方法和装置
CN110706235A (zh) 一种基于双级级联分割的远红外行人检测方法
CN105046202A (zh) 自适应的人脸识别光照处理方法
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN108664968B (zh) 一种基于文本选取模型的无监督文本定位方法
Hu et al. Action recognition using multiple pooling strategies of CNN features
D RAJ et al. British sign language recognition using HOG
CN116597258B (zh) 一种基于多尺度特征融合的矿石分选模型训练方法及系统
Zhang et al. Salient dual activations aggregation for ground-based cloud classification in weather station networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141112