CN107563328A - 一种基于复杂环境下的人脸识别方法及系统 - Google Patents

一种基于复杂环境下的人脸识别方法及系统 Download PDF

Info

Publication number
CN107563328A
CN107563328A CN201710780200.7A CN201710780200A CN107563328A CN 107563328 A CN107563328 A CN 107563328A CN 201710780200 A CN201710780200 A CN 201710780200A CN 107563328 A CN107563328 A CN 107563328A
Authority
CN
China
Prior art keywords
face
identified
image
facial image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710780200.7A
Other languages
English (en)
Inventor
胡建国
周检根
王金鹏
吴明华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Smart City Development Research Institute
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
Guangzhou Smart City Development Research Institute
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Smart City Development Research Institute, National Sun Yat Sen University filed Critical Guangzhou Smart City Development Research Institute
Priority to CN201710780200.7A priority Critical patent/CN107563328A/zh
Publication of CN107563328A publication Critical patent/CN107563328A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于复杂环境下的人脸识别方法及系统,其中,所述人脸识别方法包括:对待识别人脸图像进行预处理,获取预处理后的待识别人脸图像;对预处理后的待识别人脸图像进行人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,获取训练后的待识别样本特征集合;采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,获取待识别人脸图像的识别结果。在本发明实施例中,本发明实施例针对训练样本较少,而且待测图像在复杂环境条件下,依然能够实现准确识别,对硬件要求不高,满足实时性要求,推广经济可行。

Description

一种基于复杂环境下的人脸识别方法及系统
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于复杂环境下的人脸识别方法及系统。
背景技术
人脸识别作为一项重要的生物识别技术,在公安刑侦、企业管理、自助服务、视频监控、人脸身份认证等方面都取得了广泛的应用,人脸识别研究已经在图像处理、模式识别、计算机视觉等领域引起了极大的关注。
近年来,人们对人脸及人脸面部表情识别的研究热情不断高涨;在国内外,对人脸表情识别的研究非常活跃,吸引了大量的研究人员和基金支持,EI可检索到的相关文献就多达数千篇。美国、英国、日本等发达国家都有专门的研究机构进行这方面的研究。例如MIT、Maryland大学,斯坦福大学、东京大学、ART研究所等等;国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学等都有人员从事人怜及表情识别的研究,并取得了一定的成果。
国内的北京旷视科技有限公司在人脸识别领域取得很大突破,达到世界领先水平,该公司与阿里巴巴建立合作,将其人脸识别技术运用在支付宝,实现了“刷脸”支付,大大改变了人们的消费方式,使支付变得越来越便捷,科技慢慢的改变了人们的生活。
现有的人脸识别方案大多都是基于2D图像进行训练,匹配等,其中原始待匹配图像必须为裁剪好并且没有过多背景区及噪声的人脸图像,对噪声的冗余性和鲁棒性不是很好,并且常为针对特定情景下的的人脸图像,而对于复杂环境下的图像,有如表情、视角、光照、遮挡等方面的变化。对于这些图像,当前的人脸识别系统识别效果不理想,提取到的特征不完整,易丢失有效信息,从而影响分类效果,此外,必须经过大量的重复训练及大量数据集,运算复杂度高,实时性差。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于复杂环境下的人脸识别方法及系统,能在复杂环境下对待识别人脸图像进行快速识别。
为了解决上述技术问题,本发明实施例提供了一种基于复杂环境下的人脸识别方法,所述人脸识别方法包括:
对待识别人脸图像进行预处理,获取预处理后的待识别人脸图像;
对预处理后的待识别人脸图像进行人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,获取训练后的待识别样本特征集合;
采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,获取待识别人脸图像的识别结果。
优选地,所述对待识别人脸图像进行预处理,包括:
对所述待识别人脸图像进行灰度化处理,所述灰度化处理的处理公式如下:
Y=0.299R+0.587G+0.114B
其中,R、G、B分别表示待识别人脸图像的红、绿、蓝三原色像素值,Y表示灰度化处理后的像素值。
优选地,所述对预处理后的待识别人脸图像进行人脸对齐处理,包括:
对所述预处理后的待识别人脸图像进行检测处理,获取待识别人脸检测结果;
根据待识别人脸检测结果进行自动人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
所述检测处理包括人脸检测处理、面部特征点检测处理和人脸变形检测处理。
优选地,所述对所述预处理后的待识别人脸图像进行检测处理,包括:
采用Viola-Jones方法对所述预处理后的待识别人脸图像进行人脸检测处理,获取待识别人脸检测结果;
采用回归熟方法对所述待识别人脸检测结果进行面部特征点检测处理,获取待识别人脸检测结果中图像的特征点;
在所述待识别人脸检测结果中图像边缘上进行等距离点增加处理,获取增加等距离点后的待识别人脸图像;
根据所述增加等距离点后的待识别人脸图像构建覆盖人脸图像的Delaunay三角网格。
优选地,所述根据待识别人脸检测结果进行自动人脸对齐处理,包括:
对所述待识别人脸检测结果进行图像旋转,使得待识别人脸图像中的人脸眼睛水平对齐;
对人脸眼睛水平对齐的待识别人脸图像进行重新调整,获取固定双眼间距离和下颚距离;
将待识别人脸图像中的左眼位置设定为固定的预定义值;
参照一副给定的正面人脸图像,对待识别人脸图像各部分依据所述预定义值和Delaunay三角网格之间的相对位置进行旋转操作,得到对齐的人脸。
优选地,所述对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,包括:
对输入的待识别的人脸对齐后的待识别正面人脸图像采用深度特征提取神经网络提取出待识别人脸图像的深层待识别样本特征集合。
优选地,所述采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,包括:
采用所述留存样本特征集合对所述待识别样本特征集合进行稀疏表示处理,获取稀疏表示的表示系数;
根据所述稀疏表示的表示系数与所述留存样本特征集合进行残差计算处理,获取残差计算结果;
根据所述残差计算结果进行残差分类,选取最小的残差分类作为人脸识别结果。
优选地,所述留存样本特征集合的获取步骤,包括:
对样本人脸图像进行预处理,获取预处理后的样本人脸图像;
对预处理后的样本人脸图像进行人脸对齐处理,获取人脸对齐后的样本正脸图像;
对所述人脸对齐后的样本正脸图像进行卷积神经网络训练处理,获取留存样本特征集合;
所述神经网络训练处理包括:
构建特征提取的卷积神经网络;
将所述人脸对齐后的样本正脸图像输入卷积神经网络进行特征提取,将留存样本特征集合提取过程用映射函数表示,获取留存样本特征集合。
另外,本发明实施例还提供了一种基于复杂环境下的人脸识别系统,所述人脸识别系统包括:
预处理模块:用于对待识别人脸图像进行预处理,获取预处理后的待识别人脸图像;
人脸对齐模块:用于对预处理后的待识别人脸图像进行人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
特征提取训练模块:用于对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,获取训练后的待识别样本特征集合;
人脸识别模块:用于采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,获取待识别人脸图像的识别结果。
优选地,所述人脸识别模块包括:
稀疏表示单元:用于采用所述留存样本特征集合对所述待识别样本特征集合进行稀疏表示处理,获取稀疏表示的表示系数;
残差计算单元:用于根据所述稀疏表示的表示系数与所述留存样本特征集合进行残差计算处理,获取残差计算结果;
人脸识别单元:用于根据所述残差计算结果进行残差分类,选取最小的残差分类作为人脸识别结果。
在本发明实施例中,本发明实施例针对训练样本较少,而且待测图像在复杂环境条件下,依然能够实现准确识别,对硬件要求不高,满足实时性要求,推广经济可行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于复杂环境下的人脸识别方法的方法流程示意图;
图2是本发明实施例中的基于复杂环境下的人脸识别方法的特征识别处理步骤流程示意图;
图3是本发明试试中的基于复杂环境下的人脸识别方法的留存样本特征集合的获取步骤的流程示意图;
图4是本发明实施例中的又一基于复杂环境下的人脸识别方法的方法流程示意图;
图5是本发明实施例中的基于复杂环境下的人脸识别系统的系统结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一:
图1是本发明实施例中的基于复杂环境下的人脸识别方法的方法流程示意图,如图1所示,所述人脸识别方法包括:
S11:对待识别人脸图像进行预处理,获取预处理后的待识别人脸图像;
对获取到的待识别人脸图像首先进行预处理,即将色彩图像转换为灰度化图像,转换公式如下:
Y=0.299R+0.587G+0.114B;
其中,R、G、B分别表示待识别人脸图像的红、绿、蓝三原色像素值,Y表示灰度化处理后的像素值。
通过上述的灰度化转换公式对待识别人脸图像进行灰度化转换,即可获取预处理之后的灰度化的待识别人脸图像。
S12:对预处理后的待识别人脸图像进行人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
对所述预处理后的待识别人脸图像进行检测处理,获取待识别人脸检测结果;根据待识别人脸检测结果进行自动人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;所述检测处理包括人脸检测处理、面部特征点检测处理。
进一步的,在本发明实施例实施过程中,提供一个正面人脸参考图像,根据一个参考的正面人脸,扭曲输入的经预处理后非正面人脸图像,其目的是对输入的图像,使其特征与基于三角网格的参考正面人脸图像的相应特征相匹配,这个过程分为三步,人脸检测、面部特征点检测。
首先,使用Viola-Jones方法从图像中检测人脸,之后利用Kazemi和Sullivan提出的回归树方法来检测图像的特征点,检测到的图像68个特征点主要位于不同人脸区分度最大的部位。除了68个检测到的特征点之外,在人脸的边缘上加了等距离的点,计算覆盖整个脸部图像的Delaunay三角网格,对于输入面部图像的每个特征点,仿照这个参考正面人脸的三角网格,扭曲每一个三角形,以映射到相应参考正面人脸上的三角网格,这些通过由旋转,缩放和平移组成的映射变换来完成,最终将输入人脸上的特征点[x,y]T映射到参考人脸上的特征点[x′,y′]T,映射公式如下:
其中a,b,c,d是旋转和缩放参数,而tx,ty是平移参数。这样获得的图像已经对齐好,所有图像中的双眼间距离和下颚距离大致相同。
S13:对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,获取训练后的待识别样本特征集合;
将上述步骤中获取到的所述人脸对齐后的待识别正面人脸图像输入到深度特征提取神经网络,通过深度特征提取网络进行卷积神经网络训练处理,最后提取出待识别人脸图像的深层待识别样本特征集合;假设待识别人脸图像为y,则提取出来的深层待识别样本特征集合为y′=f(y),因为每一个人脸图像提取出来的特征至少为一个,但是通常情况下,人脸图像是比较复杂的图像信息,拥有较多的特征点,因此往往提出数十上百个深层特征以上,这些特征组成在一起形成一个深层待识别样本特征集合。
S14:采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,获取待识别人脸图像的识别结果。
对于S14,参考图2进行说明,其中,图2是本发明实施例中的基于复杂环境下的人脸识别方法的特征识别处理步骤流程示意图,如图2所示,步骤流程如下:
S141:采用所述留存样本特征集合对所述待识别样本特征集合进行稀疏表示处理,获取稀疏表示的表示系数;
利用上述待识别样本特征集合和留存样本特征集合进行稀疏表示,从中选择使误差函数最小的表示系数用来对输入样本进行映射;第二项为稀疏惩罚项,其中λ为常量,用来控制两个式子的相对重要性,具体的实现方法如下式所示,最终得到表示系数ρ:
其中,y′为待识别样本特征集合,X′为留存样本特征集合,a′为表示第二项为稀疏惩罚项,λ为常量。
S142:根据所述稀疏表示的表示系数与所述留存样本特征集合进行残差计算处理,获取残差计算结果;
利用上述S141中计算得到的表示系数ρ,通过留存样本特征集合X′对待识别样本特征集合y′进行残差计算,获取待识别样本特征集合y′与对应的留存样本特征集合X′每个子集合的之间的残差,每个留存样本特征子集合即为一个留存人脸图像的深层特征。
S143:根据所述残差计算结果进行残差分类,选取最小的残差分类作为人脸识别结果。
对上述S142计算获取到的残差进行分类,即是对留存样本特征集合X′中的每个子集合进行残差计算,计算结果如下:
其中,y′为待识别样本特征集合,ρ为表示系数,X′i表示留存样本特征集合X′每个子集合,i表示第i个子集合,i=1,2,3,4,...,C。
根据上述计算结果进行分类,即最小的分类为人脸识别的结果。
其中,留存样本特征集合的获取步骤参照如图3,图3是本发明试试中的基于复杂环境下的人脸识别方法的留存样本特征集合的获取步骤的流程示意图,如图3所示,获取步骤的流程如下:
S31:对样本人脸图像进行预处理,获取预处理后的样本人脸图像;
对获取到的样本人脸图像首先进行预处理,即将色彩图像转换为灰度化图像,转换公式如下:
Y=0.299R+0.587G+0.114B;
其中,R、G、B分别表示样本人脸图像的红、绿、蓝三原色像素值,Y表示灰度化处理后的像素值。
通过上述的灰度化转换公式对样本人脸图像进行灰度化转换,即可获取预处理之后的灰度化的样本人脸图像。
S32:对预处理后的样本人脸图像进行人脸对齐处理,获取人脸对齐后的样本正脸图像;
对所述预处理后的样本人脸图像进行检测处理,获取样本人脸检测结果;根据样本人脸检测结果进行自动人脸对齐处理,获取人脸对齐后的样本正面人脸图像;所述检测处理包括人脸检测处理、面部特征点检测处理。
进一步的,在本发明实施例实施过程中,提供一个正面人脸参考图像,根据一个参考的正面人脸,扭曲输入的经预处理后非正面人脸图像,其目的是对输入的图像,使其特征与基于三角网格的参考正面人脸图像的相应特征相匹配,这个过程分为三步,人脸检测、面部特征点检测、人脸变形。
首先,使用Viola-Jones方法从图像中检测人脸,之后利用Kazemi和Sullivan提出的回归树方法来检测图像的特征点,检测到的图像68个特征点主要位于不同人脸区分度最大的部位。除了68个检测到的特征点之外,在人脸的边缘上加了等距离的点,计算覆盖整个脸部图像的Delaunay三角网格,对于输入面部图像的每个特征点,仿照这个参考正面人脸的三角网格,扭曲每一个三角形,以映射到相应参考正面人脸上的三角网格,这些通过由旋转,缩放和平移组成的映射变换来完成,最终将输入人脸上的特征点[x,y]T映射到参考人脸上的特征点[x′,y′]T,映射公式如下:
其中a,b,c,d是旋转和缩放参数,而tx,ty是平移参数。这样获得的图像已经对齐好,所有图像中的双眼间距离和下颚距离大致相同。
S33:对所述人脸对齐后的样本正脸图像进行卷积神经网络训练处理,获取留存样本特征集合。
其中,所述神经网络训练处理包括:
构建特征提取的卷积神经网络;将所述人脸对齐后的样本正脸图像输入卷积神经网络进行特征提取,将留存样本特征集合提取过程用映射函数表示,获取留存样本特征集合。
即是,利用外部数据歇息得到特征提取的卷积神经网络f(y);通过第一步得到提取特征的卷积神经网络后,把整个神经网络从原始样本经过卷积神经网络提取得到样本特征的过程表示为映射函数f(X)。则对于所有的留存集样本X={X1,X2,…,Xi,…,Xc},经过映射Xi=f(Xi),可以得到特征空间的留存集字典X′={X′1,X′2,…,X′i,…,X′c},也就是提取得到的留存样本特征集合,其中C表示类别总数,即表示C个留存样本(留存人脸图像)。
在本发明实施例中,本发明实施例针对训练样本较少,而且待测图像在复杂环境条件下,依然能够实现准确识别,对硬件要求不高,满足实时性要求,推广经济可行。
实施例二:
图4是本发明实施例中的又一基于复杂环境下的人脸识别方法的方法流程示意图,如图4所示,所述人脸识别方法包括:
S21:对待识别人脸图像进行预处理,获取预处理后的待识别人脸图像;
对于S21具体实施过程请参照实施例一。
S22:对所述预处理后的待识别人脸图像进行检测处理,获取待识别人脸检测结果;
在本发明实施例实施过程中,提供一个正面人脸参考图像,根据一个参考的正面人脸,扭曲输入的经预处理后非正面人脸图像,其目的是对输入的图像,使其特征与基于三角网格的参考正面人脸图像的相应特征相匹配,这个过程分为三步,人脸检测、面部特征点检测、人脸变形。
首先,使用Viola-Jones方法从图像中检测人脸,之后利用Kazemi和Sullivan提出的回归树方法来检测图像的特征点,检测到的图像68个特征点主要位于不同人脸区分度最大的部位。除了68个检测到的特征点之外,在人脸的边缘上加了等距离的点,计算覆盖整个脸部图像的Delaunay三角网格,对于输入面部图像的每个特征点,仿照这个参考正面人脸的三角网格,扭曲每一个三角形,以映射到相应参考正面人脸上的三角网格,这些通过由旋转,缩放和平移组成的映射变换来完成,最终将输入人脸上的特征点[x,y]T映射到参考人脸上的特征点[x′,y′]T,映射公式如下:
其中a,b,c,d是旋转和缩放参数,而tx,ty是平移参数。这样获得的图像已经对齐好,所有图像中的双眼间距离和下颚距离大致相同。
S23:根据待识别人脸检测结果进行自动人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
对所述待识别人脸检测结果进行图像旋转,使得图像中的人脸眼睛水平对齐;对人脸眼睛水平对齐的待识别人脸图像进行重新调整,获取固定双眼间距离和下颚距离;将待识别人脸图像中的左眼位置设定为固定的预定义值;参照一副给定的正面人脸图像,对待识别人脸图像各部分依据所述预定义值和Delaunay三角网格之间的相对位置进行旋转操作,得到对齐的人脸。。
S24:对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,获取训练后的待识别样本特征集合;
对于S24具体实施过程请参照实施例一。
S25:采用所述留存样本特征集合对所述待识别样本特征集合进行稀疏表示处理,获取稀疏表示的表示系数;
利用上述待识别样本特征集合和留存样本特征集合进行稀疏表示,从中选择使误差函数最小的表示系数用来对输入样本进行映射;第二项为稀疏惩罚项,其中λ为常量,用来控制两个式子的相对重要性,具体的实现方法如下式所示,最终得到表示系数ρ:
其中,y′为待识别样本特征集合,X′为留存样本特征集合,a′为表示系数,第二项为稀疏惩罚项,λ为常量,ρ为使右式值最小时取的表示系数,即最终的表示系数。
S26:根据所述稀疏表示的表示系数与所述留存样本特征集合进行残差计算处理,获取残差计算结果;
利用上述S141中计算得到的表示系数ρ,通过留存样本特征集合X′对待识别样本特征集合y′进行残差计算,获取待识别样本特征集合y′与对应的留存样本特征集合X′每个子集合的之间的残差,每个留存样本特征子集合即为一个留存人脸图像的深层特征。
S27:根据所述残差计算结果进行残差分类,选取最小的残差分类作为人脸识别结果。
对上述S142计算获取到的残差进行分类,即是对留存样本特征集合X′中的每个子集合进行残差计算,计算结果如下:
其中,y′为待识别样本特征集合,ρ为表示系数,X′i表示留存样本特征集合X′每个子集合,i表示第i个子集合,i=1,2,3,4,...,C。
根据上述计算结果进行分类,即最小的分类为人脸识别的结果。
在本发明实施例中,本发明实施例针对训练样本较少,而且待测图像在复杂环境条件下,依然能够实现准确识别,对硬件要求不高,满足实时性要求,推广经济可行。
图5是本发明实施例中的基于复杂环境下的人脸识别系统的系统结构组成示意图,如图5所示,所述人脸识别系统包括:
预处理模块11:用于对待识别人脸图像进行预处理,获取预处理后的待识别人脸图像;
人脸对齐模块12:用于对预处理后的待识别人脸图像进行人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
特征提取训练模块13:用于对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,获取训练后的待识别样本特征集合;
人脸识别模块14:用于采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,获取待识别人脸图像的识别结果。
优选地,所述人脸识别模块14包括:
稀疏表示单元:用于采用所述留存样本特征集合对所述待识别样本特征集合进行稀疏表示处理,获取稀疏表示的表示系数;
残差计算单元:用于根据所述稀疏表示的表示系数与所述留存样本特征集合进行残差计算处理,获取残差计算结果;
人脸识别单元:用于根据所述残差计算结果进行残差分类,选取最小的残差分类作为人脸识别结果。
优选地,所述对待识别人脸图像进行预处理,包括:
对所述待识别人脸图像进行灰度化处理,所述灰度化处理的处理公式如下:
Y=0.299R+0.587G+0.114B
其中,R、G、B分别表示待识别人脸图像的红、绿、蓝三原色像素值,Y表示灰度化处理后的像素值。
优选地,所示人脸对齐模块12包括:
检测单元:用于对所述预处理后的待识别人脸图像进行检测处理,获取待识别人脸检测结果;
对齐单元:用于根据待识别人脸检测结果进行自动人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
所述检测处理包括人脸检测处理、面部特征点检测处理和人脸变形检测处理。
优选地,所述检测单元包括:
检测子单元:用于采用Viola-Jones方法对所述预处理后的待识别人脸图像进行人脸检测处理,获取待识别人脸检测结果;
特征点检测子单元:用于采用回归熟方法对所述待识别人脸检测结果进行面部特征点检测处理,获取待识别人脸检测结果中图像的特征点;
等距离点增加子单元:用于在所述待识别人脸检测结果中图像边缘上进行等距离点增加处理,获取增加等距离点后的待识别人脸图像;
三角网络构建子单元:用于根据所述增加等距离点后的待识别人脸图像构建覆盖人脸图像的Delaunay三角网格;
人脸变形子单元:用于将所述特征点输入所述Delaunay三角网格进行人脸变形处理,获取待识别人脸变形处理结果。
优选地,所述对齐单元包括:
旋转子单元:用于对所述待识别人脸检测结果进行图像旋转,使得图像中的人脸眼睛水平对齐;
重新调整子单元:用于对人脸眼睛水平对齐的待识别人脸图像进行重新调整,获取固定双眼间距离和下颚距离;
设置子单元:用于将待识别人脸图像中的左眼位置设定为固定的预定义值;
对齐子单元:用于参照一副给定的正面人脸图像,对待识别人脸图像各部分依据所述预定义值和Delaunay三角网格之间的相对位置进行旋转操作,得到对齐的人脸。。
优选地,所述特征提取训练模块13包括:
特征提取训练单元:对输入的待识别的人脸对齐后的待识别正面人脸图像采用深度特征提取神经网络提取出待识别人脸图像的深层待识别样本特征集合。
优选地,所述留存样本特征集合的获取步骤,包括:
对样本人脸图像进行预处理,获取预处理后的样本人脸图像;
对预处理后的样本人脸图像进行人脸对齐处理,获取人脸对齐后的样本正脸图像;
对所述人脸对齐后的样本正脸图像进行卷积神经网络训练处理,获取留存样本特征集合;
所述神经网络训练处理包括:
构建特征提取的卷积神经网络;
将所述人脸对齐后的样本正脸图像输入卷积神经网络进行特征提取,将留存样本特征集合提取过程用映射函数表示,获取留存样本特征集合。
具体地,本发明实施例的系统相关功能模块的工作原理可参见方法实施例的相关描述,这里不再赘述。
在本发明实施例中,本发明实施例针对训练样本较少,而且待测图像在复杂环境条件下,依然能够实现准确识别,对硬件要求不高,满足实时性要求,推广经济可行。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于复杂环境下的人脸识别方法及系统进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于复杂环境下的人脸识别方法,其特征在于,所述人脸识别方法包括:
对待识别人脸图像进行预处理,获取预处理后的待识别人脸图像;
对预处理后的待识别人脸图像进行人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,获取训练后的待识别样本特征集合;
采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,获取待识别人脸图像的识别结果。
2.根据权利要求1所述的基于复杂环境下的人脸识别方法,其特征在于,所述对待识别人脸图像进行预处理,包括:
对所述待识别人脸图像进行灰度化处理,所述灰度化处理的处理公式如下:
Y=0.299R+0.587G+0.114B
其中,R、G、B分别表示待识别人脸图像的红、绿、蓝三原色像素值,Y表示灰度化处理后的像素值。
3.根据权利要求1所述的基于复杂环境下的人脸识别方法,其特征在于,所述对预处理后的待识别人脸图像进行人脸对齐处理,包括:
对所述预处理后的待识别人脸图像进行检测处理,获取待识别人脸检测结果;
根据待识别人脸检测结果进行自动人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
所述检测处理包括人脸检测处理、面部特征点检测处理。
4.根据权利要求3所述的基于复杂环境下的人脸识别方法,其特征在于,所述对所述预处理后的待识别人脸图像进行检测处理,包括:
采用Viola-Jones方法对所述预处理后的待识别人脸图像进行人脸检测处理,获取待识别人脸检测结果;
采用回归树方法对所述待识别人脸检测结果进行面部特征点检测处理,获取待识别人脸检测结果中图像的特征点;
在所述待识别人脸检测结果中图像边缘上进行等距离点增加处理,获取增加等距离点后的待识别人脸图像;
根据所述增加等距离点后的待识别人脸图像构建覆盖人脸图像的Delaunay三角网格。
5.根据权利要求3所述的基于复杂环境下的人脸识别方法,其特征在于,所述根据待识别人脸检测结果进行自动人脸对齐处理,包括:
对所述待识别人脸检测结果进行图像旋转,使得待识别人脸图像中的人脸眼睛水平对齐;
对人脸眼睛水平对齐的待识别人脸图像进行重新调整,获取固定双眼间距离和下颚距离;
将待识别人脸图像中的左眼位置设定为固定的预定义值;
参照一副给定的正面人脸图像,对待识别人脸图像各部分依据所述预定义值和Delaunay三角网格之间的相对位置进行旋转操作,得到对齐的人脸。
6.根据权利要求1所述的基于复杂环境下的人脸识别方法,其特征在于,所述对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,包括:
对输入的待识别的人脸对齐后的待识别正面人脸图像采用深度特征提取神经网络提取出待识别人脸图像的深层待识别样本特征集合。
7.根据权利要求1所述的基于复杂环境下的人脸识别方法,其特征在于,所述采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,包括:
采用所述留存样本特征集合对所述待识别样本特征集合进行稀疏表示处理,获取稀疏表示的表示系数;
根据所述稀疏表示的表示系数与所述留存样本特征集合进行残差计算处理,获取残差计算结果;
根据所述残差计算结果进行残差分类,选取最小的残差分类作为人脸识别结果。
8.根据权利要求1所述的基于复杂环境下的人脸识别方法,其特征在于,所述留存样本特征集合的获取步骤,包括:
对样本人脸图像进行预处理,获取预处理后的样本人脸图像;
对预处理后的样本人脸图像进行人脸对齐处理,获取人脸对齐后的样本正脸图像;
对所述人脸对齐后的样本正脸图像进行卷积神经网络训练处理,获取留存样本特征集合;
所述神经网络训练处理包括:
构建特征提取的卷积神经网络;
将所述人脸对齐后的样本正脸图像输入卷积神经网络进行特征提取,将留存样本特征集合提取过程用映射函数表示,获取留存样本特征集合。
9.一种基于复杂环境下的人脸识别系统,其特征在于,所述人脸识别系统包括:
预处理模块:用于对待识别人脸图像进行预处理,获取预处理后的待识别人脸图像;
人脸对齐模块:用于对预处理后的待识别人脸图像进行人脸对齐处理,获取人脸对齐后的待识别正面人脸图像;
特征提取训练模块:用于对所述人脸对齐后的待识别正面人脸图像进行卷积神经网络训练处理,获取训练后的待识别样本特征集合;
人脸识别模块:用于采用留存样本特征集合对所述待识别样本特征集合进行特征识别处理,获取待识别人脸图像的识别结果。
10.根据权利要求1所述的基于复杂环境下的人脸识别系统,其特征在于,所述人脸识别模块包括:
稀疏表示单元:用于采用所述留存样本特征集合对所述待识别样本特征集合进行稀疏表示处理,获取稀疏表示的表示系数;
残差计算单元:用于根据所述稀疏表示的表示系数与所述留存样本特征集合进行残差计算处理,获取残差计算结果;
人脸识别单元:用于根据所述残差计算结果进行残差分类,选取最小的残差分类作为人脸识别结果。
CN201710780200.7A 2017-09-01 2017-09-01 一种基于复杂环境下的人脸识别方法及系统 Pending CN107563328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710780200.7A CN107563328A (zh) 2017-09-01 2017-09-01 一种基于复杂环境下的人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710780200.7A CN107563328A (zh) 2017-09-01 2017-09-01 一种基于复杂环境下的人脸识别方法及系统

Publications (1)

Publication Number Publication Date
CN107563328A true CN107563328A (zh) 2018-01-09

Family

ID=60977852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710780200.7A Pending CN107563328A (zh) 2017-09-01 2017-09-01 一种基于复杂环境下的人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN107563328A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492344A (zh) * 2018-03-30 2018-09-04 中国科学院半导体研究所 一种肖像漫画生成方法
CN108875564A (zh) * 2018-05-02 2018-11-23 浙江工业大学 一种宠物面部识别方法
CN109507792A (zh) * 2018-12-27 2019-03-22 湖南品信生物工程有限公司 一种基于机器学习的光学显微镜自动聚焦方法
CN109753922A (zh) * 2018-12-29 2019-05-14 北京建筑大学 基于稠密卷积神经网络的仿人机器人表情识别方法
CN110163277A (zh) * 2019-05-17 2019-08-23 成都汇晟连横科技有限公司 基于原色分解的图像识别训练方法、图像识别方法及系统
CN110210311A (zh) * 2019-04-30 2019-09-06 杰创智能科技股份有限公司 一种基于通道特征融合稀疏表示的人脸识别方法
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN110490162A (zh) * 2019-08-23 2019-11-22 北京搜狐新时代信息技术有限公司 基于人脸识别解锁功能显示人脸变化的方法、装置和系统
CN110533762A (zh) * 2018-05-23 2019-12-03 华硕电脑股份有限公司 三维头像的生成方法及电子装置
CN110619295A (zh) * 2019-09-09 2019-12-27 深圳市三宝创新智能有限公司 一种人脸识别方法及系统
CN110909618A (zh) * 2019-10-29 2020-03-24 泰康保险集团股份有限公司 一种宠物身份的识别方法及装置
CN111191563A (zh) * 2019-12-26 2020-05-22 三盟科技股份有限公司 基于数据样本与测试数据集训练的人脸识别方法及系统
CN111523404A (zh) * 2020-04-08 2020-08-11 华东师范大学 一种基于卷积神经网络和稀疏表示的部分人脸识别方法
CN111783526A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111914668A (zh) * 2020-07-08 2020-11-10 浙江大华技术股份有限公司 一种基于图像增强技术的行人重识别方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833654A (zh) * 2010-04-02 2010-09-15 清华大学 基于约束采样的稀疏表示人脸识别方法
CN103577815A (zh) * 2013-11-29 2014-02-12 中国科学院计算技术研究所 一种人脸对齐方法和系统
CN103984922A (zh) * 2014-04-30 2014-08-13 苏亚 一种基于稀疏表示和形状约束的人脸识别方法
CN106203356A (zh) * 2016-07-12 2016-12-07 中国计量大学 一种基于卷积网络特征提取的人脸识别方法
CN107066969A (zh) * 2017-04-12 2017-08-18 南京维睛视空信息科技有限公司 一种人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833654A (zh) * 2010-04-02 2010-09-15 清华大学 基于约束采样的稀疏表示人脸识别方法
CN103577815A (zh) * 2013-11-29 2014-02-12 中国科学院计算技术研究所 一种人脸对齐方法和系统
CN103984922A (zh) * 2014-04-30 2014-08-13 苏亚 一种基于稀疏表示和形状约束的人脸识别方法
CN106203356A (zh) * 2016-07-12 2016-12-07 中国计量大学 一种基于卷积网络特征提取的人脸识别方法
CN107066969A (zh) * 2017-04-12 2017-08-18 南京维睛视空信息科技有限公司 一种人脸识别方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492344A (zh) * 2018-03-30 2018-09-04 中国科学院半导体研究所 一种肖像漫画生成方法
CN108875564A (zh) * 2018-05-02 2018-11-23 浙江工业大学 一种宠物面部识别方法
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN110533762B (zh) * 2018-05-23 2023-04-21 华硕电脑股份有限公司 三维头像的生成方法及电子装置
CN110533762A (zh) * 2018-05-23 2019-12-03 华硕电脑股份有限公司 三维头像的生成方法及电子装置
CN109507792A (zh) * 2018-12-27 2019-03-22 湖南品信生物工程有限公司 一种基于机器学习的光学显微镜自动聚焦方法
CN109507792B (zh) * 2018-12-27 2021-07-06 湖南品信生物工程有限公司 一种基于机器学习的光学显微镜自动聚焦方法
CN109753922A (zh) * 2018-12-29 2019-05-14 北京建筑大学 基于稠密卷积神经网络的仿人机器人表情识别方法
CN110210311A (zh) * 2019-04-30 2019-09-06 杰创智能科技股份有限公司 一种基于通道特征融合稀疏表示的人脸识别方法
CN110210311B (zh) * 2019-04-30 2021-05-04 杰创智能科技股份有限公司 一种基于通道特征融合稀疏表示的人脸识别方法
CN110163277B (zh) * 2019-05-17 2021-03-26 成都汇晟连横科技有限公司 基于原色分解的图像识别训练方法、图像识别方法及系统
CN110163277A (zh) * 2019-05-17 2019-08-23 成都汇晟连横科技有限公司 基于原色分解的图像识别训练方法、图像识别方法及系统
CN110490162A (zh) * 2019-08-23 2019-11-22 北京搜狐新时代信息技术有限公司 基于人脸识别解锁功能显示人脸变化的方法、装置和系统
CN110619295A (zh) * 2019-09-09 2019-12-27 深圳市三宝创新智能有限公司 一种人脸识别方法及系统
CN110909618A (zh) * 2019-10-29 2020-03-24 泰康保险集团股份有限公司 一种宠物身份的识别方法及装置
CN110909618B (zh) * 2019-10-29 2023-04-21 泰康保险集团股份有限公司 一种宠物身份的识别方法及装置
CN111191563A (zh) * 2019-12-26 2020-05-22 三盟科技股份有限公司 基于数据样本与测试数据集训练的人脸识别方法及系统
CN111523404A (zh) * 2020-04-08 2020-08-11 华东师范大学 一种基于卷积神经网络和稀疏表示的部分人脸识别方法
CN111783526A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111783526B (zh) * 2020-05-21 2022-08-05 昆明理工大学 一种利用姿势不变和图结构对齐的跨域行人重识别方法
CN111914668A (zh) * 2020-07-08 2020-11-10 浙江大华技术股份有限公司 一种基于图像增强技术的行人重识别方法、装置及系统

Similar Documents

Publication Publication Date Title
CN107563328A (zh) 一种基于复杂环境下的人脸识别方法及系统
CN109815893B (zh) 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN110163110B (zh) 一种基于迁移学习和深度特征融合的行人重识别方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN109740413A (zh) 行人重识别方法、装置、计算机设备及计算机存储介质
CN106127204A (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN112861690B (zh) 多方法融合的遥感影像变化检测方法及系统
CN108491797A (zh) 一种基于大数据的车辆图像精确检索方法
CN111401384A (zh) 一种变电设备缺陷图像匹配方法
CN102844766A (zh) 基于人眼图像的多特征融合身份识别方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN104376334B (zh) 一种多尺度特征融合的行人比对方法
CN107066969A (zh) 一种人脸识别方法
CN113963222B (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN112070158A (zh) 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法
CN109902585A (zh) 一种基于图模型的手指三模态融合识别方法
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法
CN110490913A (zh) 基于角点与单线段编组的特征描述算子进行影像匹配方法
CN109614853A (zh) 一种基于身体结构划分的双线性行人再识别网络构建方法
CN109977887A (zh) 一种抗年龄干扰的人脸识别方法
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN107705254A (zh) 一种基于街景图的城市环境评估方法
CN109886170A (zh) 一种钉螺智能检测识别与统计系统
Cai et al. Perception preserving decolorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180109