CN110909636B - 一种基于非均匀分布的人脸识别方法 - Google Patents

一种基于非均匀分布的人脸识别方法 Download PDF

Info

Publication number
CN110909636B
CN110909636B CN201911088558.9A CN201911088558A CN110909636B CN 110909636 B CN110909636 B CN 110909636B CN 201911088558 A CN201911088558 A CN 201911088558A CN 110909636 B CN110909636 B CN 110909636B
Authority
CN
China
Prior art keywords
face
features
feature
deep learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911088558.9A
Other languages
English (en)
Other versions
CN110909636A (zh
Inventor
赵志诚
苏菲
王萍宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911088558.9A priority Critical patent/CN110909636B/zh
Publication of CN110909636A publication Critical patent/CN110909636A/zh
Application granted granted Critical
Publication of CN110909636B publication Critical patent/CN110909636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于非均匀分布的人脸识别方法,属于图像模式识别领域。首先使用人脸检测器检测和截取人脸区域,再利用仿射变换矩阵对所有截取的人脸区域进行侧脸矫正操作,然后利用深度学习模型对侧脸矫正的人脸图片提取特征;深度学习模型进行训练和测试,包括:(1)对深度学习模型进行训练;(2)对人脸检测器检测和截取的人脸区域进行侧脸矫正操作后,利用训练好的深度学习模型提取原始特征,并进行归一化处理,计算不同原始特征归一化后的特征之间的余弦相似度来判断是否属于同一人。本发明基于大边界的特征增强技术与可迁移特征归一化技术相结合,使得人脸识别的效率得到较大的提高,使得人脸识别系统的稳定性的也有很大的提高。

Description

一种基于非均匀分布的人脸识别方法
技术领域
本发明属于图像模式识别领域,尤其涉及一种基于深度学习的人脸识别技术。
背景技术
人脸识别是基于人的面部特征信息进行身份识别的一种生物特征技术,通常是从获取的动态或静态图像中检测人脸,接着对检测到的人脸进行身份识别。一个完整的人脸识别流程如图1所示。人脸识别系统首先通过摄像头,视频文件或者图像文件输入到人脸检测模块,然后将所有的人脸图像从所示图像中截取出来,再通过人脸矫正模块将非规范化的人脸归一化为标准人脸。对人脸图像进行预处理之后,再通过人脸识别算法模型提取人脸特征并进行特征计算和比对,最后得到识别结果。
现有的人脸训练集存在严重的分布不均的现象,比如少部分的富类别拥有大量的样本而大部分的穷类别却拥有少量的样本。在设计识别算法时,如果没有考虑到数据分布不均匀的现象,那么富类别将在模型训练更新中占据主导地位,以至于降低模型的泛化能力。从当前的不均匀特征学习的识别方法来看,可以分为三大类:(1)数据采样技术;(2)数据增强技术;(3)成本敏感损失函数。(1)数据采样技术主要采用上采样技术或者下采样技术来均衡数据分布。上采样技术是增加穷类别采样频次来匹配富类别,而下采样技术是丢掉某些穷类别来减缓数据不均匀分布。但是上采样技术可能会给数据带来新的噪声,而下采样技术可能丢掉某些有用的信息,这两者都不利于模型的训练。(2)数据增强技术主要采用生成模型来生成新的训练样本,但是生成模型很难保证新的生成人脸特征保持人脸身份信息不丢失。同时新生成的人脸图像也会线性地增加模型训练时间。(3)成本敏感损失函数对高损失值的样本赋予大权重值而对低损失值的样本赋予小权重值,这样保证模型训练更新过程中富类别和穷类别的均衡性,但是我们很难通过改变权值的方式来保证模型的均衡学习。
目前在人脸识别的问题中,由于人脸训练数据的每类样本数量存在明显的分布不均匀的现象,同时不同数据集之间存在较大的分布差异,这严重影响了人脸模型的泛化能力,降低了人脸识别性能。
发明内容
本发明针对目前人脸识别系统采用的人脸训练集存在严重分布不均的现象,影响人脸模型的泛化能力和降低人脸识别性能的问题,提出的一种基于非均匀分布的人脸识别的新方法。
本发明提出的基于非均匀分布的人脸识别方法,包括:首先,使用人脸检测器检测和截取人脸区域,再利用仿射变换矩阵对所有截取的人脸区域进行侧脸矫正操作,然后利用深度学习模型对侧脸矫正的人脸图片提取特征。在对深度学习模型进行训练和测试的过程如下:
(1)对深度学习模型进行训练,包括:
设当前深度学习模型提取到一个原始人脸特征集,每个原始人脸特征对应一个人脸类别标签,设人脸类别共有C个;然后执行下面(1.1)和(1.2);
(1.1)对提取的人脸特征集的每个类别,采用改进的基于最大边界的特征增强技术来生成新特征,具体是:对第j(j=1,2,…,C)个类别,计算特征中心cj,根据属于该类别的原始人脸特征和特征中心cj确定最大的类内差异dj,进而生成该类别的新特征fnew=cj+m×dj,m为最大边界系数;
(1.2)对原始人脸特征和新特征进行如下的特征归一化处理;特征归一化处理是指:由于生成特征存在噪声,我们首先学习原始人脸特征集的全局均值和方差,然后使用该均值和方差对原始人脸特征和新特征进行均值为0,方差为1的归一化操作;
利用(1.2)归一化处理后的原始人脸特征和新特征训练分类器和深度学习模型;
(2)对人脸检测器检测和截取的人脸区域进行侧脸矫正操作后,利用训练好的深度学习模型提取原始测试特征,并使用测试特征的均值和方差进行归一化处理,计算归一化后的不同原始测试特征之间的余弦相似度来判断是否属于同一人。
本发明与现有技术相比,具有以下优势:
(1)相比图像增强技术,本发明所提出的基于大边界的特征增强技术在不增加模型训练时间成本的情况下,可以生成困难样本特征,从而保证在富样本和穷样本的特征空间之间学习一个鲁棒的分类边界,这不仅大大提高了人脸模型的识别率,而且还明显地降低了模型的训练时间成本。
(2)本发明利用可迁移特征归一化技术,解决了跨数据的人脸识别模型性能降低的问题。
(3)本发明将基于大边界的特征增强技术与可迁移特征归一化技术相结合,使得人脸识别的效率得到较大的提高,使得人脸识别系统的稳定性的也有很大的提高。
附图说明
图1是一个完整的人脸识别方法的流程图;
图2是本发明的基于非均匀分布的人脸识别方法的一个实现流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图对本发明作进一步的详细和深入描述。
为了解决现有问题,本发明的基于非均匀分布的人脸识别方法,采用了基于大边界的特征增强技术和可迁移的特征归一化技术,通过基于大边界的特征增强技术在不增加模型训练时间成本的情况下,可以生成困难样本特征,从而保证在富样本和穷样本的特征空间之间学习一个鲁棒的分类边界。由于人脸识别模型的训练集和测试集可能会存在差异较大的分布,这样会大大降低人脸识别模型在实际环境中的识别准确率,因此本发明提出一个可迁移的特征归一化技术来增强特征的跨数据迁移能力和模型的泛化能力。
本发明的基于非均匀分布的人脸识别方法,如图2所示,分为如下6个步骤来说明。
步骤1、使用人脸检测器,检测和截取出所有可能的人脸区域。
本发明实施例中,考虑到人脸图像的特性,主要通过采用从粗到细的级联式人脸检测器MTCNN(参考文件:Zhang,K.,Zhang,Z.,Li,Z.,and Qiao,Y.(2016).Joint facedetection and alignment using multitask cascaded convolutional networks.IEEESignal Processing Letters,23(10):1499–1503.)来实现对人脸的检测。
在第一阶段上,本发明利用一个全卷积网络生成一个特征图(使用Sigmoid函数进行归一化),其中特征图上每个位置的响应度代表该感受野区域是否包含人脸,并生成相应的粗略人脸框,同时对输入图像构建图形金字塔和进行人脸框回归任务,采用最大值抑制修正人脸框;在第二阶段上,在第一阶段的所有窗口输入作进一步判断,同时也要做人脸框回归任务和最大值抑制修正人脸框;在第三阶段上,和第二阶段相似,只不过增加更强的约束5个人脸关键点回归。
步骤2、根据标准关键点和检测关键点计算出仿射变换矩阵,使用该矩阵对所有截取的人脸区域进行侧脸矫正操作。
非受限条件下的人脸通常会呈现出各种姿态,会带来较大的类内差异和降低人脸识别率。人脸侧脸矫正即利用几何归一化将不同尺度和仿射变换的人脸统一处理为规范化的正面人脸。仿射变换能够对二维图像进行线性变换,通过仿射变换可将非规范的人脸变换到标准人脸。在线性空间中,原始坐标通过乘以一个仿射变换矩阵,可以表示不同的线性变换,其中仿射变换矩阵可以用一个3×3的变换矩阵来表示。该变换矩阵将原始像素坐标(x,y)变换到新坐标(x′,y′),公式定义如下:
Figure BDA0002266182110000031
其中,
Figure BDA0002266182110000032
是仿射变换矩阵。
本步骤中,首先找到人脸中的关键点,根据标准关键点和检测关键点采用最小二乘法对仿射变换矩阵的参数θij(i=0,1;j=0,1,2)进行估计,然后使用估计的仿射矩阵对侧脸图像进行矫正操作。
步骤3、利用深度学习模型对侧脸矫正的人脸图片提取特征。
本发明实施例中深度学习模型采用的是卷积神经网络,如残差网络ResNet。如图1所示,通过残差网络得到非规范化的特征,对非规范化的特征经过特征增强和归一化得到规范化的特征,进行人脸分类识别后,计算损失函数并反馈结果给深度学习模型,调整模型中的参数。在模型训练阶段,通过步骤4改进富样本和穷样本的均衡分布。
步骤4、在对深度学习模型的训练阶段,采用改进的基于最大边界的特征增强技术来生成新的困难样本特征,以此来均衡不同类别的人脸特征分布。
考虑一个批次的原始人脸特征集{f1,f2,…,fn}和人脸标签集{y1,y2,…,yn},n表示人脸特征的样本个数,设人脸标签共有C个类别,n,C均为正整数,本发明实施例中每个类别代表是一个不同的人。对每一类别,例如对第j类,首先计算该批次中第j类的特征中心cj,然后根据该类所有的特征和它们对应的特征中心cj计算最大的类内差异dj,最后生成新特征fnew=cj+m×dj,其中m为最大边界系数。通过这种方式,对穷类别产生较多的特征,富类别产生较少的特征,从而保证在富样本和穷样本之间的样本数目的均衡分布。
步骤5、采用改进的特征归一化技术来增加人脸特征在不同数据集之间的可迁移性,同时抑制新生成特征所带来的噪声。
由于人脸识别模型的训练集和测试集可能会存在差异较大的分布,这样会大大降低人脸识别模型在实际环境中的识别准确率。因此本发明提出一个可迁移的特征归一化技术来增强特征的跨数据迁移能力和模型的泛化能力。
本发明对由步骤3提取的一个批次的原始人脸特征,通过步骤4的特征增强技术生成对应的新特征,在本步骤中,首先学习原始人脸特征的全局均值和方差,然后使用该均值和方差来对原始人脸特征和新特征都进行均值0和方差1的归一化操作。使用原始特征均值和方差既能避免生成特征的噪声,又能增加人脸特征的可迁移性。
步骤6、在模型训练阶段,利用归一化的原始人脸特征和经过特征增强技术生成的人脸特征进行深度学习模型训练。在测试阶段,利用训练好的深度学习模型提取图片中的人脸原始特征,并利用同步骤5相同的方法进行特征归一化,然后计算归一化的人脸图像特征之间的余弦相似度来判断是否属于同一人。
在训练阶段,本发明将归一化的原始人脸特征和生成人脸特征输入到深度学习模型的分类器中,分类器的输出为属于不同的C个人脸类别的概率。通过计算分类器的损失函数,来调整深度学习模型中的参数,完成深度学习模型的训练。
深度学习模型的训练,主要包括以下几个步骤:
(1)制作数据集。收集人脸数据集,对其进行清洗和标注。
(2)训练模型。将制作好的数据集作为模型的输入,配置好模型的训练文件,训练模型。
(3)调整模型参数。利用人脸识别LFW测试集测试模型的效果,不断调整训练模型的超参数,使模型在LFW测试集上达到最好的效果。
在测试阶段,本发明通过计算一对人脸图像的原始特征之间的余弦相似度来判断是否属于同一人。在计算特征对的余弦相似度之前,先对提取的原始特征进行归一化,归一化可以利用预先获得测试集中的所有原始人脸特征的全局均值和方差进行均值0和方差1的归一化操作。
对深度学习模型提取人脸特征后的人脸识别过程,主要是利用一对图片特征的余弦相似度设置一个置信度,置信度的值是在0-1的区间,本发明选取0.45,对置信度大于0.45的视为同一人,对置信度小于0.45的视为不同人。
本发明对LFW测试集采用不同方式来进行人脸识别,人脸识别的正确率如下表1所示。
表1不同方式下的人脸识别正确率
基线模型 特征增强 特征增强+特征归一化
LFW识别准确率 97.60% 99.15% 99.45%
其中,基线模型是指本发明实施例所使用的深度学习模型为ResNet64模型,特征增强是指利用了本发明中步骤3的特征增强方式,但不进行特征归一化,特征增强+特征归一化就是本发明方法在模型训练中将步骤3和4结合。通过试验对比,证明本发明方法具有更好的人脸识别准确率。
为了避免使本说明书的描述限于冗繁,在本说明书中的描述中,可能对可在上述参考文献或其它现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理,这对于本领域的技术人员来说是可以理解的,并且这不会影响本说明书的公开充分性。同时,本领域的技术人员能够理解,对本发明的上述实施例能够做出各种修改、变型、以及替换,其均落入如所附权利要求限定的本发明的保护范围内。

Claims (1)

1.一种基于非均匀分布的人脸识别方法,包括:首先使用人脸检测器检测和截取人脸区域,再利用仿射变换矩阵对所有截取的人脸区域进行侧脸矫正操作,然后利用深度学习模型对侧脸矫正的人脸图片提取特征;其特征在于:
(1)对深度学习模型进行训练,包括:
设当前深度学习模型提取到一个原始人脸特征集,每个原始人脸特征对应一个人脸类别标签,设人脸类别共有C个;然后执行下面(1.1)和(1.2);
(1.1)对提取的人脸特征集的每个类别,采用改进的基于最大边界的特征增强技术来生成新特征,具体是:对第j(j=1,2,…,C)个类别,计算特征中心cj,根据属于该类别的原始人脸特征和特征中心cj确定最大的类内差异dj,进而生成该类别的新特征fnew=cj+m×dj,m为最大边界系数;
(1.2)对原始人脸特征和新特征进行如下的特征归一化处理;特征归一化处理是指:首先学习原始人脸特征集的全局均值和方差,然后使用该均值和方差对原始人脸特征和新特征进行均值为0,方差为1的归一化操作;
利用(1.2)归一化处理后的原始人脸特征和新特征训练分类器和深度学习模型;
(2)对人脸检测器检测和截取的人脸区域进行侧脸矫正操作后,利用训练好的深度学习模型提取原始特征,并进行归一化处理,计算不同原始特征归一化后的特征之间的余弦相似度来判断是否属于同一人。
CN201911088558.9A 2019-11-08 2019-11-08 一种基于非均匀分布的人脸识别方法 Active CN110909636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911088558.9A CN110909636B (zh) 2019-11-08 2019-11-08 一种基于非均匀分布的人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911088558.9A CN110909636B (zh) 2019-11-08 2019-11-08 一种基于非均匀分布的人脸识别方法

Publications (2)

Publication Number Publication Date
CN110909636A CN110909636A (zh) 2020-03-24
CN110909636B true CN110909636B (zh) 2021-03-19

Family

ID=69816926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911088558.9A Active CN110909636B (zh) 2019-11-08 2019-11-08 一种基于非均匀分布的人脸识别方法

Country Status (1)

Country Link
CN (1) CN110909636B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914757A (zh) * 2020-08-04 2020-11-10 深圳市英威诺科技有限公司 人脸检测方法和装置、电子设备、存储介质
CN111814194B (zh) * 2020-09-04 2020-12-25 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备
CN112861689A (zh) * 2021-02-01 2021-05-28 上海依图网络科技有限公司 一种基于nas技术的坐标识别模型的搜索方法及装置
CN113781207B (zh) * 2021-09-15 2022-04-01 杭银消费金融股份有限公司 基于实验设计的风控管理策略确定方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203354A (zh) * 2016-07-14 2016-12-07 南京信息工程大学 基于混合深度结构的场景识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145842B (zh) * 2017-04-19 2020-04-07 西安电子科技大学 结合lbp特征图与卷积神经网络的人脸识别方法
CN107194341B (zh) * 2017-05-16 2020-04-21 西安电子科技大学 Maxout多卷积神经网络融合人脸识别方法和系统
US10303932B2 (en) * 2017-07-05 2019-05-28 Midea Group Co., Ltd. Face recognition in a residential environment
CN108875602A (zh) * 2018-05-31 2018-11-23 珠海亿智电子科技有限公司 监控环境下基于深度学习的人脸识别方法
CN110097033B (zh) * 2019-05-15 2023-04-07 成都电科智达科技有限公司 一种基于特征扩充的单样本人脸识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203354A (zh) * 2016-07-14 2016-12-07 南京信息工程大学 基于混合深度结构的场景识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"样本扩充的稀疏表示单样本人脸识别";甘俊英 等;《信号处理》;20140731;第30卷(第7期);856-860 *

Also Published As

Publication number Publication date
CN110909636A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110909636B (zh) 一种基于非均匀分布的人脸识别方法
Cament et al. Face recognition under pose variation with local Gabor features enhanced by active shape and statistical models
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN104978550A (zh) 基于大规模人脸数据库的人脸识别方法及系统
CN111274915B (zh) 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN112818850B (zh) 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统
CN110674744A (zh) 一种年龄识别方法、装置及电子设备
CN114359998B (zh) 一种人脸口罩佩戴状态下的识别方法
CN105512599A (zh) 人脸识别方法及人脸识别系统
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN107392105B (zh) 一种基于反向协同显著区域特征的表情识别方法
CN110008844A (zh) 一种融合slic算法的kcf长期手势跟踪方法
JPWO2008126790A1 (ja) 物体認識システム、物体認識方法および物体認識用プログラム
CN107025444A (zh) 分块协同表示嵌入核稀疏表示遮挡人脸识别方法和装置
CN106022223A (zh) 一种高维局部二值模式人脸识别方法及系统
CN106845456A (zh) 一种视频监控系统中人体摔倒监测的方法
CN111126169B (zh) 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
JP2007048172A (ja) 情報分類装置
CN111860529A (zh) 一种图像的预处理方法、系统、设备以及介质
CN105740838A (zh) 针对不同尺度人脸图像的识别方法
Kim et al. Lip print recognition for security systems by multi-resolution architecture
Li et al. Comprehensive edge direction descriptor for fingerprint liveness detection
CN117253217A (zh) 一种充电站车辆识别方法、装置、电子设备及存储介质
Hassan et al. Facial image detection based on the Viola-Jones algorithm for gender recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant