CN109522872A - 一种人脸识别方法、装置、计算机设备及存储介质 - Google Patents

一种人脸识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109522872A
CN109522872A CN201811475892.5A CN201811475892A CN109522872A CN 109522872 A CN109522872 A CN 109522872A CN 201811475892 A CN201811475892 A CN 201811475892A CN 109522872 A CN109522872 A CN 109522872A
Authority
CN
China
Prior art keywords
face
identified
neural network
network model
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811475892.5A
Other languages
English (en)
Inventor
宋彬
徐琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811475892.5A priority Critical patent/CN109522872A/zh
Publication of CN109522872A publication Critical patent/CN109522872A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及图像识别领域,尤其涉及一种人脸识别方法、装置、计算机设备及存储介质,所述方法包括:获取待识别的人脸图像;利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别人脸图像中的多种人脸特征信息;输出所述多种人脸特征信息。本发明通过卷积神经网络提取图像特征,具有较强的自学能力,鲁棒性强,使用轻量级网络提取图像特征,具有更好的泛化性和更快的识别速度,采用多任务学习的思想,底层卷积神经网络共享参数,上层网络独享特定参数,从而一个模型就能完成人脸身份、性别和年龄的识别任务,模型精简且效率高;将人脸身份识别中挖掘出的信息可在性别认识和年龄识别中继续使用,提升性别、年龄的识别精度。

Description

一种人脸识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像识别领域,尤其涉及一种人脸识别方法、装置、计算机设备及存储介质。
背景技术
随着人脸识别技术的不断发展,其在安全领域的应用越来越广泛。近几年来开始出现人脸识别解锁,人脸考勤机,人脸识别门禁,刷脸支付等等应用,在一些对安全性能要求比较高的应用场合中,对人脸识别技术提出更高的要求,传统的人脸识别技术面临严峻的挑战。
现有的人脸识别技术,一般都是通过神经网络对人脸信息进行识别后确定人脸对应的身份信息,进而进行人脸身份验证,而现有的神经网络都存在深度过深,对人脸速度识别较慢的问题,并且,现有技术对人脸进行识别时,都只能进行身份验证,不能完成其他信息的识别,适用性不强。
由此可见,现有的人脸识别技术存在诸多问题,急需改进。
发明内容
基于此,有必要针对上述的问题,提供一种人脸识别方法、装置、计算机设备及存储介质。
在其中一个实施例中,本发明提供了一种,所述方法包括如下步骤:
获取待识别的人脸图像;
利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别人脸图像中的多种人脸特征信息;
输出所述多种人脸特征信息。
在其中一个实施例中,本发明提供了一种人脸识别装置,所述装置包括:
信息获取单元,所述信息获取单元用于获取待识别的人脸图像;
信息处理单元,所述信息处理单元用于利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别的人脸图像中的人脸特征信息;其中,所述深度神经网络模型由多个数据集经过多轮训练得到,所述深度神经网络模型能够识别所述待识别的人脸图像中的多个人脸特征信息;以及
信息输出单元,所述信息输出单元用于输出所述人脸特征信息。
在其中一个实施例中,本发明还提供一种计算机设备,包括:存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述实施例所述的一种人脸识别方法。
在其中一个实施例中,本发明还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述实施例所述的一种人脸识别方法。
本发明实施例中的一种人脸识别方法、装置、计算机设备和存储介质,使用了卷积神经网络提取图像特征,提高了模型的自主学习能力,使得模型具有更高的鲁棒性,使用了轻量级网络提取图像特征,网络深度较低,识别速度快,使得本发明具有更好的泛化性和更快的识别速度,采用了多任务学习的思想,一个模型就能完成人脸身份、性别和年龄的识别任务,模型精简且效率高;同时在迁移学习的基础上,将人脸身份识别作为源领域先进行特征学习,源领域中挖掘出的信息可在性别认识和年龄识别任务中继续使用,也提升了子任务识别精度。
附图说明
图1为一个实施例中提供的人脸识别方法的应用环境图;
图2为一个实施例中提供的人脸识别方法的步骤图;
图3为一个实施例中提供的人脸识别装置的结构示意图;
图4为一个实施例中提供的计算机设备的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一xx单元称为第二xx单元,且类似地,可将第二xx单元称为第一xx单元。
图1为一个实施例中提供的数据处理方法的应用环境图,如图1所示,在该应用环境中,包括终端110、计算机设备120。
终端110用于采集待识别的人脸图像,可以是摄像头,也可以是代摄像功能的手机、平板等智能设备。
计算机设备120可以是独立的物理服务器或终端,也可以是多个物理服务器构成的服务器集群,可以是提供云服务器、云数据库、云存储和CDN(Content DeliveryNetwork,内容分发网络)等基础云计算服务的云服务器。
图2示出了适于本发明实施例的一种人脸识别方法的步骤图,下面以计算机设备120为主体,对本发明实施例提供的一种人脸识别方法做详细描述。
如题2所示,本发明实施例提供的一种人脸识别方法的步骤包括:
在步骤S201中,计算机设备120获取待识别的人脸图像。
在本发明实施例中,计算机设备获取待识别的人脸图像的过程可以是通过外接的图像采集装置实时采集人脸图像,然后通过图像采集装置将采集到的人脸图像发送至计算机设备120,也可以是通过读取存储介质上的人脸图像获取待识别的人脸图像,还可以是通过联网获取网络中的待识别人脸图像等等,具体的获取方式本发明不做要求。其中,待识别的人脸图像中应至少包含需要识别的人脸图像特征,且图像应该清晰、易识别。
在步骤S202中,计算机设备120利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别人脸图像中的多种人脸特征信息.
在本发明实施例中,所述深度神经网络模型通过数据集训练卷积神经网络模型得到的,将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值,每个隐藏层的初始偏置全赋予0值,最后的损失函数选择softmax loss损失函数,如下式所示:
其中Sj表示一个样本数据属于第j个类别的概率;e表示以自然底数e为底的指数函数;αj表示softmax层前的全连接层的第j个输出值;T表示人脸身份类别数,取10575;k表示人脸身份类别数中的第k类;L表示softmax loss损失值;m表示一次输入网络中进行训练的样本数量;I(yj=y)代表当第j个样本数据的真实类别等于第i类时,值为1,反之值为0;log表示自然对数函数。上述卷积神经网络模型经过多组数据集进行训练,以使所述卷积神经网络模型能够识别多个人脸特征信息。
作为本发明一种实施例,卷积神经网络模型依次经过第一、第二、第三数据集训练后,能够识别待识别人脸图像中的第一、第二、以及第三人脸特征信息,其中,第一数据集能够训练所述卷积神经网络模型识别所述第一人脸特征信息,第二数据集能够训练所述卷积神经网络模型识别所述第二人脸特征信息,第三数据集能够训练所述卷积神经网络模型识别所述第三人脸特征信息。具体的,卷积神经网络模型依次经过训练人脸身份识别的数据集、训练人脸性别识别的数据集、以及人脸年龄识别的数据集训练之后,可以识别所述待识别的人脸图像中的人脸身份特征信息、人脸性别特征信息、以及人脸年龄特征信息。作为本发明一个优选的实施例,计算机设备获取到待识别的人脸图像后,根据深度神经网络模型被训练的情况,识别出所述待识别的人脸图像中的人脸特征信息,进一步的,当所述深度神经网络模型至经过一次训练,则只能识别出所述待识别人脸图像中的一个人脸特征,该人脸特征与训练所述深度神经网络模型的数据集有关,该数据集用于训练该深度神经网络模型识别一种人脸特征时,所述深度神经网络模型即能识别出该人脸特征,例如,数据集是用于训练深度神经网络模型识别人脸身份特征时,所述深度神经网络模型只能识别所述待识别图像中的人脸身份信息。而当深度神经网络模型经过多伦训练之后,计算机设备获取到待识别的人脸图像后,所述深度神经网络模型可以识别所述待识别的人脸图像中的多个人脸特征信息,例如,当深度神经网络模型以及经过数据集训练识别出人脸身份特征信息和人脸性别特征信息后,深度神经网络模型就可以识别出待识别图像中的人脸身份特征信息和人脸性别特征信息。依次类推,只要本发明的深度神经网络模型经过不同的数据集训练,就可以识别待识别的人脸图像中的多种人脸特征信息。
本发明实施例通过采用不同的数据集对卷积神经网络模型进行训练,得到可以识别待识别图像中的多种人脸特征信息的深度神经网络模型,一个模型能够同时识别多个人脸特征。
在步骤S203中,输出所述多种人脸特征信息。
在本发明实施例中,计算机设备120识别出待识别人脸图像中的多种人脸特征信息后,将所述多种人脸特征信息输出。
作为本发明一种实施例,计算机设备在输出所述多种人脸特征信息时,可以通过显示屏直接显示所述人脸特征信息,也可以通过语音播报的方式输出所述人脸特征信息,还可以是通过数据传输的方式,将人脸特征信息传输至其他设备获取互联网上。
本发明实施例通过将识别的人脸特征图像以不同的方式输出,方便使用者对待识别的人脸图像中的人脸特征信息的获取。
本发明实施例使用了卷积神经网络提取图像特征,提高了模型的自主学习能力,使得模型具有更高的鲁棒性,使用了轻量级网络提取图像特征,网络深度较低,识别速度快,使得本发明具有更好的泛化性和更快的识别速度,采用了多任务学习的思想,一个模型就能完成人脸身份、性别和年龄的识别任务,模型精简且效率高。
本发明实施例提供的一种人脸识别方法中,所述利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别人脸图像中的多种人脸特征信息之前,包括:
对所述深度神经网络模型进行多轮训练,以使所述深度神经网络模型能够识别所述待识别人脸图像中的所述多个人脸特征信息。
在本发明实施例中,深度神经网络模型需要进行多轮的训练,才能识别待识别图像中的多种人脸特征信息。其中,训练深度神经网络模型的数据集至少包含所述多种人脸特征信息,且每张图片至少包含多种人脸信息中的一种。
作为本发明一种实施例,卷积神经网络模型依次经过第一、第二、第三数据集训练后,能够识别待识别人脸图像中的第一、第二、以及第三人脸特征信息,其中,第一数据集能够训练所述卷积神经网络模型识别所述第一人脸特征信息,第二数据集能够训练所述卷积神经网络模型识别所述第二人脸特征信息,第三数据集能够训练所述卷积神经网络模型识别所述第三人脸特征信息。进一步的,可以用两个第一数据集对所述卷积神经网络进行训练,使其可以识别待识别的人脸图像中的人脸身份特征。依次类推,本发明中可以采用多个相同的数据集对深度神经网络进行训练,但是,当需要训练所述神经网络能够识别n个人脸特征时,数据集的种类最少需要有n中。作为本发明一种优选的实施例,在训练人脸身份识别网络时,将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值,每个隐藏层的初始偏置全赋予0值,最后的损失函数选择softmax loss损失函数,如下式所示:
其中Sj表示一个样本数据属于第j个类别的概率,e表示以自然底数e为底的指数函数,αj表示softmax层前的全连接层的第j个输出值,T表示人脸身份类别数,取10575;k表示人脸身份类别数中的第k类;L表示softmax loss损失值;m表示一次输入网络中进行训练的样本数量,I(yj=y)代表当第j个样本数据的真实类别等于第i类时,值为1,反之值为0,log表示自然对数函数。上述卷积神经网络模型经过多组数据集进行训练,以使所述卷积神经网络模型能够识别多个人脸特征信息。然后人脸身份的训练数据集输入网络,按照下式,计算卷积神经网络中每一个隐藏层的输出向量:
其中表示卷积神经网络中第l个隐藏层的第j个输出向量,f表示线性变换操作,∑表示求和操作,i表示i个输入数据,M表示输入数据的集合,表示第l个隐藏层中的第i个输入数据,l表示神经网络的第l个隐藏层,*表示卷积操作,表示第l个隐藏层的第i个输入的权重矩阵,表示第l个隐藏层的第i个输入的偏置矩阵。
按照下式,更新卷积神经网络的参数:
其中,表示卷积神经网络中第l个隐藏层的第i个输入d权重矩阵,i表示第i个输入lmdb格式的数据,α表示学习率,采用经验值0.01,表示对求梯度操作,J(W,b)表示第l个隐藏层的输出向量,表示卷积神经网络中第l个隐藏层的第i个输入的偏置矩阵,表示对求梯度操作。
判断神经网络的输出是否满足神经网络输出的准确率不再提高或者神经网络输出的损失率不再降低,若是,则该网络训练完毕后。每输入一张64*64大小的图片,就可在el层提取一个1*256维的人脸特征向量,此向量可用于余弦相似度度量,进而完成人脸身份识别功能:
其中,cos(X,Y)表示两个特征向量间的余弦相似度,X和Y分别表示两个人脸图像的特征向量,|| ||表示求向量大小操作。若计算出的余弦相似度值大于0.6,即可判断出两个特征向量所属的人脸照片属于同一个人,从而完成人脸识别功能。
若不满足中上述条件,则继续更新卷积神经网络的参数,最终经过150万次迭代训练,神经网络的每个权重和每个偏置均收敛到了合适的值,训练得到了最优化卷积神经网络。
本发明实施例通过选用多个训练集对深度神经网络模型进行训练,得到可以识别多种人脸特征的深度神经网络模型。
本发明实施例提供的一种人脸识别方法,,所述对所述深度神经网络模型进行多轮训练之前,对数据集进行预处理,包括:
对所述数据集中的样本图像中的五官特征点进行定位;
对定位后的所述五官特征点进行仿射变换,实现样本图像的预对齐处理;
将预对齐处理后的所述样本图像进行图像分割,得到人脸特征信息训练样本;
其中,当所述数据集用于训练所述深度神经网络模型识别人脸年龄时,还需要对所述数据集内的样本图像以预设的年龄段标准进行分类,以形成人脸年龄训练样本。
在本发明实施例中,数据集选择国际公开的CASIA_Webface人脸图像数据库中的人脸图像作为人脸身份训练样本,选择国际公开的Celeba人脸图像数据库中的人脸图像作为人脸性别识别训练样本,选择国际公开的Wiki人脸图像数据库中的人脸图像作为人脸年龄训练样本。对上述样本分别进行预处理,以得到能够用于训练深度神经网络模型的数据集。
在本发明实施例中,使用opencv(开源计算机视觉库,Open Source ComputerVision Library)库中的haar特征检测器检测训练样本图像中的人脸五官特征点并定位,使用opencv库中的cv.getAffine Transform(·)函数对定位后的特征点进行仿射变换,实现训练样本的对齐预处理,使用opencv库中的cv.SetImageROI(·)函数将对齐后的样本图像进行人脸图像分割预处理,得到精简训练样本。
利用caffe(卷积神经网络框架,Convolutional Architecture for FastFeature Embedding)框架脚本将精简训练样本转变成lmdb格式的训练样本数据;对年龄精简训练样本需要做特殊的分段标签:0-5、5-10、10-15......65以上,即以5年为间隔分成一共14个年龄段做标签,然后生成lmdb格式的人脸年龄训练样本数据。
本发明实施例通过对数据库的人脸图像进行预处理,得到满足条件的数据集,保证数据集的范围,提高模型的识别精度。
本发明实施例提供的一种人脸识别方法,所述对所述深度神经网络模型进行多轮训练,以使所述深度神经网络模型能够识别所述待识别人脸图像中的所述多个人脸特征信息,包括:
采用第1数据集训练所述深度神经网络模型,以使所述深度神经网络模型能够识别所述待识别的人脸图像中的第一人脸特征信息;
采用第n种数据集训练已经经过n-1种数据集训练过的深度神经网络模型,以使所述深度神经网络模型在能够识别所述待识别的人脸图像中的第一人脸特征信息、至第n-1人脸特征信息的情况下,又能够识别所述待识别的人脸图像中的第n人脸特征信息;其中,n≥2,且n为整数。
在本发明实施例中,数据集对所述深度神经网络模型进行训练时,每种不同的数据集会训练所述深度神经网络识别不同的人脸特征信息,且当第n种数据集对所述深度神经网络进行训练时,所述深度神经网络模型仍能识别前n-1中人脸特征信息。
作为本发明一种实施例,通过以上实施例得到能够识别人脸身份特征信息的深度神经网络模型后,采用另外一种数据集对所述深度神经网络模型继续进行训练,保持训练好的人脸身份识别网络的前5个卷积层参数不变,在最后一个池化层后添加两个新的全连接层,最后的损失函数选择交叉熵损失函数,公式如下所示:
其中Lcross为交叉熵损失;m代表样本数量共有m个;k代表样本类别共有k个,在此网络的训练过程中,性别只有两类,所以k=2;yi代表第i个样本的真实类别;I为判决函数,I(yi=j)代表当第i个样本的真实类别等于第j类时,值为1,反之值为0;pi代表第i个样本的预测类别为j时输出的概率。
利用反向传播算法,将准备好的人脸性别lmdb训练集对人脸身份识别网络进行一个二分类任务的训练。
最终经过10万次迭代训练,得到训练完成的人脸身份+性别识别网络;
该网络除拥有人脸身份识别功能外,还可以直接输出性别信息,完成人脸性别识别功能,即输入一张人脸照片,还可以在在gender__fc2全连接层得到一个分类编号:0(Female)或者1(Male)。
经过上述训练的深度神经网络模型已经可以识别人脸身份信息和人脸性别信息,基于该网络模型,充分利用多任务学习思想,保持训练好的人脸身份识别网络的前5个卷积层参数不变,在最后一个池化层后添加两个新的全连接层,最后的损失函数选择欧式距离和高斯损失函数结合,公式如下所示:
其中LA为损失函数;λ代表两种损失函数的比例系数,在训练过程中从0周期性调整到1;a代表人脸样本的年龄标签类别;y代表网络输出的年龄类别。
利用步骤反向传播算法,将准备好的人脸年龄lmdb训练集对人脸身份识别网络进行一个多分类任务的训练。最终经过30万次迭代训练,得到训练完成的人脸身份+性别+年龄识别网络;该网络除人脸身份+性别识别功能外,还可以直接输出性别信息,完成人脸性别识别功能,即输入一张人脸照片,还可以在在age__fc2全连接层得到一个分类编号:1到14中的一个整数,分别代表着步骤1中提及的年龄区间。
本发明实施例通过三种数据集对深度神经网络模型进行训练,得到可以同时识别人脸身份特征信息、人脸性别特征信息、以及人脸年龄特征信息的深度神经网络模型,功能强大,且识别精度高。
本发明实施例提供的一种人脸识别方法中,所述第n数据集中的样本图像中至少包含所述第n人脸特征信息,所述第n人脸特征信息与所述第1~第n-1人脸特征信息均不相同。
在本发明实施例中,第n数据集是指第n种数据集,深度神经网络模型在采用数据集进行训练时,不同的数据集能够训练所述深度神经网络模型识别不同的人脸特征信息,并且,相同的数据集可以有多个,以增加所述深度神经网络模型对该数据集对于的人脸特征信息识别的精度,但是,第n中数据集中至少应该包含第n人脸特征信息,且第n人脸信息应该与第1至第n-1人脸特征信息都不相同。
本发明实施例提供的一种人脸识别方法,所述人脸特征信息包括身份特征信息、性别特征信息、以及年龄特征信息。
在本发明实施例中,深度神经网络模型能够识别待识别人脸图像中的身份特征信息、性别特征信息、以及年龄特征信息。
本发明实施例通过一个深度神经网络模型就可以对待识别图像中的身份特征信息、性别特征信息、以及年龄特征信息同时进行识别,效率高、且识别精度高。
本发明实施例使用了卷积神经网络提取图像特征,提高了模型的自主学习能力,使得模型具有更高的鲁棒性,使用了轻量级网络提取图像特征,网络深度较低,识别速度快,使得本发明具有更好的泛化性和更快的识别速度,采用了多任务学习的思想,一个模型就能完成人脸身份、性别和年龄的识别任务,模型精简且效率高;同时在迁移学习的基础上,将人脸身份识别作为源领域先进行特征学习,源领域中挖掘出的信息可在性别认识和年龄识别任务中继续使用,也提升了子任务识别精度。
本发明实施例还提供一种人脸识别装置,如图3所述,图3示出了适于本发明实施例提供的一种人脸识别装置的结构示意图,详述如下:
信息获取单元310,所述信息获取单元310用于获取待识别的人脸图像。
在本发明实施例中,计算机设备获取待识别的人脸图像的过程可以是通过外接的图像采集装置实时采集人脸图像,然后通过图像采集装置将采集到的人脸图像发送至计算机设备120,也可以是通过读取存储介质上的人脸图像获取待识别的人脸图像,还可以是通过联网获取网络中的待识别人脸图像等等,具体的获取方式本发明不做要求。其中,待识别的人脸图像中应至少包含需要识别的人脸图像特征,且图像应该清晰、易识别。
信息处理单元320,所述信息处理单元320用于利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别的人脸图像中的人脸特征信息;其中,所述深度神经网络模型由多个数据集经过多轮训练得到,所述深度神经网络模型能够识别所述待识别的人脸图像中的多个人脸特征信息。
在本发明实施例中,所述深度神经网络模型通过数据集训练卷积神经网络模型得到的,将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值,每个隐藏层的初始偏置全赋予0值,最后的损失函数选择softmax loss损失函数,如下式所示:
其中Sj表示一个样本数据属于第j个类别的概率,e表示以自然底数e为底的指数函数,αj表示softmax层前的全连接层的第j个输出值,T表示人脸身份类别数,取10575;k表示人脸身份类别数中的第k类;L表示softmax loss损失值;m表示一次输入网络中进行训练的样本数量,I(yj=y)代表当第j个样本数据的真实类别等于第i类时,值为1,反之值为0,log表示自然对数函数。上述卷积神经网络模型经过多组数据集进行训练,以使所述卷积神经网络模型能够识别多个人脸特征信息。
作为本发明一种实施例,卷积神经网络模型依次经过第一、第二、第三数据集训练后,能够识别待识别人脸图像中的第一、第二、以及第三人脸特征信息,其中,第一数据集能够训练所述卷积神经网络模型识别所述第一人脸特征信息,第二数据集能够训练所述卷积神经网络模型识别所述第二人脸特征信息,第三数据集能够训练所述卷积神经网络模型识别所述第三人脸特征信息。具体的,卷积神经网络模型依次经过训练人脸身份识别的数据集、训练人脸性别识别的数据集、以及人脸年龄识别的数据集训练之后,可以识别所述待识别的人脸图像中的人脸身份特征信息、人脸性别特征信息、以及人脸年龄特征信息。作为本发明一个优选的实施例,计算机设备获取到待识别的人脸图像后,根据深度神经网络模型被训练的情况,识别出所述待识别的人脸图像中的人脸身份特征信息,进一步的,当所述深度神经网络模型只经过一次训练,则只能识别出所述待识别人脸图像中的一个人脸特征,该人脸特征与训练所述深度神经网络模型的数据集有关,该数据集用于训练该深度神经网络模型识别一种人脸特征时,所述深度神经网络模型即能识别出该人脸特征,例如,数据集是用于训练深度神经网络模型识别人脸身份特征时,所述深度神经网络模型只能识别所述待识别图像中的人脸身份信息。而当深度神经网络模型经过不同数据集多轮训练之后,计算机设备获取到待识别的人脸图像后,所述深度神经网络模型可以识别所述待识别的人脸图像中的多个人脸特征信息。
本发明实施例通过采用不同的数据集对卷积神经网络模型进行训练,得到可以识别待识别图像中的多种人脸特征信息的深度神经网络模型,一个模型能够同时识别多个人脸特征。
信息输出单元330,所述信息输出单元330用于输出所述人脸特征信息。
在本发明实施例中,计算机设备120识别出待识别人脸图像中的多种人脸特征信息后,将所述多种人脸特征信息输出。
作为本发明一种实施例,计算机设备在输出所述多种人脸特征信息时,可以通过显示屏直接显示所述人脸特征信息,也可以通过语音播报的方式输出所述人脸特征信息,还可以是通过数据传输的方式,将人脸特征信息传输至其他设备获取互联网上。
本发明实施例通过将识别的人脸特征图像以不同的方式输出,方便使用者对待识别的人脸图像中的人脸特征信息的获取。
本发明实施例使用了卷积神经网络提取图像特征,提高了模型的自主学习能力,使得模型具有更高的鲁棒性,使用了轻量级网络提取图像特征,网络深度较低,识别速度快,使得本发明具有更好的泛化性和更快的识别速度,采用了多任务学习的思想,一个模型就能完成人脸身份、性别和年龄的识别任务,模型精简且效率高。
如图4所示,为本发明实施例提供的一种计算机设备的结构框图,本发明实施例提供的一种计算机设备,包括存储器401、处理器402、通信模块403和用户接口404。
存储器401中存储有操作系统405,用于处理各种基本系统服务和用于执行硬件相关任务的程序;还存储有应用软件406,用于实现本发明实施例中的人脸识别方法的各个步骤。
在本发明实施例中,存储器401可以是高速随机存取存储器,诸如DRAM、SRAM、DDR、RAM、或者其他随机存取固态存储设备,或者非易失性存储器,诸如一个或多个硬盘存储设备、光盘存储设备、内存设备等。
在本发明实施例中,处理器402可通过通信模块403接收和发送数据以实现区块链网络通信或者本地通信。
用户接口404可以包括一个或多个输入设备407,比如键盘、鼠标、触屏显示器,用户接口404还可以包括一个或者多个输出设备408,比如显示器、扩音器等。
另外,本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述人脸识别方法的步骤。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸识别方法,其特征在于,所述方法包括:
获取待识别的人脸图像;
利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别人脸图像中的多种人脸特征信息;
输出所述多种人脸特征信息。
2.根据权利要求1所述的方法,其特征在于,所述利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别人脸图像中的多种人脸特征信息之前,包括:
对所述深度神经网络模型进行多轮训练,以使所述深度神经网络模型能够识别所述待识别人脸图像中的所述多个人脸特征信息。
3.根据权利要求2所述的方法,其特征在于,所述对所述深度神经网络模型进行多轮训练之前,对数据集进行预处理,包括:
对所述数据集中的样本图像中的五官特征点进行定位;
对定位后的所述五官特征点进行仿射变换,实现样本图像的预对齐处理;
将预对齐处理后的所述样本图像进行图像分割,得到人脸特征信息训练样本;
其中,当所述数据集用于训练所述深度神经网络模型识别人脸年龄时,还需要对所述数据集内的样本图像以预设的年龄段标准进行分类,以形成人脸年龄训练样本。
4.根据权利要求2所述的方法,其特征在于,所述对所述深度神经网络模型进行多轮训练,以使所述深度神经网络模型能够识别所述待识别人脸图像中的所述多个人脸特征信息,包括:
采用第1种数据集训练所述深度神经网络模型,以使所述深度神经网络模型能够识别所述待识别的人脸图像中的第一人脸特征信息;
采用第n种数据集训练已经经过n-1种数据集训练过的深度神经网络模型,以使所述深度神经网络模型在能够识别所述待识别的人脸图像中的第一人脸特征信息、至第n-1人脸特征信息的情况下,又能够识别所述待识别的人脸图像中的第n人脸特征信息;其中,n≥2,且n为整数。
5.根据权利要求4所述的方法,其特征在于,所述深度神经网络模型包括卷积层、池化层、以及全连接层,所述深度神经网络模型采用第n种数据集训练时,保留经过前n-1种数据集训练得到的参数,在所述深度神经网络模型中增加用于识别第n人脸特征信息的新的全连接层,所述第n种数据集用于训练所述新的全连接层的参数。
6.根据权利要求4所述的方法,其特征在于,所述第n种数据集中的样本图像中至少包含所述第n人脸特征信息,所述第n人脸特征信息与所述第1~第n-1人脸特征信息均不相同。
7.根据权利要求1所述的一种方法,其特征在于,所述人脸特征信息包括身份特征信息、性别特征信息、以及年龄特征信息。
8.一种人脸识别装置,其特征在于,所述装置包括:
信息获取单元,所述信息获取单元用于获取待识别的人脸图像;
信息处理单元,所述信息处理单元用于利用深度神经网络模型对所述待识别的人脸图像进行识别,得到所述待识别的人脸图像中的人脸特征信息;其中,所述深度神经网络模型由多个数据集经过多轮训练得到,所述深度神经网络模型能够识别所述待识别的人脸图像中的多个人脸特征信息;以及
信息输出单元,所述信息输出单元用于输出所述人脸特征信息。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至7中任一项权利要求所述一种人脸识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至7中任一项权利要求所述一种人脸识别方法的步骤。
CN201811475892.5A 2018-12-04 2018-12-04 一种人脸识别方法、装置、计算机设备及存储介质 Pending CN109522872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811475892.5A CN109522872A (zh) 2018-12-04 2018-12-04 一种人脸识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811475892.5A CN109522872A (zh) 2018-12-04 2018-12-04 一种人脸识别方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN109522872A true CN109522872A (zh) 2019-03-26

Family

ID=65794340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811475892.5A Pending CN109522872A (zh) 2018-12-04 2018-12-04 一种人脸识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN109522872A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008907A (zh) * 2019-04-09 2019-07-12 成都旷视金智科技有限公司 一种年龄的估计方法、装置、电子设备和计算机可读介质
CN110009052A (zh) * 2019-04-11 2019-07-12 腾讯科技(深圳)有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110070049A (zh) * 2019-04-23 2019-07-30 北京市商汤科技开发有限公司 人脸图像识别方法及装置、电子设备和存储介质
CN110110693A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于识别人脸属性的方法和装置
CN110609485A (zh) * 2019-09-23 2019-12-24 深圳市火乐科技发展有限公司 幕布控制方法、智能投影仪、幕布及相关产品
CN110826525A (zh) * 2019-11-18 2020-02-21 天津高创安邦技术有限公司 一种人脸识别的方法及系统
CN111339833A (zh) * 2020-02-03 2020-06-26 重庆特斯联智慧科技股份有限公司 一种基于人脸边缘计算的身份核验方法、系统与设备
CN111539452A (zh) * 2020-03-26 2020-08-14 深圳云天励飞技术有限公司 多任务属性的图像识别方法、装置、电子设备及存储介质
CN111753641A (zh) * 2020-05-07 2020-10-09 中山大学 一种基于人脸高维特征的性别预测方法
CN111914772A (zh) * 2020-08-06 2020-11-10 北京金山云网络技术有限公司 识别年龄的方法、年龄识别模型的训练方法和装置
CN112364831A (zh) * 2020-11-30 2021-02-12 姜培生 人脸识别方法及在线教育系统
CN112818728A (zh) * 2019-11-18 2021-05-18 深圳云天励飞技术有限公司 年龄识别的方法及相关产品
WO2021232985A1 (zh) * 2020-05-22 2021-11-25 腾讯科技(深圳)有限公司 人脸识别方法、装置、计算机设备及存储介质
CN115761833A (zh) * 2022-10-10 2023-03-07 荣耀终端有限公司 人脸识别方法、电子设备、程序产品及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295521A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 一种基于多输出卷积神经网络的性别识别方法、装置及计算设备
CN106485235A (zh) * 2016-10-24 2017-03-08 厦门美图之家科技有限公司 一种卷积神经网络生成方法、年龄识别方法及相关装置
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN107679451A (zh) * 2017-08-25 2018-02-09 百度在线网络技术(北京)有限公司 建立人脸识别模型的方法、装置、设备和计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295521A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 一种基于多输出卷积神经网络的性别识别方法、装置及计算设备
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN106485235A (zh) * 2016-10-24 2017-03-08 厦门美图之家科技有限公司 一种卷积神经网络生成方法、年龄识别方法及相关装置
CN106503669A (zh) * 2016-11-02 2017-03-15 重庆中科云丛科技有限公司 一种基于多任务深度学习网络的训练、识别方法及系统
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107491726A (zh) * 2017-07-04 2017-12-19 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN107679451A (zh) * 2017-08-25 2018-02-09 百度在线网络技术(北京)有限公司 建立人脸识别模型的方法、装置、设备和计算机存储介质

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008907A (zh) * 2019-04-09 2019-07-12 成都旷视金智科技有限公司 一种年龄的估计方法、装置、电子设备和计算机可读介质
CN110008907B (zh) * 2019-04-09 2021-10-01 成都旷视金智科技有限公司 一种年龄的估计方法、装置、电子设备和计算机可读介质
CN110009052A (zh) * 2019-04-11 2019-07-12 腾讯科技(深圳)有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110009052B (zh) * 2019-04-11 2022-11-18 腾讯科技(深圳)有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110070049A (zh) * 2019-04-23 2019-07-30 北京市商汤科技开发有限公司 人脸图像识别方法及装置、电子设备和存储介质
CN110110693A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于识别人脸属性的方法和装置
CN110609485A (zh) * 2019-09-23 2019-12-24 深圳市火乐科技发展有限公司 幕布控制方法、智能投影仪、幕布及相关产品
CN112818728A (zh) * 2019-11-18 2021-05-18 深圳云天励飞技术有限公司 年龄识别的方法及相关产品
CN110826525A (zh) * 2019-11-18 2020-02-21 天津高创安邦技术有限公司 一种人脸识别的方法及系统
CN112818728B (zh) * 2019-11-18 2024-03-26 深圳云天励飞技术有限公司 年龄识别的方法及相关产品
CN110826525B (zh) * 2019-11-18 2023-05-26 天津高创安邦技术有限公司 一种人脸识别的方法及系统
CN111339833A (zh) * 2020-02-03 2020-06-26 重庆特斯联智慧科技股份有限公司 一种基于人脸边缘计算的身份核验方法、系统与设备
CN111339833B (zh) * 2020-02-03 2022-10-28 重庆特斯联智慧科技股份有限公司 一种基于人脸边缘计算的身份核验方法、系统与设备
CN111539452B (zh) * 2020-03-26 2024-03-26 深圳云天励飞技术有限公司 多任务属性的图像识别方法、装置、电子设备及存储介质
CN111539452A (zh) * 2020-03-26 2020-08-14 深圳云天励飞技术有限公司 多任务属性的图像识别方法、装置、电子设备及存储介质
CN111753641A (zh) * 2020-05-07 2020-10-09 中山大学 一种基于人脸高维特征的性别预测方法
CN111753641B (zh) * 2020-05-07 2023-07-18 中山大学 一种基于人脸高维特征的性别预测方法
WO2021232985A1 (zh) * 2020-05-22 2021-11-25 腾讯科技(深圳)有限公司 人脸识别方法、装置、计算机设备及存储介质
US11816880B2 (en) 2020-05-22 2023-11-14 Tencent Technology (Shenzhen) Company Limited Face recognition method and apparatus, computer device, and storage medium
CN111914772A (zh) * 2020-08-06 2020-11-10 北京金山云网络技术有限公司 识别年龄的方法、年龄识别模型的训练方法和装置
CN111914772B (zh) * 2020-08-06 2024-05-03 北京金山云网络技术有限公司 识别年龄的方法、年龄识别模型的训练方法和装置
CN112364831A (zh) * 2020-11-30 2021-02-12 姜培生 人脸识别方法及在线教育系统
CN115761833A (zh) * 2022-10-10 2023-03-07 荣耀终端有限公司 人脸识别方法、电子设备、程序产品及介质
CN115761833B (zh) * 2022-10-10 2023-10-24 荣耀终端有限公司 人脸识别方法、电子设备及介质

Similar Documents

Publication Publication Date Title
CN109522872A (zh) 一种人脸识别方法、装置、计算机设备及存储介质
Guo et al. Fake face detection via adaptive manipulation traces extraction network
Chen et al. A deep learning framework for time series classification using Relative Position Matrix and Convolutional Neural Network
CN104933428B (zh) 一种基于张量描述的人脸识别方法及装置
Jia et al. Deep multi-view learning using neuron-wise correlation-maximizing regularizers
Tu et al. Ultra-deep neural network for face anti-spoofing
Heo et al. Deepfake detection algorithm based on improved vision transformer
CN113128271A (zh) 脸部图像的伪造检测
Sharma et al. Face-based age and gender estimation using improved convolutional neural network approach
CN110502694A (zh) 基于大数据分析的律师推荐方法及相关设备
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
Sebyakin et al. Spatio-temporal deepfake detection with deep neural networks
Daihong et al. Facial expression recognition based on attention mechanism
Xiong et al. Person re-identification with multiple similarity probabilities using deep metric learning for efficient smart security applications
Yu et al. Exemplar-based recursive instance segmentation with application to plant image analysis
Lin et al. Task-oriented feature-fused network with multivariate dataset for joint face analysis
Yu et al. Diffusion-based data augmentation for nuclei image segmentation
Sedik et al. AI-enabled digital forgery analysis and crucial interactions monitoring in smart communities
Zhang et al. Temporal segment dropout for human action video recognition
Janarthanan et al. An Efficient Face Detection and Recognition System Using RVJA and SCNN
Sreelekshmi et al. Deep forgery detect: enhancing social media security through deep learning-based forgery detection
Tang et al. Visible-infrared person re-identification employing style-supervision and content-supervision
Zhang et al. Hybrid mix-up contrastive knowledge distillation
Choudhuri et al. MNIST Image Classification Using Convolutional Neural Networks
Ghorbel et al. Hybrid approach for face recognition from a single sample per person by combining VLC and GOM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190326