CN114495201A - 包含活体检测的多任务人脸识别方法、系统、设备和介质 - Google Patents

包含活体检测的多任务人脸识别方法、系统、设备和介质 Download PDF

Info

Publication number
CN114495201A
CN114495201A CN202111622532.5A CN202111622532A CN114495201A CN 114495201 A CN114495201 A CN 114495201A CN 202111622532 A CN202111622532 A CN 202111622532A CN 114495201 A CN114495201 A CN 114495201A
Authority
CN
China
Prior art keywords
face
network
living body
picture
classification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111622532.5A
Other languages
English (en)
Inventor
张翼翔
王东
王月平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Moredian Technology Co ltd
Original Assignee
Hangzhou Moredian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Moredian Technology Co ltd filed Critical Hangzhou Moredian Technology Co ltd
Priority to CN202111622532.5A priority Critical patent/CN114495201A/zh
Publication of CN114495201A publication Critical patent/CN114495201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种包含活体检测的多任务人脸识别方法、系统、设备和介质，该方法包括：获取人脸图片，将人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片，将风格迁移后的人脸图片输入多任务神经网络提取共享特征，将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果，根据活体分类结果与人脸分类结果，得到人脸识别结果，本申请既没有加大输入的参数量，也没有增大活体检测分支网络的大小，使轻量级的的活体检测分支网络使用了较大模型的共享参数，解决了活体检测精度受制于模型大小的问题，提高活体检测的精度。

Description

包含活体检测的多任务人脸识别方法、系统、设备和介质
技术领域
本申请涉及机器学习技术领域，特别是涉及一种包含活体检测的多任务人脸识别方法、系统、电子设备和存储介质。
背景技术
随着计算机技术的发展，人脸识别技术日趋成熟，并已广泛应用于金融支付，校园、公司打卡，机场车站身份验证等场景，活体检测是人脸识别系统的重要一环，活体检测可以有效的防止恶意攻击系统，保障人身财产的安全。
但是活体检测也面临也多问题：一方面，应用于终端上的活体检测算法，由于受制于设备的处理速度，因此，只能选择轻量级的活体检测模型，但是在深度学习领域，模型的大小对精度的影响极大，这就造成了一个矛盾的状态，即大模型的精度要高于小模型的精度，但是，现有的终端模型受制于处理速度的限制，难以加大模型，从而导致精度低，因此造成了精度要求和模型大小的矛盾；另一方面，由于终端设备架设的环境非常多变，例如，图像成像存在光照方向不同，光照强度不同等干扰因素，这就导致成像的效果千差万别，如此，不仅严重影响了模型的鲁棒性，而且导致模型的泛化性低。
目前针对相关技术中终端受制于处理速度的限制，难以加大模型，从而导致活体识别精度低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种包含活体检测的多任务人脸识别方法、系统、电子设备和存储介质，以至少解决相关中由于终端受制于处理速度的限制，难以加大模型，从而导致活体识别精度低的问题。
第一方面，本申请实施例提供了一种包含活体检测的多任务人脸识别方法，所述方法包括以下步骤：
获取人脸图片；
将所述人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片；
将所述风格迁移后的人脸图片输入多任务神经网络提取共享特征，其中，所述多任务神经网络包括活体检测分支网络和人脸识别分支网络；
将所述共享特征分别输入所述活体检测分支网络和所述人脸识别分支网络分别得到活体分类结果与人脸分类结果；
根据所述活体分类结果与人脸分类结果，得到人脸识别结果。
在其中一些实施例中，所述多任务神经网络还包括共享网络，所述共享网络包括至少一个第一残差网络。
在其中一些实施例中，所述活体检测分支网络包括第一分类器和至少一个第二残差网络，所述人脸识别分支网络包括第二分类器和至少一个第三残差网络，所述将所述共享特征分别输入所述活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果包括：
将所述共享特征分别输入所述至少一个所述第三残差网络和所述至少一个第二残差网络；
将所述至少一个所述第二残差网络输出的结果输入所述第一分类器，得到所述活体分类结果；
将所述至少一个所述第三残差网络输出的结果输入所述第二分类器，得到所述人脸分类结果。
在其中一些实施例中，所述第一分类器和所述第二分类器分别包括由全连接层和Softmax层组成的分类器。
在其中一些实施例中，所述活体检测分支网络的损失函数为交叉熵损失函数；所述人脸识别分支网络的损失函数为Cosface或者Arcface，且所述人脸识别分支网络为Resnet。
在其中一些实施例中，所述根据所述活体分类结果与人脸分类结果，得到人脸识别结果包括：
在所述活体分类结果判定该人脸为活体的情况下，获得当前人脸ID信息；
通过所述当前人脸ID信息获得获取底库中的人脸特征向量，将所述人脸特征向量与所述人脸分类结果比对，若比对成功时，则人脸识别成功，得到人脸识别成功结果；
在所述活体分类结果判定该人脸为非活体的情况下，提示活体检测失败，得到人脸识别失败结果。
在其中一些实施例中，所述图像域迁移网络的损失函数的计算公式如下：
L＝arg min(λcLcontent(y，x)+λsLstyle(y，yd))
其中，L表示所述图像域迁移网络的损失函数，Lcontent表示内容迁移损失函数，Lstyle表示风格迁移损失函数，λc表示内容权重参数，λs表示风格容权重参数，x表示输入的源域图片，y表示源域图片前向传播的输出结果，yd表示目标域图片，其中，所述源域图片为所述获取的人脸图片，所述目标域图片为所述风格迁移后的人脸图片。
第二方面，本申请实施例提供了一种包含活体检测的多任务人脸识别系统，应用于终端，所述系统包括：
获取模块，用于获取的人脸图片；
风格迁移模块，用于将获取的人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片；
共享特征提取模块，用于将所述风格迁移后的人脸图片输入多任务神经网络提取共享特征，其中，所述多任务神经网络包括活体检测分支网络和人脸识别分支网络；
分类模块，用于将所述共享特征分别输入所述活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果；
人脸识别模块，用于根据所述活体分类结果与人脸分类结果，得到人脸识别结果。
第三方面，本申请实施例提供了一种电子设备，所述电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序时实现如上述第一方面所述的包含活体检测的多任务人脸识别方法。
第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行如上述第一方面所述的包含活体检测的多任务人脸识别方法。
相比于相关技术，本申请实施例提供的包含活体检测的多任务人脸识别方法，首先获取人脸图片，考虑到人脸识别终端设备架设的光照环境不同，因此成像差异较大，为了减低外界因素对成像效果的影响，将人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片，如此，将不同成像效果的图像统一成相同效果的图像(相同效果的图像即目标域的人脸图像)，减少了环境因素的干扰，提高了模型的泛化性；另外，由于受制于终端设备的处理速度，因此，只能选择轻量级的活体检测分支网络，相比于现有技术中选择轻量级的活体检测分支网络导致活体检测精度低的情况，本实施例将风格迁移后的人脸图片输入多任务神经网络提取共享特征，将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果，该过程既没有加大输入的参数量(共享参数)，也没有增大活体检测分支网络的模型大小，使轻量级的的活体检测分支网络使用了较大模型(人脸识别分支网络的参数)的共享参数，解决了活体检测精度受制于模型大小的问题，提高活体检测的精度，另外，相较于相关技术，本实施例在活体活检测的精度提高的情况下，根据活体分类结果与人脸分类结果，得到人脸识别结果的准确度也提高了，进而提高了用户的体验感。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的包含活体检测的多任务人脸识别方法的第一流程图；
图2是本申请实施例的多任务神经网络的一个结构示意图；
图3是本申请实施例的将所述共享特征分别输入所述活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果包括的步骤的一流程图示意图；
图4是本申请实施例的根据所述活体分类结果与人脸分类结果，得到人脸识别结果包括的步骤的一流程图示意图；
图5是根据本申请实施例的包含活体检测的多任务人脸识别系统的结构框图；
图6是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
随着计算机技术的发展，人脸识别技术日趋成熟，并已广泛应用于金融支付，校园、公司打卡，机场车站身份验证等场景，活体检测是人脸识别系统的重要一环，活体检测可以有效的防止恶意攻击系统，保障人身财产的安全。但是活体检测也面临也多问题：一方面，应用于终端上的活体检测算法，由于受制于设备的处理速度，因此，只能选择轻量级的活体检测模型，但是在深度学习领域，模型的大小对精度的影响极大，即大模型的精度高，小模型的精度低，即大模型的精度高于小模型的精度，但是，现有的终端模型受制于处理速度的限制，难以加大模型，从而导致精度低，因此造成了精度要求和模型大小的矛盾；另一方面，由于终端设备架设的环境非常多变，例如，图像成像存在光照方向不同，光照强度不同等干扰因素，这就导致成像的效果千差万别，如此，不仅严重影响了模型的鲁棒性，而且导致模型的泛化性低。需要说明的是，该终端包括但是不限制于门禁设备、各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；
为了解决上述问题，本申请提供一种包含活体检测的多任务人脸识别方法，应用于终端，图1是本申请实施例的包含活体检测的多任务人脸识别方法的第一流程图，如图1所示，在本实施例中，该方法包括以下步骤：
步骤S101，获取人脸图片；其中，在实际的应用环境为门禁设备的情况下，人脸图片可以通过门禁设备上的摄像头拍摄获得，当然在一些其他实施例中，人脸图片还可以通过手机或者其他拍摄设备获得，此处不做具体限定；
步骤S102，将人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片；本实施例中，图像域迁移网络采用VGG16来实现，当然在一些其他实施例中，图像域迁移网络还可以采用其他来实现，此处不做具体限定；
在实际应用环境中，由于终端设备架设的环境(例如，光照方向不同、光照强度不同等环境干扰因素不同)非常多变，会导致成像的效果千差万别，因此，后续人脸识别的效果往往受限于拍摄环境，本实施例通过图像域迁移网络将输入的人脸图片处理为风格迁移后的人脸图片，如此，将不同成像效果的图片统一成相同效果的图片(相同效果的图片即目标域的人脸图片)，减少了环境因素的干扰，提高了模型的泛化性；
本领域技术人员易于理解的是，人脸图片可以看作是由内容和风格(色彩等)组成的的人脸图片，因此，图片域的迁移可以理解为图片风格的迁移。
步骤S103，将风格迁移后的人脸图片输入多任务神经网络提取共享特征，如此，方便后续使用；此外，本实施例中，共享特征又称共享参数，下文不在特别声明；
其中，多任务神经网络包括活体检测分支网络和人脸识别分支网络；易于理解的是，多任务神经网络在接收到共享特征时，可以同时进行活体检测和人脸检测；
需要说明的是，由于受制于终端设备的处理速度，因此，只能选择轻量级的活体检测分支网络，与轻量级的活体检测分支网络的相比，人脸识别分支网络为较大模型，为了方便用户理解，下文中的较大模型为人脸识别分支网络；
步骤S104，将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果；本实施例通过使用多任务神经网络提取共享参数，既没有加大输入的参数量(共享参数)，也没有增大活体检测分支网络的大小，使轻量级的的活体检测分支网络使用了较大模型(人脸识别分支网络的共享参数)的共享参数，解决了活体检测精度受制于模型大小的问题，提高活体检测的精度，也就是说，本申请相较于现有技术，在不改变终活体检测分支网络大小的情况下，通过共享参数，提高了轻量级的活体检测分支网络的精度，使小模型(活体检测分支网络)也可以有大精度。易于理解的是，共享参数实现了让活体检测任务也使用到了大模型参数的目的。
步骤S105，根据活体分类结果与人脸分类结果，得到人脸识别结果。如此，在活体分类结果的精度提高的基础上，根据活体分类结果与人脸分类结果，得到人脸识别结果的准确度也相应提高，进而提高了用户的识别体验感。
相比于相关技术，本申请实施例提供的包含活体检测的多任务人脸识别方法，首先获取人脸图片，考虑到人脸识别终端设备架设的光照环境不同，因此成像差异较大，为了减低外界因素对成像效果的影响，将人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片，如此，将不同成像效果的图片统一成相同效果的图片(相同效果的图片即目标域的人脸图片)，减少了环境因素的干扰，提高了模型的泛化性；另外，由于受制于终端设备的处理速度，因此，只能选择轻量级的活体检测分支网络，相比于现有技术中选择轻量级的活体检测分支网络导致活体检测精度低的情况，本实施例将风格迁移后的人脸图片输入多任务神经网络提取共享特征，将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果，该过程既没有加大输入的参数量(共享参数)，也没有增大活体检测分支网络的模型大小，使轻量级的的活体检测分支网络使用了较大模型(人脸识别分支网络的参数)的共享参数，解决了活体检测精度受制于模型大小的问题，提高活体检测的精度，另外，相较于相关技术，本实施例在活体活检测的精度提高的情况下，根据活体分类结果与人脸分类结果，得到人脸识别结果的准确度也提高了，进而提高了用户的体验感。
图2是本申请实施例的多任务神经网络的一个结构示意图，参照图2，在将风格迁移后的人脸图片输入多任务神经网络提取共享特征之前，该方法还包括对多任务神经网络进行训练和测试，该训练步骤如下：
首先，将图像域迁移网络的输出结果y，即风格迁移后的图片输入多任务神经网络，输入神经网络的数据维度为[n,c,w,h]，其中，n代表输入图片的数量，c代表图片的通道数，w和h分别代表图片的宽和高。图片有两个标签，一个是活体标签，活体标志为1，非活体标志为0，另一个是人脸识别标签，标志为ID。
其次，将图像域迁移网络的输出结果y先通过共享的网络层(block1～block5)后，在分别输入活体检测分支网络和人脸识别分支网络，活体检测分支网络包括block6_1～block8_1、全连接层FC(Fully Connected Layers，简称FC)和Softmax层，人脸识别分支网络包括block6_2～block8_2、全连接层FC和Softmax层，活体检测分支网络最后的全连接层FC输出维度为2的特征值，在使用Softmax层将特征值映射为类别的概率值，得到活体分类结果，人脸识别分支最后的全连接层FC输出维度为人脸类别数量的特征值，最后将人脸类别数量的特征值使用Softmax层将特征值映射为类别的概率值，得到人脸分类结果。其中，block6_1～block8_1和block6_2～block8_2均为残差网络。
然后，分别将两个分支的分类结果，送入损失函数计算损失值，进行梯度的反向传播，更新参数。
最后，训练n轮后，完成模型训练，得到模型。
该测试阶段的步骤包括：首先，对测试图片进行人脸检测，按照检测得到的坐标裁剪，人脸对齐；目标域图片和训练阶段相同，其次，将图片送入图像域迁移网络，得到风格和目标域相似的迁移结果，然后，将图像域迁移网络的输出图片输入多任务神经网络，最后，得到活体检测与人脸识别结果。
参照图2，在其中一些实施例中，多任务神经网络还包括共享网络，共享网络包括至少一个第一残差网络。其中，相关技术中，由于普通的神经网络加深会引发梯度消失等问题(已知模型加深会带来模型精度的提升)，使得神经网络的训练变得困难。残差网络解决了这个问题，通过堆叠残差层，我们可以搭建出足够深的网络结构，并且使训练易于收敛。将其用在共享网络、活体网络、识别网络中，主要考虑该网络可以灵活的增加网络模型深度，减少多任务网络训练难度，因此，使用残差网络可以搭建较深层的网络模型，提高模型的学习能力。
举例来说，在终端为门禁设备时，共享网络包括5个第一残差网络，分别为第一残差网络block1、第一残差网络block2、第一残差网络block3、第一残差网络block4和第一残差网络block5，此时，共享网络学习的提取共享特征的效果最好，当然在一下其他实施例中，在终端设备不同时，共享网络包括的第一残差网络的个数也需要进行相应的调整，例如共享网络包括可以包括1个第一残差网络、2个第一残差网络、3个第一残差网络或者更多，具体根据实际需求设定；
图3是本申请实施例的将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果包括的步骤的一流程图示意图，参照图3，在其中一些实施例中，活体检测分支网络包括第一分类器和至少一个第二残差网络，人脸识别分支网络包括第二分类器和至少一个第三残差网络，将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果包括如下步骤：
步骤S301，将共享特征分别输入至少一个第三残差网络和至少一个第二残差网络；如此，不仅实现活体检测，而且由于使用了与大模型一样的参数，同时也提高了活体检测的精度；
需要说明的是，在本实施例中，至少一个第二残差网络包括第二残差网络block6_1、第二残差网络block7_1和第二残差网络block8_1；至少一个第二残差网络包括第二残差网络block6_2、第二残差网络block7_2和第二残差网络block8_2；
步骤S302，将至少一个第二残差网络输出的结果输入第一分类器，得到活体分类结果；
步骤S303，将至少一个第三残差网络输出的结果输入第二分类器，得到人脸分类结果。
具体地，为了更好的分类，在另一实施例中，第一分类器和第二分类器分别包括由全连接层FC和Softmax层组成的分类器；
在活体分支网络中，将至少一个第二残差网络输出的结果先输入全连接层FC进行降维处理，输出2维的结果，然后，将输出2维的结果送入Softmax层进行类别置处理，输出正类(活体)和负类(非活体)的类别置信度，得到活体分类结果。同理，在人脸识别分支网络中，将至少一个第三残差网络输出的结果先输入全连接层FC进行处理，输出人脸类别数量的特征值，然后，将输出人脸类别数量的特征值送入Softmax层进行类别置处理，输出每个ID的置信度，获取置信度最高的作为人脸分类结果。当然在一些其他实施例中，分类器可以采用SVM分类器或其他分类器来实现，此处不做具体限定。
在另一实施例中，活体检测分支网络的损失函数为交叉熵损失函数；所述人脸识别分支网络的损失函数为Cosface或者Arcface，且所述人脸识别分支网络为Resnet。
图4是本申请实施例的根据活体分类结果与人脸分类结果，得到人脸识别结果包括的步骤的一流程图示意图，如图4所示，在一实施例中，根据活体分类结果与人脸分类结果，得到人脸识别结果包括如下步骤：
步骤S401，在活体分类结果判定该人脸为活体的情况下，获得当前人脸ID信息；
步骤S402，通过当前人脸ID信息获得获取底库中的人脸特征向量，将人脸特征向量与人脸分类结果比对，若比对成功时，则人脸识别成功，得到人脸识别成功结果；反之，若比对失败时，则人脸识别失败，得到人脸识别失败结果；其中，人脸分类结果包括当前人脸的人脸特征向量；
步骤S403，在活体分类结果判定该人脸为非活体的情况下，提示活体检测失败，得到人脸识别失败结果，即当在活体分类结果判定该人脸为非活体时，提示活体检测不通过，并将该结果丢弃；
在迁移的过程中，为了避免改变图片的内容，在一实施例中，对图像域迁移网络的训练过程如下：
将图片数据送入图像域迁移网络，该图片为经过人脸检测与人脸对齐后的结果，网络完成端到端的计算，实现图片从源域到目标域的迁移，目标域图片为yd。网络计算过程可以表示为y＝f(x)，其中，x为迁移网络的输入，即源域图片，一次前向传播的输出为y。fi(x)表示网络第i层的特征，维度为Ci*Hi*Wi，分别代表图片通道数，图片高度，图片宽度。图片可以看作是由内容和风格(色彩等)组成的，图片域的迁移可以理解为图片风格的迁移。
其中，图像域迁移网络的损失函数设计如下：
L＝Lcontent+Lstyle
其中，L表示图像域迁移网络的损失函数，Lcontent表示图片风格损失，Lstyle表示图片风格损失；
具体地，图片风格损失的计算公式如下：
Figure BDA0003438607180000101
其中，fi(y)和fi(x)分别表示在第i层预测图的特征和第i层原图的特征，
Figure BDA0003438607180000102
表示第i层预测图的特征和第i层原图的特征的差值的平方，即欧氏距离。当预测图的内容和原图内容差距越大，Lcontent的值越大，因此最小化Lcontent可以约束网络尽可能保留源域内容信息；
由于我们希望预测图的风格不断地向目标域图片的风格靠近，因此，设计如下图片风格损失，该图片风格损失的计算公式如下：
Figure BDA0003438607180000111
其中，Gi(v)和Gi(yd)分别表示在第i层预测图特征的格拉姆矩阵和在第i层目标域图片yd特征的格拉姆矩阵。
Figure BDA0003438607180000112
表示在第i层预测图特征的格拉姆矩阵和在第i层目标域图片yd特征的格拉姆矩阵的插值的平方。使用格拉姆矩阵的好处：格拉姆矩阵计算的是两两特征之间的相关性，格拉姆矩阵用于度量特征各个维度自己的特性以及各个维度之间的关系。矩阵对角线元素提供了不同特征图各自的信息，其余元素提供了不同特征图之间的相关信息。通过该矩阵，既能体现出有哪些特征，又能体现出不同特征间的紧密程度。易于理解的是，当预测图的风格和目标域图片的风格差距越大，Lstyle越大。因此最小化Lstyle可以约束网络学习目标域风格；
在一实施例中，图像域迁移网络的最终损失函数的计算公式如下：
L＝arg min(λcLcontent(y，x)+λsLstyle(y，yd))
其中，L表示图像域迁移网络的损失函数，Lcontent表示内容迁移损失函数，Lstyle表示风格迁移损失函数，λc表示内容权重参数，λs表示风格容权重参数，x表示输入的源域图片，y表示源域图片前向传播的输出结果，yd表示目标域图片，其中，源域图片为获取的人脸图片，目标域图片为风格迁移后的人脸图片。另外，权重参数的数值越大表示该项损失对总损失贡献越大。L的损失函数最小时收敛，训练效果最好。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种包含活体检测的多任务人脸识别系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的包含活体检测的多任务人脸识别系统的结构框图，应用于终端如图5所示，该系统包括：
获取模块51，用于获取的人脸图片；
风格迁移模块52，用于将获取的人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片；
共享特征提取模块53，用于将风格迁移后的人脸图片输入多任务神经网络提取共享特征，其中，多任务神经网络包括活体检测分支网络和人脸识别分支网络；
分类模块54，用于将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果；
人脸识别模块55，用于根据活体分类结果与人脸分类结果，得到人脸识别结果。该系统，首先通过获取模块51获取人脸图片，考虑到人脸识别终端设备架设的光照环境不同，因此成像差异较大，为了减低外界因素对成像效果的影响，通过风格迁移模块52将人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片，如此，将不同成像效果的图片统一成相同效果的图片(相同效果的图片即目标域的人脸图片)，减少了环境因素的干扰，提高了模型的泛化性；另外，由于受制于终端设备的处理速度，因此，只能选择轻量级的活体检测分支网络，相比于现有技术中选择轻量级的活体检测分支网络导致活体检测精度低的情况，本实施例通过共享特征提取模块53将风格迁移后的人脸图片输入多任务神经网络提取共享特征，通过分类模块54将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果，既没有加大输入的参数量(共享参数)，也没有增大活体检测分支网络的大小，使轻量级的的活体检测分支网络使用了较大模型(人脸识别分支网络的参数)的共享参数，解决了活体检测精度受制于模型大小的问题，提高活体检测的精度，另外，相较于相关技术，本实施例通过人脸识别模块55在活体活检测的精度提高的情况下，根据活体分类结果与人脸分类结果，得到人脸识别结果的准确度也提高了，进而提高了用户的体验感。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
步骤S101，获取人脸图片；
步骤S102，将人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片；
步骤S103，将风格迁移后的人脸图片输入多任务神经网络提取共享特征，其中，多任务神经网络包括活体检测分支网络和人脸识别分支网络；
步骤S104，将共享特征分别输入活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果；
步骤S104，根据活体分类结果与人脸分类结果，得到人脸识别结果。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的包含活体检测的多任务人脸识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种包含活体检测的多任务人脸识别方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种包含活体检测的多任务人脸识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图6是根据本申请实施例的电子设备的内部结构示意图，如图6所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图6所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种包含活体检测的多任务人脸识别方法，数据库用于存储数据。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种包含活体检测的多任务人脸识别方法，其特征在于，应用于终端，所述方法包括以下步骤：
获取人脸图片；
将所述人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片；
将所述风格迁移后的人脸图片输入多任务神经网络提取共享特征，其中，所述多任务神经网络包括活体检测分支网络和人脸识别分支网络；
将所述共享特征分别输入所述活体检测分支网络和所述人脸识别分支网络分别得到活体分类结果与人脸分类结果；
根据所述活体分类结果与人脸分类结果，得到人脸识别结果。
2.根据权利要求1所述方法，其特征在于，所述多任务神经网络还包括共享网络，所述共享网络包括至少一个第一残差网络。
3.根据权利要求1所述方法，其特征在于，所述活体检测分支网络包括第一分类器和至少一个第二残差网络，所述人脸识别分支网络包括第二分类器和至少一个第三残差网络，所述将所述共享特征分别输入所述活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果包括：
将所述共享特征分别输入所述至少一个所述第三残差网络和所述至少一个第二残差网络；
将所述至少一个所述第二残差网络输出的结果输入所述第一分类器，得到所述活体分类结果；
将所述至少一个所述第三残差网络输出的结果输入所述第二分类器，得到所述人脸分类结果。
4.根据权利要求3所述方法，其特征在于，所述第一分类器和所述第二分类器分别包括由全连接层和Softmax层组成的分类器。
5.根据权利要求1或3所述方法，其特征在于，所述活体检测分支网络的损失函数为交叉熵损失函数；所述人脸识别分支网络的损失函数为Cosface或者Arcface，且所述人脸识别分支网络为Resnet。
6.根据权利要求1所述方法，其特征在于，所述根据所述活体分类结果与人脸分类结果，得到人脸识别结果包括：
在所述活体分类结果判定该人脸为活体的情况下，获得当前人脸ID信息；
通过所述当前人脸ID信息获得获取底库中的人脸特征向量，将所述人脸特征向量与所述人脸分类结果比对，若比对成功时，则人脸识别成功，得到人脸识别成功结果；
在所述活体分类结果判定该人脸为非活体的情况下，提示活体检测失败，得到人脸识别失败结果。
7.根据权利要求1所述方法，其特征在于，所述图像域迁移网络的损失函数的计算公式如下：
L二arg min(λcLcontent(y，x)+λsLstyle(y，yd))
其中，L表示所述图像域迁移网络的损失函数，Lcontent表示内容迁移损失函数，Lstyle表示风格迁移损失函数，λc表示内容权重参数，λs表示风格容权重参数，x表示输入的源域图片，y表示源域图片前向传播的输出结果，yd表示目标域图片，其中，所述源域图片为所述获取的人脸图片，所述目标域图片为所述风格迁移后的人脸图片。
8.一种包含活体检测的多任务人脸识别系统，其特征在于，应用于终端，所述系统包括：
获取模块，用于获取的人脸图片；
风格迁移模块，用于将获取的人脸图片输入图像域迁移网络，得到风格迁移后的人脸图片；
共享特征提取模块，用于将所述风格迁移后的人脸图片输入多任务神经网络提取共享特征，其中，所述多任务神经网络包括活体检测分支网络和人脸识别分支网络；
分类模块，用于将所述共享特征分别输入所述活体检测分支网络和人脸识别分支网络分别得到活体分类结果与人脸分类结果；
人脸识别模块，用于根据所述活体分类结果与人脸分类结果，得到人脸识别结果。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的包含活体检测的多任务人脸识别方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的包含活体检测的多任务人脸识别方法。
CN202111622532.5A 2021-12-28 2021-12-28 包含活体检测的多任务人脸识别方法、系统、设备和介质 Pending CN114495201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111622532.5A CN114495201A (zh) 2021-12-28 2021-12-28 包含活体检测的多任务人脸识别方法、系统、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111622532.5A CN114495201A (zh) 2021-12-28 2021-12-28 包含活体检测的多任务人脸识别方法、系统、设备和介质

Publications (1)

Publication Number Publication Date
CN114495201A true CN114495201A (zh) 2022-05-13

Family

ID=81496065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111622532.5A Pending CN114495201A (zh) 2021-12-28 2021-12-28 包含活体检测的多任务人脸识别方法、系统、设备和介质

Country Status (1)

Country Link
CN (1) CN114495201A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116111A (zh) * 2022-06-24 2022-09-27 北京百度网讯科技有限公司 抗扰动人脸活体检测模型训练方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116111A (zh) * 2022-06-24 2022-09-27 北京百度网讯科技有限公司 抗扰动人脸活体检测模型训练方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110135406B (zh) 图像识别方法、装置、计算机设备和存储介质
CN111340013B (zh) 人脸识别方法、装置、计算机设备及存储介质
US20150007295A1 (en) Biometric-based authentication method, apparatus and system
WO2022033220A1 (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
KR102294574B1 (ko) 딥러닝 기반의 얼굴인식모델을 이용하여 실물이미지를 판단할 수 있는 안면인식시스템
KR102161359B1 (ko) 딥러닝 기반의 얼굴이미지 추출장치
CN110287836B (zh) 图像分类方法、装置、计算机设备和存储介质
KR20200084427A (ko) 딥러닝 기반의 얼굴인식모델을 이용하여 특징벡터를 추출하는 얼굴인식시스템
CN110472498A (zh) 基于手部特征的身份认证方法、系统、存储介质及设备
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
CN111898561A (zh) 一种人脸认证方法、装置、设备及介质
CN112818967A (zh) 基于人脸识别和头肩重识别的儿童身份识别方法
CN111582155B (zh) 活体检测方法、装置、计算机设备和存储介质
CN108920929A (zh) 验证图处理方法、装置、计算机设备和存储介质
US10769795B2 (en) Image processing method and device
CN114495201A (zh) 包含活体检测的多任务人脸识别方法、系统、设备和介质
CN111428740A (zh) 网络翻拍照片的检测方法、装置、计算机设备及存储介质
KR20180086649A (ko) 홍채를 위한 합성 코드를 이용한 인증 방법 및 인증 장치
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN110738175B (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN110414593B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN110414347B (zh) 人脸验证方法、装置、设备和存储介质
CN113723368B (zh) 多场景兼容的人脸识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination