CN112052789A - 人脸识别方法、装置、电子设备及存储介质 - Google Patents

人脸识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112052789A
CN112052789A CN202010916477.XA CN202010916477A CN112052789A CN 112052789 A CN112052789 A CN 112052789A CN 202010916477 A CN202010916477 A CN 202010916477A CN 112052789 A CN112052789 A CN 112052789A
Authority
CN
China
Prior art keywords
loss function
face
sample image
value
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010916477.XA
Other languages
English (en)
Other versions
CN112052789B (zh
Inventor
黄余格
徐兴坤
沈鹏程
李绍欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010916477.XA priority Critical patent/CN112052789B/zh
Publication of CN112052789A publication Critical patent/CN112052789A/zh
Application granted granted Critical
Publication of CN112052789B publication Critical patent/CN112052789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及人脸识别技术领域，公开了一种人脸识别方法、装置、电子设备及存储介质，其中，该人脸识别方法包括：获取人脸图像的训练数据集以及初始神经网络模型；将各样本图像对输入至初始神经网络模型，基于训练标签和第二样本图像对应的第一输出结果计算第一损失函数的值，基于训练标签和第一样本图像对应的第二输出结果计算第二损失函数的值；基于第一损失函数的值和第二损失函数的值，计算模型的总损失函数的值，并基于总损失函数的值对模型进行训练，直至模型的总损失函数收敛，将训练结束时的脸部识别模型作为人脸识别模型，以基于人脸识别模型对人脸图像进行识别。本申请提供的人脸识别模型能够实现对带脸部遮挡的人脸图像的识别。

Description

人脸识别方法、装置、电子设备及存储介质
技术领域
本申请涉及人脸识别技术领域，具体而言，本申请涉及一种人脸识别方法、装置、电子设备及存储介质。
背景技术
随着科技及人工智能的发展，越来越多的场景需要进行人脸识别，如：支付场景、认证场景等。现有的人脸识别系统中一般都采用神经网络训练模型的方式进行，但训练后的神经网络模型仅对面部清晰的人脸的识别结果较准确，对于面部存在遮挡的人脸图像的识别准确率较低，甚至无法识别。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
本申请的一个方面，提供了一种人脸识别方法，包括：
获取人脸图像的训练数据集以及初始神经网络模型；其中，训练数据集中包括各样本图像对，样本图像对包括同一个用户的不带脸部遮挡的第一样本图像和带脸部遮挡的第二样本图像，各样本图像对标注有训练标签；初始神经网络模型包括初始脸部识别模型、以及分别与初始脸部识别模型的输出连接的第一分类层和第二分类层；
将各样本图像对输入至初始神经网络模型，得到每个样本图像对应于第一分类层的第一输出结果和对应于第二分类层的第二输出结果；
对于每个用户的所述样本图像对，基于训练标签和第二样本图像对应的第一输出结果计算第一损失函数的值，基于训练标签和第一样本图像对应的第二输出结果计算第二损失函数的值；
基于第一损失函数的值和第二损失函数的值，计算模型的总损失函数的值，并基于总损失函数的值对模型进行训练，直至所述模型的总损失函数收敛，将总损失函数收敛时的脸部识别模型作为人脸识别模型，以基于人脸识别模型对人脸图像进行识别。
本申请的另一个方面，提供了一种人脸识别方法，包括：
获取待识别人脸图像；
利用基于本申请实施例所提供的方法得到人脸识别模型识别待识别人脸图像，获得人脸识别结果。
本申请的另一个方面，提供了一种人脸识别装置，该装置包括：
获取训练数据集模块，用于获取人脸图像的训练数据集以及初始神经网络模型；其中，训练数据集中包括各样本图像对，样本图像对包括同一个用户的不带脸部遮挡的第一样本图像和带脸部遮挡的第二样本图像，各样本图像对标注有训练标签；初始神经网络模型包括初始脸部识别模型、以及分别与初始脸部识别模型的输出连接的第一分类层和第二分类层；
获得输出结果模块，用于将各样本图像对输入至初始神经网络模型，得到每个样本图像对应于第一分类层的第一输出结果和对应于第二分类层的第二输出结果；
计算损失函数模块，用于对于每个用户的样本图像对，基于训练标签和第二样本图像对应的第一输出结果计算第一损失函数的值，基于训练标签和第一样本图像对应的第二输出结果计算第二损失函数的值；
训练模块，用于基于第一损失函数的值和第二损失函数的值，计算模型的总损失函数的值，并基于总损失函数的值对模型进行训练，直至所述模型的总损失函数收敛，将总损失函数收敛时的脸部识别模型作为人脸识别模型，以基于人脸识别模型对人脸图像进行识别。
本申请的另一个方面，提供了一种人脸识别装置，该装置包括：
获取模块，用于获取待识别人脸图像；
识别模块，用于利用本申请实施例提供的方法得到的人脸识别模型识别待识别人脸图像，获得人脸识别结果。
本申请的再一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请第一方面所示的人脸识别方法。
本申请的又一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请第一方面所示的人脸识别方法。
本申请提供的技术方案带来的有益效果是：
本申请提供的人脸识别方法，采用第一分类层、第二分类层处理同一用户对应的样本图像对，有利于获得更加丰富的带脸部遮挡的样本图像及不带脸部遮挡的样本图像的特征，提升分类层处理后的特征的多样性，有利于提升训练完成的人脸识别模型对人脸图像的识别准确性。
本申请提出的人脸识别训练方法，第一损失函数的值与第二损失函数的值为带脸部遮挡的样本图像与不带脸部遮挡的样本图像交叉损失，通过包含该交叉损失的总损失函数对模型进行训练，有利于降低模型对样本图像的收敛难度，提高获得人脸识别模型的效率。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个实施例提供的人脸识别方法的流程图；
图2为本申请一个实施例提供的初始神经网络模型的结构示意图；
图3为本申请一个实施例提供的获得损失函数的示意图；
图4为本申请一个实施例提供的当第一分类层和第二分类层为全连接层时，初始神经网络模型的结构示意图；
图5为本申请一个实施例提供的获取人脸图像的训练数据集的流程图；
图6为本申请实施例提供的一种人脸识别装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像说明书中一样被特定定义，否则不会用理想化或过于正式的含义来解释。
针对现有问题，发明人发现，若在训练样本中加入存在脸部遮挡的样本，采用同一用户对应的面部遮挡的人脸数据直接加入神经网络模型的训练中，但是由于正常的无遮挡样本和对应的有遮挡的人脸数据分布差异很大，使得模型难以收敛。而且，将无遮挡人脸样本和有遮挡的人脸样本简单混合，训练中难以控制一个训练批次中两种样本的比例，使得训练出的模型无法保证识别精度。
对于现有技术中所存在的技术问题，本申请提供的人脸识别方法、装置、电子设备及存储介质，旨在解决现有技术的如上技术问题中的至少一项。
下面以具体实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种可能的实现方式，如图1所示，提供了一种人脸识别方法的流程图，该方案可以由任一电子设备执行，可选的，可以在服务器端执行，包括以下步骤：
S101，获取人脸图像的训练数据集以及初始神经网络模型；其中，训练数据集中包括各样本图像对，样本图像对包括同一个用户的不带脸部遮挡的第一样本图像和带脸部遮挡的第二样本图像，各样本图像对标注有训练标签；初始神经网络模型包括初始脸部识别模型、以及分别与所述脸部识别模型的输出连接的第一分类层和第二分类层；
S102，将各样本图像对输入至初始神经网络模型，得到每个样本图像对应于第一分类层的第一输出结果和对应于第二分类层的第二输出结果；
S103，对于每个用户的样本图像对，基于训练标签和第二样本图像对应的第一输出结果计算第一损失函数的值，基于训练标签和第一样本图像对应的第二输出结果计算第二损失函数的值；
S104，基于第一损失函数的值和第二损失函数的值，计算模型的总损失函数的值，并基于总损失函数的值对模型进行训练，直至所述模型的总损失函数收敛，将总损失函数收敛时的脸部识别模型作为人脸识别模型，以基于所述人脸识别模型对人脸图像进行识别。
本申请提供的人脸识别方法可以使用于人脸图像的识别，将待识别人脸图像输入训练完成的人脸识别模型中，通过人脸识别模型对待识别人脸图像进行识别，得到该待识别人脸图像的识别结果。其中，对于初始神经网络模型的具体模型结构本申请实施例不做限定。如该神经网络模型的初始脸部识别模型可以为任一现有常用的人脸识别模型的模型结构，第一分类层和第二分类层可以是但不限于全连接层。为了描述方便，下文的一些示例说明中第一分类层和第二分类层将以全连接层为例进行说明。
人脸识别模型可以通过以下方式训练得到：
本申请中出现的多个模型之间的关系如下：人脸识别的应用过程中的模型为人脸识别模型，该人脸识别模型对应于初始神经网络模型中的初始脸部识别模型，为了实现人脸识别模型能够识别带脸部遮挡的人脸图像，初始神经网络模型的训练样本包括带脸部遮挡和不带脸部遮挡的样本图像，且初始神经网络模型的结构部分除了最终用于待识别人脸图像识别的脸部识别模型之外，还增加了与初始脸部识别模型的输出连接的第一分类层和第二分类层，因此，训练过程中的神经网络模型包括脸部识别模型以及第一分类层和第二分类层，初始神经网络模型包括初始脸部识别模型以及第一分类层和第二分类层。
结合图2所示的初始神经网络模型的结构示意图，图2中的初始神经网络模型包括初始脸部识别模型以及与初始脸部识别模型的输出相连的第一分类层和第二分类层，第一分类层和第二分类层的输出为神经网络模型的预测结果。
利用总损失函数训练初始神经网络模型，当神经网络模型的总损失函数收敛时，即训练完成时，神经网络中的脸部识别模型为人脸识别模型，利用人脸识别模型可以进行人脸图像的识别。
在人脸识别模型的训练过程中，基于每个用户对应的带脸部遮挡的样本图像及不带脸部遮挡的样本图像进行训练，并且在训练过程中，基于带脸部遮挡的样本图像对应的第一输出结果以及不带脸部遮挡的样本图像对应的第二输出结果计算总损失函数的值，基于总损失函数的值对模型进行训练，当总损失函数的值满足预设值，如损失函数的值小于预设阈值时，此时的脸部识别模型为人脸识别模型。
样本图像对包括同一个用户的不带脸部遮挡的第一样本图像和带脸部遮挡的第二样本图像，第一样本图像和第二样本图像的数量不限，一个用户可以对应多个第一样本图像，一个第一样本图像可以对应多个第二样本图像，每一样本图像对均标注有训练标签，该训练标签可以为用户的标识信息，每一样本图像对中的第一样本图像与第二样本图像的训练标签相同，即同一用户的第一样本图像和第二样本图像具有相同的用户标识，以便通过该训练标签进行样本图像的查找及匹配。
基于带脸部遮挡的样本图像对应的第一输出结果以及不带脸部遮挡的样本图像对应的第二输出结果计算总损失函数的值，可以通过如下方式获得：对于每个用户的样本图像对，获得每个样本图像对应于第一分类层的第一输出结果和对应于第二分类层的第二输出结果，其中，第一输出结果包括第一样本图像对应的第一输出结果和第二样本图像对应的第一输出结果；第二输出结果包括第一样本图像对应的第二输出结果和第二样本图像对应的第二输出结果。
根据第二样本图像对应的第一输出结果及对应的训练标签计算第一损失函数的值，该第一损失函数的值表征了带脸部遮挡的样本图像经过第一分类层处理之后的输出结果与训练标签之间的差异，即带脸部遮挡的样本图像对应于第一分类层的人脸识别特征向量与训练标签对应的该用户的真实的脸部特征之间的差异；根据第一样本图像对应的第二输出结果及对应的训练标签计算第二损失函数的值，该第二损失函数的值表征不带脸部遮挡的样本图像经过第二分类层处理之后的输出结果与训练标签之间的差异，即不带脸部遮挡的样本图像对应于第二分类层的人脸识别特征向量与训练标签对应的该用户的真实的脸部特征之间的差异；根据第一损失函数的值和第二损失函数的值计算总损失函数的值。
与采用一个分类层处理带脸部遮挡的样本图像和不带脸部遮挡的样本图像相比，本申请采用第一分类层、第二分类层分别处理同一用户对应的不带脸部遮挡和带脸部遮挡的样本图像，有利于获得更加丰富的带脸部遮挡的样本图像及不带脸部遮挡的样本图像的特征，提升分类层处理后的特征的多样性，有利于提升人脸识别模型对人脸图像的识别准确性，提升了脸部识别模型的鲁棒性。
本申请实施例提供的上述方案，神经网络模型在训练阶段包含有两个独立的第一分类层和第二分类层，两个分类层的模型参数是不共享的，为了便于理解，第一分类层可以认为是对不带脸部遮挡的样本图像进行特征处理的分类层(可以简称为正常分类层)，第二分类层可以认为是对带脸部遮挡的样本图像进行特征处理的分类层(可以简称为遮挡分类层)。基于该方案，对于带脸部遮挡的第二样本图像和不带脸部遮挡的第一样本图像，每个样本图像经过脸部识别模型提取出的图像特征会分别经由正常分类层和遮挡分类层分别进行处理，以第二样本图像为例，带脸部遮挡的第二样本图像除了会经由遮挡分类层处理得到对应的第二输出结果之外，还会经由正常分类层处理得到对应的第一输出结果，即带脸部遮挡的样本图像经过与不带脸部遮挡的样本图像对应的分类层处理后的输出结果；同样地，不带脸部遮挡的第一样本图像除了会经由正常分类层处理得到对应的第一输出结果之外，还会经由遮挡分类层得到对应的第二输出结果，即不带脸部遮挡的样本图像经过与带脸部遮挡的样本图像对应的分类层处理后的输出结果。利用这种交叉处理得到的输出结果能够获得同一用户在两种样本图像中不同的特征点，丰富模型训练的特征数据，有利于提升人脸识别模型对带脸部遮挡的人脸图像及不带脸部遮挡的人脸图像的识别准确性。
由前文描述可知，第一损失函数的值是基于训练标签和第二样本图像对应的第一输出结果计算得到的，第二损失函数的值是基于训练标签和第一样本图像对应的第二输出结果得到的，可见，第一损失函数的值与第二损失函数的值为带脸部遮挡的样本图像与不带脸部遮挡的样本图像交叉损失，即带脸部遮挡的样本图像通过正常分类层处理对应的损失，不带脸部遮挡的样本图像经过遮挡分类层处理对应的损失。因此，总损失函数的值包括不带脸部遮挡的样本图像的分类层对带脸部遮挡的样本图像的影响，也包括带脸部遮挡的样本图像的分类层对不带脸部遮挡的样本图像的影响。
基于包含了上述交叉损失的总损失函数对神经网络模型进行训练，可以有效降低模型对样本图像的收敛难度，提升人脸识别模型对带脸部遮挡的样本图像的识别及不带脸部遮挡的样本图像的识别性能。
另外，本申请实施例的方案，基于第一损失函数的值及第二损失函数的值进行总损失函数的计算，并基于总损失函数进行模型的训练，由于第一损失函数是基于第二样本图像经过第一分类层的处理获得的，第二损失函数是基于第一样本图像经过第二分类层的处理得到的，经过第一分类层与第二分类层的处理之后，提取出的特征更加多元化，有利于增大同一用户对应的不同样本图像之间的类内距离，进而提高获得人脸识别模型的效率。
为了更清楚本申请提供的人脸识别方案及其技术效果，接下来以多个可选实施例对其具体的可选实施方案进行详细阐述。
一种可选实施例中，本申请提供的人脸识别方法，还可以包括：
对于每个用户的样本图像对，基于训练标签、第一样本图像对应的第一输出结果计算第三损失函数的值；基于所述训练标签、第二样本图像对应的第二输出结果计算第四损失函数的值；
在此基础上，基于第一损失函数的值和第二损失函数的值，计算模型的总损失函数，可以通过如下方式实现：
基于第一损失函数的值、第二损失函数的值、第三损失函数的值、第四损失函数的值计算总损失函数的值。
其中，第三损失函数的值，表征不带脸部遮挡的样本图像经第一分类层的处理得到的输出结果与对应的训练标签之间的差异，第四损失函数的值，表征带脸部遮挡的样本图像经第二分类层的处理得到的输出结果与训练标签之间的差异。
本申请涉及的损失函数，可以为分类函数，如：softmax损失函数(归一化函数)、各种有margin(间隔)类型的softmax损失函数，也可采用其他类型的目标函数，如人脸识别算法ArcFace算法对应的ArcFace损失(Additive Angular Margin Loss，加性角度间隔损失函数)等。
以ArcFace损失为例，ArcFace损失是针对人脸识别的一种损失函数，是对传统softmax损失的改进，其改进了对特征向量归一化和加性角度间隔，在特征向量和模型的权重向量之间的夹角θ上加上了角度间隔m，以提高了类间可分性同时加强类内紧度和类间差异。基于ArcFace损失进行模型的训练，训练的复杂度较低，损失函数易于收敛，模型的训练效率较高。采用ArcFace损失时，对于一个样本图像(可以是第一样本图像，也可以是第二样本图像)而言，对应的损失函数L可表示为：
Figure BDA0002665189890000101
其中，i代表第i个样本图像，j代表第j个类别(一个类别对应一个用户)，n为总类别，m为角度参数，s为缩放系数，yi表示第i个样本图像的真实类别(即训练标签对应的类别)，
Figure BDA0002665189890000102
为yi这个类别对应的权重向量和第i个样本图像的特征向量之间的夹角，θj为表示第j个类别对应的权重向量和第i个样本图像的特征向量之间的夹角。
根据上述实施例提供的方案获得第一损失函数的值、第二损失函数的值、第三损失函数的值及第四损失函数的值，利用第一损失函数的值、第二损失函数的值、第三损失函数的值、第四损失函数的值进行总损失函数的计算。
基于四种损失函数的值进行总损失函数的计算，总损失函数包含了同一用户的第一样本图像与第二样本图像的类内距离，基于四种损失函数获得的总损失函数能够加快模型的收敛速度，提高模型的泛化性。
一种可选实施例，可以通过如下方式进行总损失函数的计算，包括如下步骤：
A1，获取第一损失函数的值、第二损失函数的值、第三损失函数的值、第四损失函数的值分别对应的第一权重、第二权重、第三权重、第四权重；
A2，将第一损失函数的值及对应的第一权重，第二损失函数的值及对应的第二权重、第三损失函数的值及对应的第三权重、第四损失函数的值及对应的第四权重进行加权计算，得到总损失函数的值。
具体地，根据第一损失函数的值L1及对应的第一权重α1，第二损失函数的值L2及对应的第二权重α2，第三损失函数的值L3及对应的第三权重α3，以及第四损失函数的值L4及对应的第四权重α4，总损失函数Ltotal的值的计算可以通过该公式表征：
Ltotal＝α1L1+α2L2+α3L3+α4L4
其中，每个损失函数的权重可以人为设定，也可以通过需求或大数据调整，通过调整各损失函数的权重能够实现对调整第一样本图像和第二样本图像的类内距离，通过调整后的权重获得的总损失函数有利于提高模型的收敛速度。
在实际应用中，由于不同的损失函数所表征的意义是不同的，对于不同的训练需求和不同的应用需求，各损失函数的重要程度也是不同的。因此，在模型训练过程中，可以通过设置不同损失函数的权重来控制各损失函数对于模型训练的重要程度，以得到更加符合应用需求的人脸识别模型。
一种可选实施例中，基于总损失函数的值对模型进行训练，可以通过如下方式进行：
B1，基于总损失函数的值判断模型对应的总损失函数是否收敛；
B2，基于总损失函数的值调整脸部识别模型的模型参数；
B3，基于第三损失函数的值和第四损失函数的值调整第一分类层和第二分类层对应的模型参数。
对输出的不带脸部遮挡的第一样本图像的特征和带脸部遮挡的第二样本图像的特征进行二次特征提取、分类等处理，二次特征处理可以通过第一分类层和第二分类层进行，基于二次特征处理的输出结果获得第一损失函数、第二损失函数、第三损失函数、第四损失函数，利用第一损失函数、第二损失函数、第三损失函数、第四损失函数的值计算总损失函数，以降低模型的收敛难度。利用第三损失函数、第四损失函数进行梯度回传，调整二次特征处理过程中的模型参数，也就是说，切断第一损失函数、第二损失函数对二次特征处理过程中的参数调整，以避免训练过程中模型通过四个损失函数对参数的调整拉近第一样本图像和第二样本图像之间的类内距离，甚至硬性将两种样本图像对应的数据压缩到一个类中心，导致模型的识别性能不佳。
可选地，基于总损失函数的值对神经网络模型进行训练，可以通过如下方式进行，包括：
基于总损失函数的值判断神经网络模型对应的总损失函数是否收敛；
若不收敛，则执行以下操作：
基于总损失函数的值调整脸部识别模型的模型参数，以在对模型进行训练时，提升脸部识别模型所输出的同一用户的第一样本图像的图像特征和第二样本图像的图像特征的相似度，间接影响第一分类层和第二分类层的输入；
基于第三损失函数的值和第四损失函数的值调整第一分类层和第二分类层对应的模型参数，以在对模型进行训练时，切断第一损失函数的值和第二损失函数的值对第一分类层和第二分类层的影响，使得第一分类层和第二分类层具有不同的分类中心。
根据总损失函数的值与预设的收敛条件进行对比，若总损失函数的值满足预设的收敛条件，则神经网络模型收敛，满足收敛条件的模型中的脸部识别模型为人脸识别模型。若损失函数的值不满足预设的收敛条件，即神经网络模型不收敛，则利用总损失函数调整脸部识别模型的模型参数，在神经网络模型训练过程中，影响脸部识别模型所输出的同一用户对应的第一样本图像的特征提取及第二样本图像的特征提取，提升脸部识别模型所输出的同一个用户所对应的第一样本图像的图像特征和第二样本图像的图像特征的相似度，进而影响第一分类层和第二分类层的输入特征。然后，基于第三损失函数的值和第四损失函数的值调整第一分类层和第二分类层对应的模型参数，也就是说，切断第一损失函数的值和第二损失函数的值对第一分类层和第二分类层的梯度回传，以使第一分类层和第二分类层具有不同的分类中心，避免将两种样本图像对应的数据压缩到一个类中心，导致模型收敛困难。
以下结合图3阐述上述实施例提供的方案，结合图3所示的获得损失函数的示意图，第一损失函数(对应于图3中的L2)、第二损失函数(对应于图3中的L4)、第三损失函数(对应于图3中的L1)，第四损失函数(对应于图3中的L3)，利用L1和L3进行所有模型参数的调整，切断L2和L4这两个交叉损失函数对第一分类层和第二分类层，如图3所示，图中的“X”表示切断了L2和L4对正常分类层，和遮挡分类层(对应于图3中的口罩全连接层)的梯度回传，这里的分类层可以FC层(Fully connectedlayer，全连接层)，上述第一分类层可以对应于图3中的正常全连接层，第二分类层可以对应于图3中的口罩全连接层，虽然切断L2和L4对正常全连接层和口罩全连接层的回传，但是用于判断神经网络模型是否收敛的总损失函数的值中包含了L2的值和L4的值及分别对应的权重，因此，L2和L4通过总损失函数的值影响特征提取，间接影响全连接层，以使第一分类层和第二分类层具有不同的分类中心，避免将两种样本图像对应的数据压缩到一个类中心，降低模型收敛难度，提高人脸识别模型的识别准确性。
可选地，第一分类层和第二分类层可以为神经网络中的全连接层，用于特征处理。
当第一分类层和第二分类层为全连接层时，初始神经网络模型的结构示意图如图4所示，包括：初始脸部识别模型、与初始脸部识别模型的输出连接的第一全连接层(对应于图4中的正常全连接层)和第二全连接层(对应于图4中的口罩全连接层)，其中，初始脸部识别模型包括依次级联的卷积网络(该网络可以包括但不限于卷积层等结构)、嵌入层等，经过脸部识别模型处理后的图像特征再通过第一全连接层与第二全连接层进行特征处理，输出神经网络模型的预测结果。可以理解的是，图4中示出的脸部识别模型的结构只是一种可选结构的示意图，也可以采用其他的脸部识别模型的结构。
可选地，本申请中待识别人脸图像为带脸部遮挡的人脸图像。
本申请实施例提供的待识别人脸图像可以为带脸部遮挡的图像，也可以为不带脸部遮挡的图像。带脸部遮挡的图像为人脸图像中面部区域存在遮挡，遮挡区域的范围不限，如：可以仅遮挡面部区域的部分器官，如用户的口鼻被遮挡等。
带脸部遮挡的人脸图像可以为戴口罩、帽子、围巾等通过非透明物体遮挡住人脸部分特征的图像。由于样本图像中包含带脸部遮挡的第二样本图像，因此，本实施例提供的方案可以利用训练完成的人脸识别模型对带脸部遮挡的人脸图像进行人脸识别，实现对带脸部遮挡的人脸图像的识别，由于训练过程中，结合了不带脸部遮挡的第一样本进行模型训练，与仅通过带脸部遮挡的样本图像进行模型训练的方式相比，本申请提供的方式提高了对带脸部遮挡的人脸图像的识别性能。
本申请一种可选实施例中，获取人脸图像的训练数据集的流程图如图5所示，通过如下方式获得：
S510，获取人脸图像的样本人脸图像集，其中，样本人脸图像集中包括各用户的第一样本图像；
S520，对各第一样本图像进行人脸对齐处理；
S530，将预配置的人脸遮挡模板叠加到人脸对齐处理后的各所述第一样本图像上，得到各第一样本图像对应的各第二样本图像。
预设的样本人脸图像集中包括大量用户对应的第一样本图像，一个用户至少对应一个第一样本图像。
基于第一样本图像获得对应的第二样本图像可以通过预设的遮挡模板，在第一样本图像上进行涂画等方式进行，为了提高获得第二样本图像的效率，本实施例选用人脸遮挡模板的方式，人脸遮挡模板可以有多个，为了提高第二样本图像的遮挡效果，本申请首先对各第一样本图像进行人脸检测、人脸对齐等预处理，将第一样本图像与人脸遮挡模板对齐，然后将预配置的人脸遮挡模板叠加到人脸对齐处理后的各第一样本图像上，获得第一样本图像对应的第二样本图像，与第一样本图像相比，第二样本图像中增加了遮挡物。
该实施例提供的方案实现基于用户的第一样本图像获得对应的第二样本图像，利用人脸遮挡模板获得各第一样本图像对应的第二样本图像，有利于提高获得第二样本图像的效率。
可选地，人脸遮挡模板为口罩模板。本实施例提供的方案，能够通过人脸识别模型对戴口罩的人脸图像进行识别，获得识别结果，该识别结果可以为用户的标识信息，如用户身份等，能够实现在戴口罩场景下，无需用户摘下口罩也能进行身份识别。
一种可选实施例中，当人脸遮挡模板为多个时，获取人脸图像的训练数据集，可以通过如下方式获得：
C1，从第一样本图像中随机抽取设定数量的第一样本图像；
C2，根据抽取出的每个第一样本图像的用户标识，从各所述第二样本图像中抽取同一用户的第二样本图像，抽取出的各用户的第一样本图像和第二样本图像作为所述训练数据集的一次训练的训练数据。
训练数据集中包含大量训练数据，针对这些训练数据进行分批训练，每次训练所使用的训练数据，可以通过如下方式分配：
训练数据集中包括同一用户对应的第一样本图像及对应的第二样本图像，从第一样本图像中随机抽取设定数量的第一样本图像，如随机从大量的第一样本图像中抽取出a个样本。
获得抽取出的每个第一样本图像的用户标识，根据用户标识，从第二样本图像中抽取出与该用户标识对应的第二样本图像，将抽取出的同一用户对应的第一样本图像和第二样本图像作为一次训练的训练数据。
由于一个第一样本图像可以对应多个第二样本图像，如可以根据多个人脸遮挡模板获得第一样本图像对应的同一用户的多个第二样本图像，因此，与用户标识关联的第二样本图像可以有多个，可以从第二样本图像中抽取出与用户标识关联的多个第二样本图像，一次训练的训练数据中，同一用户对应的第一样本图像与第二样本图像的比例可以为1:1，也可以为其他比例，如1:102、1:1.5、1:2等。
在上述实施例提供的方案的基础上，本申请一种可选实施例还提供了一种人脸识别方法，包括：
获取待识别人脸图像；
利用前述任一技术方案提供的方法得到的人脸识别模型识别待识别人脸图像，获得人脸识别结果。
本申请实施例中的待识别人脸图像可以为带脸部遮挡的图像，也可以为不带脸部遮挡的图像，根据上述实施例提供的方案得到的人脸识别模型可以识别带脸部遮挡的图像，也可以识别不带脸部遮挡的图像。而且，与仅采用不带脸部遮挡的样本图像进行训练得到的人脸识别模型相比，本申请在人脸识别模型在训练过程中，训练数据中包括带脸部遮挡的样本图像和不带脸部遮挡的样本图像，提升了提取的特征种类，使得人脸识别模型对不带脸部遮挡的人脸图像的识别准确率更高。
基于与本申请实施例所提供的方法相同的原理，本申请实施例还提供了一种人脸识别装置600，其结构示意图如图6所示，该装置可以包括：
获取训练数据集模块610，用于获取人脸图像的训练数据集以及初始神经网络模型；其中，训练数据集中包括各样本图像对，样本图像对包括同一个用户的不带脸部遮挡的第一样本图像和带脸部遮挡的第二样本图像，各样本图像对标注有训练标签；初始神经网络模型包括初始脸部识别模型、以及分别与初始脸部识别模型的输出连接的第一分类层和第二分类层；
获得输出结果模块620，用于将各样本图像对输入至初始神经网络模型，得到每个样本图像对应于第一分类层的第一输出结果和对应于第二分类层的第二输出结果；
计算损失函数模块630，用于对于每个用户的样本图像对，基于训练标签和第二样本图像对应的第一输出结果计算第一损失函数的值，基于训练标签和第一样本图像对应的第二输出结果计算第二损失函数的值；
训练模块640，用于基于第一损失函数的值和第二损失函数的值，计算模型的总损失函数的值，并基于总损失函数的值对模型进行训练，直至所述模型的总损失函数收敛，将总损失函数收敛时的脸部识别模型作为人脸识别模型，以基于所述人脸识别模型对人脸图像进行识别。
本申请提供的人脸识别装置，采用第一分类层、第二分类层处理同一用户对应的样本图像，有利于获得更加丰富的带脸部遮挡的样本图像及不带脸部遮挡的样本图像的特征，提升分类层处理后的特征的多样性，有利于提升训练完成的人脸识别模型对人脸图像的识别准确性。
可选地，人脸识别装置600还包括：
损失函数模块，用于对于每个用户的样本图像对，基于训练标签、第一样本图像对应的第一输出结果计算第三损失函数的值，基于训练标签、第二样本图像对应的第二输出结果计算第四损失函数的值；
计算损失函数模块，具体用于：
基于第一损失函数的值、第二损失函数的值、第三损失函数的值、第四损失函数的值，计算总损失函数的值。
可选地，训练模块，具体用于：
基于总损失函数的值判断模型对应的总损失函数是否收敛；
基于总损失函数的值调整脸部识别模型的模型参数；
基于第三损失函数的值和第四损失函数的值调整第一分类层和第二分类层对应的模型参数。
可选地，训练模块，还用于：
基于总损失函数的值判断神经网络模型对应的总损失函数是否收敛；
若不收敛，则执行以下操作：
基于总损失函数的值调整脸部识别模型的模型参数，以在对模型进行训练时，提升脸部识别模型所输出的同一用户的第一样本图像的图像特征和第二样本图像的图像特征的相似度，间接影响第一分类层和第二分类层的输入；
基于第三损失函数的值和第四损失函数的值调整第一分类层和第二分类层对应的模型参数，以在对模型进行训练时，切断第一损失函数的值和第二损失函数的值对第一分类层和第二分类层的影响，使得第一分类层和第二分类层具有不同的分类中心。
可选地，获取训练数据集模块，还用于：
获取人脸图像的样本人脸图像集，其中，样本人脸图像集中包括各用户的第一样本图像；
对各第一样本图像进行人脸对齐处理；
将预配置的人脸遮挡模板叠加到人脸对齐处理后的各第一样本图像上，得到各第一样本图像对应的各第二样本图像。
可选地，获取训练数据集模块中的人脸遮挡模板为口罩模板。
可选地，获取训练数据集模块，还用于：
从各第一样本图像中随机抽取设定数量的第一样本图像；
根据抽取出的每个第一样本图像的用户标识，从各第二样本图像中抽取同一用户的第二样本图像，抽取出的各用户的第一样本图像和第二样本图像作为训练数据集的一次训练的训练数据。
基于与本申请实施例所提供的方法相同的原理，本申请实施例还提供了一种人脸识别装置，该装置包括：
获取模块，用于获取待识别人脸图像；
识别模块，用于利用上述任一技术方案所提供的方法得到的人脸识别模型识别待识别人脸图像，获得人脸识别结果。
本申请实施例的人脸识别装置可执行本申请实施例所提供的人脸识别方法，其实现原理相类似，本申请各实施例中的人脸识别装置中的各模块、单元所执行的动作是与本申请各实施例中的人脸识别方法中的步骤相对应的，对于人脸识别装置的各模块的详细功能描述具体可以参见前文中所示的对应的人脸识别方法中的描述，此处不再赘述。
基于与本申请的实施例中所示的方法相同的原理，本申请的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本申请任一可选实施例所示的人脸识别方法。与现有技术相比，本申请采用第一分类层、第二分类层处理同一用户对应的样本图像，有利于获得更加丰富的带脸部遮挡的样本图像及不带脸部遮挡的样本图像的特征，提升分类层处理后的特征的多样性，有利于提升人脸识别模型对人脸图像的识别准确性。
在一个可选实施例中提供了一种电子设备，如图7所示，图7所示的电子设备4000可以为服务器，包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请提供的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
人工智能云服务，一般也被称作是AIaaS(AI as a Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。本申请中，可以利用平台提供的AI框架和AI基础设施来实现本申请提供的人脸识别方法。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的人脸识别方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，识别模块还可以被描述为“通过人脸识别模型识别待识别人脸图像，获得人脸识别结果模块”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种人脸识别方法，其特征在于，包括：
获取人脸图像的训练数据集以及初始神经网络模型；其中，所述训练数据集中包括各样本图像对，所述样本图像对包括同一个用户的不带脸部遮挡的第一样本图像和带脸部遮挡的第二样本图像，各所述样本图像对标注有训练标签；所述初始神经网络模型包括初始脸部识别模型、以及分别与所述初始脸部识别模型的输出连接的第一分类层和第二分类层；
将各所述样本图像对输入至所述初始神经网络模型，得到每个样本图像对应于第一分类层的第一输出结果和对应于第二分类层的第二输出结果；
对于每个用户的所述样本图像对，基于所述训练标签和第二样本图像对应的第一输出结果计算第一损失函数的值，基于所述训练标签和第一样本图像对应的第二输出结果计算第二损失函数的值；
基于所述第一损失函数的值和第二损失函数的值，计算模型的总损失函数的值，并基于所述总损失函数的值对模型进行训练，直至所述模型的总损失函数收敛，将总损失函数收敛时的脸部识别模型作为人脸识别模型，以基于所述人脸识别模型对人脸图像进行识别。
2.根据权利要求1所述的方法，其特征在于，还包括：
对于每个用户的样本图像对，基于所述训练标签、第一样本图像对应的第一输出结果计算第三损失函数的值，基于所述训练标签、第二样本图像对应的第二输出结果计算第四损失函数的值；
所述基于所述第一损失函数的值和第二损失函数的值，计算模型的总损失函数的值，包括：
基于第一损失函数的值、第二损失函数的值、第三损失函数的值、第四损失函数的值，计算总损失函数的值。
3.根据权利要求2所述的方法，其特征在于，所述基于所述总损失函数的值对模型进行训练，包括：
基于所述总损失函数的值判断所述模型对应的总损失函数是否收敛；
基于所述总损失函数的值调整脸部识别模型的模型参数；
基于所述第三损失函数的值和第四损失函数的值调整所述第一分类层和所述第二分类层对应的模型参数。
4.根据权利要求3所述的方法，其特征在于，所述基于所述总损失函数的值对模型进行训练，包括：
基于所述总损失函数的值判断所述神经网络模型对应的总损失函数是否收敛；
若不收敛，则执行以下操作：
基于总损失函数的值调整脸部识别模型的模型参数，以在对模型进行训练时，提升脸部识别模型所输出的同一用户的第一样本图像的图像特征和第二样本图像的图像特征的相似度，间接影响第一分类层和第二分类层的输入；
基于第三损失函数的值和第四损失函数的值调整第一分类层和第二分类层对应的模型参数，以在对模型进行训练时，切断第一损失函数的值和第二损失函数的值对第一分类层和第二分类层的影响，使得第一分类层和第二分类层具有不同的分类中心。
5.根据权利要求1所述的方法，其特征在于，所述获取人脸图像的训练数据集，包括：
获取人脸图像的样本人脸图像集，其中，所述样本人脸图像集中包括各用户的第一样本图像；
对各所述第一样本图像进行人脸对齐处理；
将预配置的人脸遮挡模板叠加到人脸对齐处理后的各所述第一样本图像上，得到各所述第一样本图像对应的各第二样本图像。
6.根据权利要求5所述的方法，其特征在于，所述人脸遮挡模板为口罩模板。
7.根据权利要求1所述的方法，其特征在于，所述获取人脸图像的训练数据集，包括：
从各所述第一样本图像中随机抽取设定数量的第一样本图像；
根据抽取出的每个第一样本图像的用户标识，从各所述第二样本图像中抽取同一用户的第二样本图像，抽取出的各用户的第一样本图像和第二样本图像作为所述训练数据集的一次训练的训练数据。
8.一种人脸识别方法，其特征在于，包括：
获取待识别人脸图像；
利用基于权利要求1至7中任一项所述的方法得到的人脸识别模型识别所述待识别人脸图像，获得人脸识别结果。
9.一种人脸识别装置，其特征在于，包括：
获取训练数据集模块，用于获取人脸图像的训练数据集以及初始神经网络模型；其中，所述训练数据集中包括各样本图像对，所述样本图像对包括同一个用户的不带脸部遮挡的第一样本图像和带脸部遮挡的第二样本图像，各所述样本图像对标注有训练标签；所述初始神经网络模型包括初始脸部识别模型、以及分别与所述初始脸部识别模型的输出连接的第一分类层和第二分类层；
获得输出结果模块，用于将各所述样本图像对输入至所述初始神经网络模型，得到每个样本图像对应于第一分类层的第一输出结果和对应于第二分类层的第二输出结果；
计算损失函数模块，用于对于每个用户的所述样本图像对，基于所述训练标签和第二样本图像对应的第一输出结果计算第一损失函数的值，基于所述训练标签和第一样本图像对应的第二输出结果计算第二损失函数的值；
训练模块，用于基于所述第一损失函数的值和第二损失函数的值，计算模型的总损失函数的值，并基于所述总损失函数的值对模型进行训练，直至所述模型的总损失函数收敛，将总损失函数收敛时的脸部识别模型作为人脸识别模型，以基于所述人脸识别模型对人脸图像进行识别。
10.根据权利要求9所述的装置，其特征在于，所述人脸识别装置还包括：
损失函数模块，用于对于每个用户的样本图像对，基于所述训练标签、第一样本图像对应的第一输出结果计算第三损失函数的值，基于所述训练标签、第二样本图像对应的第二输出结果计算第四损失函数的值；
计算损失函数模块，具体用于：
基于第一损失函数的值、第二损失函数的值、第三损失函数的值、第四损失函数的值，计算总损失函数的值。
11.根据权利要求10所述的装置，其特征在于，所述训练模块，具体用于：
基于所述总损失函数的值判断所述模型对应的总损失函数是否收敛；
基于所述总损失函数的值调整脸部识别模型的模型参数；
基于所述第三损失函数的值和第四损失函数的值调整所述第一分类层和所述第二分类层对应的模型参数。
12.一种人脸识别装置，其特征在于，包括：
获取模块，用于获取待识别人脸图像；
识别模块，用于利用权利要求1至7中任一项所述的方法得到的人脸识别模型识别所述待识别人脸图像，获得人脸识别结果。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任一项所述的人脸识别方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-8任一项所述的人脸识别方法。
CN202010916477.XA 2020-09-03 2020-09-03 人脸识别方法、装置、电子设备及存储介质 Active CN112052789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010916477.XA CN112052789B (zh) 2020-09-03 2020-09-03 人脸识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010916477.XA CN112052789B (zh) 2020-09-03 2020-09-03 人脸识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112052789A true CN112052789A (zh) 2020-12-08
CN112052789B CN112052789B (zh) 2024-05-14

Family

ID=73608393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010916477.XA Active CN112052789B (zh) 2020-09-03 2020-09-03 人脸识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112052789B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364819A (zh) * 2020-11-27 2021-02-12 支付宝(杭州)信息技术有限公司 一种联合训练识别模型的方法和装置
CN112560725A (zh) * 2020-12-22 2021-03-26 四川云从天府人工智能科技有限公司 关键点检测模型及其检测方法、装置及计算机存储介质
CN112634158A (zh) * 2020-12-22 2021-04-09 平安普惠企业管理有限公司 人脸图像恢复方法、装置、计算机设备及存储介质
CN112766164A (zh) * 2021-01-20 2021-05-07 深圳力维智联技术有限公司 人脸识别模型训练方法、装置、设备及可读存储介质
CN112801006A (zh) * 2021-02-05 2021-05-14 网易（杭州）网络有限公司 表情表征模型的训练方法、面部的表情表征方法及装置
CN113255617A (zh) * 2021-07-07 2021-08-13 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备和计算机可读存储介质
CN113449704A (zh) * 2021-08-31 2021-09-28 北京的卢深视科技有限公司 人脸识别模型训练方法、装置、电子设备及存储介质
CN113569991A (zh) * 2021-08-26 2021-10-29 深圳市捷顺科技实业股份有限公司 人证比对模型训练方法、计算机设备及计算机存储介质
CN113591675A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 图像识别模型的构建方法、装置、设备以及存储介质
CN113657269A (zh) * 2021-08-13 2021-11-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置及计算机程序产品
CN113688762A (zh) * 2021-08-31 2021-11-23 中国平安人寿保险股份有限公司 基于深度学习的人脸识别方法、装置、设备及介质
CN113688785A (zh) * 2021-09-10 2021-11-23 深圳市同为数码科技股份有限公司 基于多监督的人脸识别方法、装置、计算机设备及存储介质
CN113762118A (zh) * 2021-08-27 2021-12-07 北京的卢深视科技有限公司 人脸识别的方法、电子设备及存储介质
CN114118370A (zh) * 2021-11-19 2022-03-01 北京的卢深视科技有限公司 模型训练方法、电子设备和计算机可读存储介质
CN114241569A (zh) * 2021-12-21 2022-03-25 中国电信股份有限公司 人脸识别攻击样本的生成方法、模型训练方法及相关设备
US20220103839A1 (en) * 2020-09-25 2022-03-31 Qualcomm Incorporated Instance-adaptive image and video compression using machine learning systems
CN114359665A (zh) * 2021-12-27 2022-04-15 北京奕斯伟计算技术有限公司 全任务人脸识别模型的训练方法及装置、人脸识别方法
CN114359993A (zh) * 2021-09-29 2022-04-15 北京百度网讯科技有限公司 模型训练方法、人脸识别方法、装置、设备、介质及产品
CN114639001A (zh) * 2022-04-22 2022-06-17 武汉中科通达高新技术股份有限公司 人脸属性识别网络的训练方法、识别方法及相关设备
CN116416656A (zh) * 2021-12-29 2023-07-11 荣耀终端有限公司 基于屏下图像的图像处理方法、装置及存储介质
CN116453201A (zh) * 2023-06-19 2023-07-18 南昌大学 基于相邻边缘损失的人脸识别方法及系统
CN116503923A (zh) * 2023-02-16 2023-07-28 深圳市博安智控科技有限公司 训练人脸识别模型的方法及装置
CN117079083A (zh) * 2023-10-16 2023-11-17 苏州元脑智能科技有限公司 图像修复模型训练方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875934A (zh) * 2018-05-28 2018-11-23 北京旷视科技有限公司 一种神经网络的训练方法、装置、系统及存储介质
CN109886167A (zh) * 2019-02-01 2019-06-14 中国科学院信息工程研究所 一种遮挡人脸识别方法及装置
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质
CN110084216A (zh) * 2019-05-06 2019-08-02 苏州科达科技股份有限公司 人脸识别模型训练和人脸识别方法、系统、设备及介质
CN110197099A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 跨年龄人脸识别及其模型训练的方法和装置
CN110399764A (zh) * 2018-04-24 2019-11-01 华为技术有限公司 人脸识别方法、装置及计算机可读介质
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN111104874A (zh) * 2019-12-03 2020-05-05 北京金山云网络技术有限公司 人脸年龄预测方法及模型的训练方法、装置及电子设备
CN111414879A (zh) * 2020-03-26 2020-07-14 北京字节跳动网络技术有限公司 人脸遮挡程度识别方法、装置、电子设备及可读存储介质
CN111428604A (zh) * 2020-03-19 2020-07-17 上海东普信息科技有限公司 面部佩戴口罩识别方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197099A (zh) * 2018-02-26 2019-09-03 腾讯科技（深圳）有限公司 跨年龄人脸识别及其模型训练的方法和装置
CN110399764A (zh) * 2018-04-24 2019-11-01 华为技术有限公司 人脸识别方法、装置及计算机可读介质
CN108875934A (zh) * 2018-05-28 2018-11-23 北京旷视科技有限公司 一种神经网络的训练方法、装置、系统及存储介质
CN109886167A (zh) * 2019-02-01 2019-06-14 中国科学院信息工程研究所 一种遮挡人脸识别方法及装置
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质
CN110084216A (zh) * 2019-05-06 2019-08-02 苏州科达科技股份有限公司 人脸识别模型训练和人脸识别方法、系统、设备及介质
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN111104874A (zh) * 2019-12-03 2020-05-05 北京金山云网络技术有限公司 人脸年龄预测方法及模型的训练方法、装置及电子设备
CN111428604A (zh) * 2020-03-19 2020-07-17 上海东普信息科技有限公司 面部佩戴口罩识别方法、装置、设备及存储介质
CN111414879A (zh) * 2020-03-26 2020-07-14 北京字节跳动网络技术有限公司 人脸遮挡程度识别方法、装置、电子设备及可读存储介质

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11924445B2 (en) * 2020-09-25 2024-03-05 Qualcomm Incorporated Instance-adaptive image and video compression using machine learning systems
US20220103839A1 (en) * 2020-09-25 2022-03-31 Qualcomm Incorporated Instance-adaptive image and video compression using machine learning systems
CN112364819A (zh) * 2020-11-27 2021-02-12 支付宝(杭州)信息技术有限公司 一种联合训练识别模型的方法和装置
CN112560725A (zh) * 2020-12-22 2021-03-26 四川云从天府人工智能科技有限公司 关键点检测模型及其检测方法、装置及计算机存储介质
CN112634158A (zh) * 2020-12-22 2021-04-09 平安普惠企业管理有限公司 人脸图像恢复方法、装置、计算机设备及存储介质
CN112766164A (zh) * 2021-01-20 2021-05-07 深圳力维智联技术有限公司 人脸识别模型训练方法、装置、设备及可读存储介质
CN112801006A (zh) * 2021-02-05 2021-05-14 网易（杭州）网络有限公司 表情表征模型的训练方法、面部的表情表征方法及装置
CN112801006B (zh) * 2021-02-05 2023-09-05 网易（杭州）网络有限公司 表情表征模型的训练方法、面部的表情表征方法及装置
CN113255617A (zh) * 2021-07-07 2021-08-13 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备和计算机可读存储介质
CN113591675A (zh) * 2021-07-28 2021-11-02 北京百度网讯科技有限公司 图像识别模型的构建方法、装置、设备以及存储介质
CN113657269A (zh) * 2021-08-13 2021-11-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置及计算机程序产品
WO2023016007A1 (zh) * 2021-08-13 2023-02-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置及计算机程序产品
CN113569991A (zh) * 2021-08-26 2021-10-29 深圳市捷顺科技实业股份有限公司 人证比对模型训练方法、计算机设备及计算机存储介质
CN113569991B (zh) * 2021-08-26 2024-05-28 深圳市捷顺科技实业股份有限公司 人证比对模型训练方法、计算机设备及计算机存储介质
CN113762118B (zh) * 2021-08-27 2022-08-26 合肥的卢深视科技有限公司 人脸识别的方法、电子设备及存储介质
CN113762118A (zh) * 2021-08-27 2021-12-07 北京的卢深视科技有限公司 人脸识别的方法、电子设备及存储介质
CN113688762B (zh) * 2021-08-31 2023-08-08 中国平安人寿保险股份有限公司 基于深度学习的人脸识别方法、装置、设备及介质
CN113449704A (zh) * 2021-08-31 2021-09-28 北京的卢深视科技有限公司 人脸识别模型训练方法、装置、电子设备及存储介质
CN113688762A (zh) * 2021-08-31 2021-11-23 中国平安人寿保险股份有限公司 基于深度学习的人脸识别方法、装置、设备及介质
CN113688785A (zh) * 2021-09-10 2021-11-23 深圳市同为数码科技股份有限公司 基于多监督的人脸识别方法、装置、计算机设备及存储介质
CN114359993A (zh) * 2021-09-29 2022-04-15 北京百度网讯科技有限公司 模型训练方法、人脸识别方法、装置、设备、介质及产品
CN114118370A (zh) * 2021-11-19 2022-03-01 北京的卢深视科技有限公司 模型训练方法、电子设备和计算机可读存储介质
CN114241569A (zh) * 2021-12-21 2022-03-25 中国电信股份有限公司 人脸识别攻击样本的生成方法、模型训练方法及相关设备
CN114241569B (zh) * 2021-12-21 2024-01-02 中国电信股份有限公司 人脸识别攻击样本的生成方法、模型训练方法及相关设备
CN114359665A (zh) * 2021-12-27 2022-04-15 北京奕斯伟计算技术有限公司 全任务人脸识别模型的训练方法及装置、人脸识别方法
CN114359665B (zh) * 2021-12-27 2024-03-26 北京奕斯伟计算技术股份有限公司 全任务人脸识别模型的训练方法及装置、人脸识别方法
CN116416656A (zh) * 2021-12-29 2023-07-11 荣耀终端有限公司 基于屏下图像的图像处理方法、装置及存储介质
CN114639001A (zh) * 2022-04-22 2022-06-17 武汉中科通达高新技术股份有限公司 人脸属性识别网络的训练方法、识别方法及相关设备
CN116503923B (zh) * 2023-02-16 2023-12-08 深圳市博安智控科技有限公司 训练人脸识别模型的方法及装置
CN116503923A (zh) * 2023-02-16 2023-07-28 深圳市博安智控科技有限公司 训练人脸识别模型的方法及装置
CN116453201B (zh) * 2023-06-19 2023-09-01 南昌大学 基于相邻边缘损失的人脸识别方法及系统
CN116453201A (zh) * 2023-06-19 2023-07-18 南昌大学 基于相邻边缘损失的人脸识别方法及系统
CN117079083A (zh) * 2023-10-16 2023-11-17 苏州元脑智能科技有限公司 图像修复模型训练方法、装置、电子设备及存储介质
CN117079083B (zh) * 2023-10-16 2024-02-09 苏州元脑智能科技有限公司 图像修复模型训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112052789B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN112052789B (zh) 人脸识别方法、装置、电子设备及存储介质
CN108509915B (zh) 人脸识别模型的生成方法和装置
US20220172518A1 (en) Image recognition method and apparatus, computer-readable storage medium, and electronic device
CN111368685B (zh) 关键点的识别方法、装置、可读介质和电子设备
US11436863B2 (en) Method and apparatus for outputting data
TW202026984A (zh) 伺服器、客戶端、用戶核身方法及系統
CN111401558A (zh) 数据处理模型训练方法、数据处理方法、装置、电子设备
US20230017112A1 (en) Image generation method and apparatus
CN111160202B (zh) 基于ar设备的身份核验方法、装置、设备及存储介质
CN113343826A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN110516734B (zh) 一种图像匹配方法、装置、设备及存储介质
WO2022007559A1 (zh) 掌纹识别方法、特征提取模型训练方法、设备及介质
CN111414879A (zh) 人脸遮挡程度识别方法、装置、电子设备及可读存储介质
WO2023184817A1 (zh) 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN111539903A (zh) 训练人脸图像合成模型的方法和装置
CN114708644B (zh) 一种基于家庭基因模板的人脸识别方法和系统
TW202115604A (zh) 圖像處理方法和系統
CN110309774A (zh) 虹膜图像分割方法、装置、存储介质及电子设备
CN116152938A (zh) 身份识别模型训练和电子资源转移方法、装置及设备
CN111914769B (zh) 用户合法性判定方法、装置、计算机可读存储介质及设备
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN116994319A (zh) 训练模型的方法和人脸识别方法、设备、介质
WO2022142032A1 (zh) 手写签名校验方法、装置、计算机设备及存储介质
CN117830790A (zh) 多任务模型的训练方法、多任务处理方法及装置
CN112329890B (zh) 图像处理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035263

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant