CN111680544B - 人脸识别方法、装置、系统、设备及介质 - Google Patents

人脸识别方法、装置、系统、设备及介质 Download PDF

Info

Publication number
CN111680544B
CN111680544B CN202010334793.6A CN202010334793A CN111680544B CN 111680544 B CN111680544 B CN 111680544B CN 202010334793 A CN202010334793 A CN 202010334793A CN 111680544 B CN111680544 B CN 111680544B
Authority
CN
China
Prior art keywords
feature map
color
model
feature
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010334793.6A
Other languages
English (en)
Other versions
CN111680544A (zh
Inventor
周舒畅
孙培钦
赵文亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010334793.6A priority Critical patent/CN111680544B/zh
Publication of CN111680544A publication Critical patent/CN111680544A/zh
Application granted granted Critical
Publication of CN111680544B publication Critical patent/CN111680544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种人脸识别方法、装置、系统、设备及介质，所示方法包括：获取待识别的人脸图像；根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图；其中，所述颜色特征图中的像素点的像素值表征该像素点在所述人脸图像中的颜色，所述位置特征图中的像素点的像素值表征该像素点在所述人脸图像中的位置；根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别。采用本发明的技术方案，可以提高人脸识别的准确度。

Description

人脸识别方法、装置、系统、设备及介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种人脸识别方法、装置、系统、设备及介质。
背景技术
随着数据处理技术领域中的身份识别技术广泛应用于安防、金融等领域，例如基于人脸识别、掌纹识别或指纹识别的门禁解锁、手机解锁、远程支付、远程开户等，身份识别技术的安全性和准确性越来越受到人们的关注。
以人脸识别为例，一般是对采集的人脸图像进行人脸识别，此种识别方式是直接对2D的人脸图像进行人脸识别，没有很好地利用人脸的三维结构，因此造成人脸识别的准确度不高。
相关技术中，利用2D人脸图像拟合3DMM模型，利用3D模型进行人脸识别，但是，这种方式需要较大的计算量，人脸识别的效率并不高，且人脸识别的准确度也没有得到有效提高。
发明内容
鉴于上述问题，提出了本发明实施例的一种人脸识别方法、装置、系统、设备及介质，以便克服上述问题或者至少部分地解决上述问题。
为了解决上述问题，本发明的第一方面公开了一种人脸识别方法，所述方法包括：
获取待识别的人脸图像；
根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图；其中，所述颜色特征图中的像素点的像素值表征该像素点在所述人脸图像中的颜色，所述位置特征图中的像素点的像素值表征该像素点在所述人脸图像中的位置；
根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别。
可选地，所述方法还包括：
获得多个人脸图像样本；
以所述多个人脸图像样本为训练样本，对第一预设模型进行训练，得到特征图生成模型；其中，所述第一预设模型用于根据输入的人脸图像样本生成与所述输入的人脸图像样本对应的颜色预测特征图和位置预测特征图；
根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图，包括：
将所述人脸图像输入到所述特征图生成模型，得到由所述特征图生成模型输出的颜色特征图和位置特征图。
可选地，所述方法还包括：
获得多个携带身份标签的人脸特征图样本对，每个人脸特征图样本对包括该人脸图像样本对应的颜色特征图样本和位置特征图样本；每个人脸特征图样本对携带的身份标签表征该人脸特征图样本对对应的人脸的身份；
以所述多个人脸特征图样本对为训练样本，对第二预设模型进行训练，得到人脸识别模型；
根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别，包括：
将所述颜色特征图和所述位置特征图输入到所述人脸识别模型，得到由所述人脸识别模型输出的识别结果。
可选地，所述第一预设模型包括颜色预测子模型和位置预测子模型，以所述多个人脸图像样本为训练样本，对所述第一预设模型进行训练，包括：
对所述多个人脸图像样本分别进行特征编码，得到所述多个人脸图像样本各自对应的特征图；
将所述多个人脸图像样本各自对应的特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的颜色预测特征图，以及，将所述多个人脸图像样本各自对应的特征图输入到所述位置预测子模型，得到由所述位置预测子模型输出的位置预测特征图；
根据所述多个人脸图像样本各自对应的特征图和颜色预测特征图，确定与所述第一预设模型对应的颜色损失值，以及，根据所述多个人脸图像样本各自对应的特征图和位置预测特征图，确定与所述第一预设模型对应的位置损失值；
根据所述第一预设模型对应的位置损失值和颜色损失值，对所述颜色预测子模型的参数和所述位置预测子模型的参数进行更新；其中，多次更新后的第一预设模型为所述特征图生成模型。
可选地，将所述多个人脸图像样本各自对应的特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的颜色预测特征图，包括：
将人脸图像样本对应的特征图与预设特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的与该人脸图像样本对应的颜色预测特征图；
其中，所述第一预设模型对应的颜色损失值，是根据所述预设特征图、该人脸图像样本对应的特征图的掩码图、以及该人脸图像样本对应的颜色预测特征图确定的。
可选地，所述颜色预测子模型为对抗网络模型；所述第一预设模型对应的颜色损失值，是通过以下步骤确定的：
根据该人脸图像样本对应的特征图和输入所述对抗网络模型的噪声图，确定所述第一预设模型对应的第一损失值；
根据输入所述对抗网络模型的噪声图、该人脸图像样本对应的特征图的掩码图、以及该人脸图像样本对应的颜色预测特征图，确定所述第一预设模型对应的第二损失值；
根据所述第一损失值和所述第二损失值，确定所述第一预设模型对应的颜色损失值。
可选地，以所述多个人脸特征图样本对为训练样本，对第二预设模型进行训练，包括：
对所述多个人脸特征图样本对中的颜色特征图样本进行特征提取，得到与所述多个人脸特征图样本对各自对应的人脸特征与所述多个人脸特征图样本对各自对应的人脸颜色特征，以及，对所述多个人脸特征图样本对中的位置特征图样本进行特征提取，得到与所述多个人脸特征图样本对各自对应的位置特征；
对所述多个人脸特征图样本对各自对应的人脸颜色特征和位置特征进行特征融合，得到与所述多个人脸特征图样本对各自对应的融合特征图；
根据与所述多个人脸特征图样本对各自对应的融合特征图和各自携带的标签，确定与所述第二预设模型对应的损失值；
根据与所述第二预设模型对应的损失值，对所述第二预设模型进行更新，其中，多次更新后的第二预设模型为人脸识别模型。
可选地，在根据所述人脸图像，生成与所述人脸图像对应的位置特征图之后，所述方法还包括：
对所述位置特征图进行归一化处理，得到归一化位置特征图；
根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别，包括：
根据所述归一化位置特征图和所述颜色特征图，对所述人脸图像进行识别。
可选地，对所述位置特征图进行归一化处理，得到归一化位置特征图，包括：
根据所述位置特征图中各像素点之间的相对位置和/或所述位置特征图的尺寸，对所述位置特征图中各像素点的像素值进行调整，得到所述归一化位置特征图；
其中，所述归一化位置特征图中各像素点之间的相对位置为预设相对位置，所述归一化位置特征图的尺寸为预设尺寸。
本发明实施例的第二方面，还公开了一种人脸识别装置，所述装置包括：
图像获取模块，用于获取待识别的人脸图像；
特征图生成模块，用于根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图；其中，所述颜色特征图中的像素点的像素值表征该像素点在所述人脸图像中的颜色，所述位置特征图中的像素点的像素值表征该像素点在所述人脸图像中的位置；
人脸识别模块，用于根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别。
本发明实施例的第三方面，还公开了一种人脸识别系统，所述系统包括：图像获得装置以及人脸识别装置，所述人脸识别装置中配置有网络模型，所述网络模型包括特征图生成模型、以及与所述特征图生成模型的输出端连接的人脸识别模型；
所述图像获得装置，用于获取待识别的人脸图像；
所述人脸识别装置，用于按照所述的人脸识别方法对所述人脸图像进行识别；
其中，所述特征图生成模型是按照上述的人脸识别方法训练得到的，所述人脸识别模型是按照上述的人脸识别方法训练得到的。
可选地，所述特征图生成模型包括：
编码器，用于对所述人脸图像进行特征编码，并输出编码后得到的特征图；
位置预测子模型，与所述编码器的输出端连接，用于基于所述编码器输出的特征图，生成与所述人脸图像对应的位置特征图；
颜色预测子模型，与所述编码器的输出端连接，用于基于预设特征图和所述编码器输出的特征图，或，基于噪声图和所述编码器输出的特征图，生成与所述人脸图像对应的颜色特征图。
可选地，所述颜色预测子模型为对抗网络模型。
可选地，所述人脸识别模型包括：
颜色特征提取分支，用于对所述颜色特征图进行特征提取，得到颜色特征；
位置特征提取分支，用于对所述位置特征图进行特征提取，得到位置特征；
特征融合模块，用于对所述颜色特征和所述位置特征进行特征融合，得到融合后特征图；
识别模块，用于根据所述融合后特征图，对所述人脸图像进行识别，并输出识别结果。
可选地，所述人脸识别装置还包括：
归一化模块，连接在所述特征图生成模型和人脸识别模型之间，用于对所述特征图生成模型输出的所述位置特征图进行归一化处理，并将归一化后的位置特征图输入到所述人脸识别模型。
本发明实施例的第四方面，还公开了一种电子设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如本发明第一方面实施例所述的人脸识别方法。
本发明实施例的第五方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明第一方面实施例所述的人脸识别方法。
本发明实施例包括以下优点：
在本发明实施例中，可以获取待识别的人脸图像，并可以生成与人脸图像对应的颜色特征图和位置特征图，进而根据颜色特征图和位置特征图对人脸图像进行识别。由于颜色特征图中的像素点的像素值表征该像素点在所述人脸图像中的颜色，位置特征图中的像素点的像素值表征该像素点在所述人脸图像中的位置，一方面，在对人脸图像进行识别时，可以同时结合人脸图像的颜色信息和人脸的姿态信息进行识别，提高了人脸识别的精度；另一方面，由于位置特征图可以反映人脸的姿态信息，则在实际应用中，使得人脸识别还可以适应人脸的姿态信息的变化，从而提高在人脸姿态信息变化的情况下，对人脸识别的准确率。最后，相比于利用2D人脸图像进行3DMM建模的方式，由于本申请是根据人脸图像生成了颜色特征图和位置特征图，使得在利用人脸三维信息的同时可以保持很小的计算量，从而提高了人脸识别的速度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例的一种人脸识别方法的步骤流程图；
图2是本发明一实施例的利用人脸图像生成颜色特征图和位置特征图的示例图；
图3是本发明一实施例的第一预设模型的结构示意图；
图4是本发明一实施例的一种对第一预设模型进行训练得到特征图生成模型的步骤流程图；
图5是本发明一实施例的第二预设模型的结构示意图；
图6是本发明一实施例的一种人脸识别装置的结构框图；
图7是本发明一实施例的一种人脸识别系统的框架示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，在对人脸图像识别时，为了提高人脸识别的准确度，在一种方式中，是利用2D人脸图片拟合3DMM(人脸3D形变统计模型)模型，利用3DMM模型进行人脸识别，这种方式计算量大，且没有利用人脸的颜色信息，因此准确度不高。
在另一种方式中，是利用2D人脸图片拟合3DMM模型，再生成人脸颜色的UV Map，利用GAN来补全UV Map来完成人脸识别。但是，采用此种方式，计算3DMM模型的过程计算量很大，而且仅仅使用颜色信息忽略了人脸形状的差异，准确度仍然未得到提高。
鉴于此，本申请人提出了如下技术构思，以提高人脸识别的准确度：结合人脸结构的先验条件，利用人脸的姿态和颜色信息进行人脸识别。具体地，是利用人脸图像对应生成人脸颜色UV Map和人脸位置UV Map，继而结合人脸颜色UV Map和人脸位置UV Map实现对人脸的识别。
下面，对本发明的上述技术构思下设计的一种人脸识别方法进行详细阐述。需要说明的是：本发明提供的人脸识别方法可以应用于服务器或终端设备上，例如，可以应用于安防领域的服务器中，或用于门禁系统的终端设备中。
参照图1所示，示出了本实施例的一种人脸识别方法的步骤流图，如图1所示，所述方法具体可以包括以下步骤：
步骤S101：获取待识别的人脸图像。
实际中，待识别的人脸图像可以是从拍摄的视频中截取的一帧人脸图像，或者，是针对人脸拍摄的人脸图片，或者可以是预先存储的人脸图像。
其中，待识别的人脸图像可以是用户在做微表情时所拍摄的图像，例如、微笑、露齿等微表情。
步骤S102：根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图。
其中，所述颜色特征图中的像素点的像素值表征该像素点在所述人脸图像中的颜色，所述位置特征图中的像素点的像素值表征该像素点在所述人脸图像中的位置。
本实施例中，颜色特征图和位置特征图均可以是与人脸图像像素对齐的特征图。通过生成颜色特征图和位置特征图，将人脸图像的信息提分离出了颜色信息维度的信息和位置信息维度的信息。其中，颜色特征图即表征了人脸图像中的颜色信息，该位置特征图即表征了人脸图像中的位置信息。
实际中，在生成颜色特征图和位置特征图时，可以是根据人脸图像中的人脸部分图像生成的。这样，颜色特征图中像素点的像素值表征其在人脸部分图像中的颜色，即在人脸面部的颜色。位置特征图中像素点的像素值表征其在人脸部分图像中的位置，即在人脸面部的位置。
具体而言，颜色特征图中的各个像素点组合起来便是人脸的颜色信息，可以反映人脸面部的颜色，即颜色特征图实际可以表征人脸的肤色。位置特征图中的各像素点组合起来便反映了人脸面部的整体五官的分布，即位置特征图实际可以表征人脸面部的姿态，例如，做一个微表情时的姿态，其中，不同的微表情具有不同的姿态。
其中，在颜色特征图中的各个像素点的像素值可以是该像素点的RGB颜色值，在位置特征图中的各个像素点的像素值可以是该像素点在人脸图像中的像素坐标值，例如(2，3)。
参照图2所示，示出了利用人脸图像生成颜色特征图和位置特征图的示例图，从直观上看，颜色特征图是将人脸的像素点进行平铺，位置特征图中各像素点的位置与其在人脸中的位置对应。
示例地，如图2所示，人脸图像中有像素点A，该像素点A在人脸图像囊括了颜色信息和位置信息。则生成颜色特征图和位置特征图后，颜色特征图中与像素点A同位置的像素点A1的像素值为215，表征了像素点A在人脸图像上的颜色是215对应的颜色，位置特征图中与像素点A同位置的像素点A2的像素值为一个坐标值，其为(2，3)，表征了像素点A在人脸图像上的位置是(2，3)。
步骤S103：根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别。
本实施例中，将人脸图像的信息提炼成了两个维度的信息(颜色信息和位置信息)，则在对人脸图像进行识别时，可以结合颜色特征图和位置特征图进行识别，使得在识别时，不仅考虑了人脸的颜色信息，也考虑了人脸的形状差异，从而提高了人脸识别的精度。且由于是基于人脸图像生成的颜色特征图和位置特征图，而相比于利用2D人脸图片拟合3DMM模型，再生成人脸颜色的UV Map的方式，减小了3D模型的计算量，从而提高了人脸识别的速度，即能很快识别出人脸的身份。
现通过一个示例对本发明的有益效果进行解释说明，对于相貌较为相似的双胞胎而言，一般双胞胎在容貌的轮廓上非常相似，采用本发明实施例的方法，在对双胞胎中一人的人脸图像进行识别时，可以生成对应的颜色特征图和位置特征图，颜色特征图可以认为是表征了该人的肤色、位置特征图可以认为是表征了该人的人脸姿态(例如，微表情时的人脸姿态)，进而可以根据颜色特征图和位置特征图，识别出双胞胎在肤色和人脸姿态上的细微差异，从而准确识别出该人是双胞胎中的姐姐还是妹妹。
同样地，仍以示例1说明，由于充分考虑了人脸的姿态信息和肤色，假设在对妹妹的人脸识别上，妹妹的人脸姿态不断发生变化，但是其肤色总体并未发生改变，此种情况下，由于结合了颜色特征图进行识别，因此可以减小姿态发生变化时的出错率，从而能适应不同的人脸姿态。
在一种可能的实现方式中，还可以对位置特征图进行处理，以降低人脸图像识别的难度，则还可以执行以下步骤：
步骤S104：对所述位置特征图进行归一化处理，得到归一化位置特征图。
本实施例中，对位置特征图进行归一化处理可以是指：将位置特征图中的各个像素点的位置进行调整以满足一定的预设条件。其中，预设条件可以是指：调整后的位置特征图中的各个像素点的位置是人脸图像中人脸是正脸时该像素点所在的位置。这样，当人脸是正脸时，可以降低人脸识别的难度，从而提高人脸识别的效率和准确度。
在一种具体实现中，对位置特征图进行归一化处理的过程可以如下步骤所述：
步骤S104'：根据所述位置特征图中各像素点之间的相对位置和/或所述位置特征图的尺寸，对所述位置特征图中各像素点的像素值进行调整，得到所述归一化位置特征图。
其中，所述归一化位置特征图中各像素点之间的相对位置为预设相对位置，所述归一化位置特征图的尺寸为预设尺寸。
本实施方式中，各像素点之间的相对位置可以理解为是：一个像素点与另一像素点之间的直线连线在位置特征图上的位置。例如，如图2所示，像素点A在像素点B的左下方，像素点B在像素点A的右上方，像素点A与像素点B之间的相对位置则可以像素点A与B之间直线连线的位置。
在一种具体实现中，可以通过以下过程对所述位置特征图中各像素点的像素值进行调整，以使归一化位置特征图各像素点之间的相对位置为预设相对位置，所述归一化位置特征图的尺寸为预设尺寸：
第一步，根据位置特征图中一个预设目标像素点的位置，对该位置特征图进行平移，以使预设目标像素点位于该位置特征图的预设位置上。例如，预设目标像素点可以是人脸鼻尖部位的像素点，对位置特征图进行平移后，可以使得该人脸鼻尖部位的像素点位于位置特征图的中心位置。
第二步，在对位置特征图进行平移后，可以根据目标像素点的像素值，对各个像素点的像素值进行调整，以使目标像素点相对处于原点。例如，将各个像素点的像素值与目标像素点的像素值之差作为各像素点调整后的像素值，这样，便可以使得目标像素点相对处于原点。
第三步，将第二步得到的位置特征图整体绕原点(即目标像素点)旋转，直至位置特征图上两个预设第一像素点之间的连线位于水平方向上，两个预设第二像素点的连线垂直于水平方向，即，使得两个预设第一像素点之间的相对位置和两个预设第二像素点之间的相对位置均是预设相对位置。
其中，两个预设第一像素点可以分别是人脸的左、右耳朵的像素点，两个预设第二像素点可以分别是人脸中轴线上的两个像素点。这样，通过绕原点(即目标像素点)旋转，使得位置特征图中的各个像素点的相对位置被设置到人脸是正脸时的各像素点之间的相对位置。
其中，上述所指的水平方向可以理解为是二维位置坐标系中的X坐标，连线垂直于水平方向可以理解为连线平行于Y坐标。
示例地，如图2所示，假设像素点A是目标像素点，即人脸鼻尖位置的像素点，像素点B是人脸中轴线上的像素点，在人脸是正脸时，像素点A和像素点B之间的连线应该平行于Y轴，但是由于拍摄人脸图像时，并不是人的正脸，则可以对特征图以像素点A为原点进行旋转，直至像素点A和像素点B的连线应该平行于Y轴。如此，像素点A和像素B之间的相对位置并没有变化，仅相当于调整了人脸的朝向为正脸，从而减小识别难度。
第四步，对第三步得到的位置特征图进行尺度变换，以使得该位置特征图的尺寸是预设尺寸，该预设尺度可以设置为与人脸图像的尺寸、或与颜色特征图的尺寸一样的尺寸，也可以根据需求进行设置。
通过上述步骤，则实现了对位置特征图的归一化处理，当然，实际中，可以通过其他的实现方式，对位置特征图进行归一化处理，用户可以参照本实施例提出的方案或者根据实际需求进行相应处理。
在本实施例的一种实施方式中，为了提高获得颜色特征图和位置特征图的效率，可以将人脸图像输入到特征图生成模型，从而获得颜色特征图和位置特征图。以及，为了提高根据颜色特征图和位置特征图，对人脸图像进行识别的效率，也可以将颜色特征图和位置特征图输入到人脸识别模型，从而获得人脸识别模型输出的识别结果。
下面，分别对如何训练得到特征图生成模型和人脸识别模型进行阐述。
首先，对如何训练得到特征图生成模型的过程进行阐述。其中，训练得到特征图生成模型可以包括以下步骤：
步骤S201：获得多个人脸图像样本。
本实施例中，人脸图像样本可以是针对真人所拍摄的人脸图像，具体可以是针对真人所拍摄的视频中的人脸图像，例如，拍摄一段真人做各种微表情的视频，从而可以从该段视频中提取多帧视频图像，将每一帧视频图像作为一个人脸图像样本。或者，可以是针对真人所拍摄的人脸图片，例如，针对真人拍摄多张人脸图片，每张人脸图片是一个人脸图像样本。
其中，每个人脸图像样本可以作为一个用于训练模型的训练样本。
步骤S202：以所述多个人脸图像样本为训练样本，对第一预设模型进行训练，得到特征图生成模型。
其中，所述第一预设模型用于根据输入的人脸图像样本生成与所述输入的人脸图像样本对应的颜色预测特征图和位置预测特征图。
应当理解的，在以多个人脸图像样本为训练样本，对第一预设模型进行训练时，可以一次为第一预设模型输入多个人脸图像样本，以进行批量训练。
其中，第一预设模型可以主要用于生成颜色预测特征图和位置预测特征图。应当说明的是，本申请人为了便于区分人脸图像样本和待识别的人脸图像各自对应的颜色特征图和位置特征图，将人脸图像样本对应的颜色特征图命名为颜色预测特征图，相应地，将人脸图像样本对应的位置特征图命名为位置预测特征图。
经过训练得到特征图生成模型后，在生成与所述人脸图像对应的颜色特征图和位置特征图时，便可以将所述人脸图像输入到特征图生成模型，进而得到由所述特征图生成模型输出的颜色特征图和位置特征图。
如图3所示，示出了第一预设模型的结构示意图，其中，第一预设模型包括颜色预测子模型和位置预测子模型，颜色预测子模型用于输出颜色预测特征图，位置预测子模型用于输出位置预测特征图。
结合图3所示的第一预设模型的结构，对本发明的对第一预设模型进行训练的过程进行阐述。参照图4所示，示出了以所述多个人脸图像样本为训练样本，对第一预设模型进行训练的步骤流图。则对第一预设模型进行训练，具体可以包括以下步骤：
步骤S301：对所述多个人脸图像样本分别进行特征编码，得到所述多个人脸图像样本各自对应的特征图。
其中，特征编码可以是理解为是对人脸图像样本中的特征进行数学量化以得到人脸图像样本中每个像素点的颜色值和坐标位置值的过程。经过特征编码后，便可以得到与每个人脸图像样本对应的特征图。其中，特征图中的每个像素点的像素值便包括了颜色值和坐标位置值。
如图3所示，可以将人脸图像样本输入到第一预设模型的输入端，进而编码器便可以对人脸图像样本中的特征进行特征编码，输出与多个人脸图像样本各自对应的特征图f。
步骤S302：将所述多个人脸图像样本各自对应的特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的颜色预测特征图，以及，将所述多个人脸图像样本各自对应的特征图输入到所述位置预测子模型，得到由所述位置预测子模型输出的位置预测特征图。
本实施方式中，颜色预测子模型和位置预测子模型都可以基于UV map的算法，得到人脸图像样本对应的颜色预测特征图和位置预测特征图。
如图3所示，特征图f可以分别输入到颜色预测子模型和位置预测子模型，得到颜色预测子模型输出的颜色预测特征图CUV和位置预测子模型输出的颜色预测特征图PUV。
其中，颜色预测子模型可以对特征图中每个像素点的颜色值进行提取，进而将特征图中的各个像素点平铺，从而获得了该颜色预测特征图，也可以称为color UV map，该颜色预测特征图便表征了人脸图像样本的人脸颜色分布。
其中，位置预测子模型可以对特征图中每个像素点的像素坐标值进行提取，再将各个像素点进行平铺，从而获得了该位置预测特征图，也可以称为position UV map，该位置预测特征图便表征了人脸图像样本的人脸姿态。
在一种可能的实现方式中，为了减少生成的颜色预测特征图中的颜色缺失，在颜色预测子模型针对输入的任意一个人脸图像样本对应的特征图，输出颜色预测特征图时，可以通过以下步骤，将缺失的颜色补全：
步骤S3021：将人脸图像样本对应的特征图与预设特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的与该人脸图像样本对应的颜色预测特征图。
实际中，由于人脸图像样本中不具备完整的颜色信息(例如，人脸是侧脸时，便丢失了一部分人脸面部的颜色)，如此，生成的颜色预测图也不具备完整的人脸颜色分布，此种情况下，可以在生成颜色预测特征图的过程中，将缺失的颜色部分补全，以使生成的颜色预测特征图中具备完整的人脸颜色分布。具体地，可以将人脸图像样本对应的特征图和预设特征图一起输入到颜色预测子模型，以得到颜色补齐后的颜色预测特征图。
如图3所示，预设特征图为Z，该预设特征图Z可以是一个噪声图，在将人脸图像样本对应的特征图f输入到颜色预测子模型的输入端时，可以一并将预设特征图Z输入到颜色预测子模型的输入端。进而，采用噪声图补齐颜色，此种情况下的颜色预测特征图CUV中便可以包括预设特征图的部分像素点，使得颜色预测图中图中具备完整的颜色分布。
步骤S303：根据所述多个人脸图像样本各自对应的特征图和颜色预测特征图，确定与所述第一预设模型对应的颜色损失值，以及，根据所述多个人脸图像样本各自对应的特征图和位置预测特征图，确定与所述第一预设模型对应的位置损失值。
本实施例中，颜色损失值可以表征颜色预测特征图与对应的人脸图像样本中真实的人脸颜色之间的差距。位置损失值可以表征位置预测特征图与对应的人脸图像样本中真实的人脸姿态之间的差距。其中，颜色损失值的取值范围可以是0-1，位置损失值的取值范围也可以是0-1。颜色损失值越小，表征颜色预测子模型生成的颜色预测特征图越真实，位置损失值越小，表征位置预测子模型生成的位置预测特征图越真实。
具体地，可以通过以下公式计算位置损失值：
公式1中，表示位置损失值，/>表示位置特征图中各像素点的像素值，/>表示人脸图像样本对应的特征图中各像素点的像素坐标值。
其中，也可以参照上述公式(1)确定颜色损失值。在一种实施方式中，由于可以采用预设特征图对颜色进行补齐，因此，在颜色预测子模型根据与人脸图像样本对应的特征图和预设特征图生成颜色预测特征图的情况下，可以通过以下步骤确定颜色损失值：
步骤S3031：根据所述预设特征图、人脸图像样本对应的特征图的掩码图、以及人脸图像样本对应的颜色预测特征图，确定所述第一预设模型对应的颜色损失值。
即，所述第一预设模型对应的颜色损失值，是根据所述预设特征图、该人脸图像样本对应的特征图的掩码图、以及该人脸图像样本对应的颜色预测特征图确定的。
其中，掩码图又可以称为掩膜图，可以用于对图像中的局部区域进行标记，从而控制图像处理的区域或处理过程。在本实施例中，利用人脸图像样本对应的特征图的掩码图和预设特征图可以确定颜色预测特征图中未缺失的颜色，即原本便存在在人脸图像样本中的颜色，从而对该未缺失的颜色部分进行颜色损失值的计算。
此种情况下，在一种具体实现中，可以通过以下公式计算颜色损失值：
其中，表示未缺失的颜色部分的颜色损失值，/>表示颜色预测特征图中各个像素点的像素值，/>表示人脸图像样本对应的特征图中各像素点的颜色值，MUV表示人脸图像样本对应的特征图的掩码图，⊙表示同或运算。
步骤S304：根据所述第一预设模型对应的位置损失值和颜色损失值，对所述颜色预测子模型的参数和所述位置预测子模型的参数进行更新。
其中，多次更新后的第一预设模型为所述特征图生成模型。
本实施例中，可以将第一预设模型对应的位置损失值和颜色损失值之和作为第一预设模型的整体损失值，进而根据整体损失值，对颜色预测子模型的参数和位置预测子模型的参数进行更新。
当多个人脸图像样本分批输入到第一预设模型进行训练时，则针对每一批次的人脸图像样本可以确定一个整体损失值，进而根据该整体损失值进行一次第一预设模型的参数更新。这样，在多个人脸图像样本均被分批次输入到第一预设模型进行训练后，则可以将最后一次更新时的第一预设模型作为特征图生成模型。
其中，在对颜色预测子模型的参数和位置预测子模型的参数进行更新时，也可以对第一预设模型的其他网络参数进行更新。例如，可以一并对编码器encoder的参数进行更新。
在又一种可能的实现方式中，为了提高生成的颜色预测特征图的真实性，该颜色预测子模型可以为对抗网络模型；则在确定第一预设模型对应的颜色损失值时，可以通过以下步骤确定：
步骤S3022：根据该人脸图像样本对应的特征图和输入所述对抗网络模型的噪声图，确定所述第一预设模型对应的第一损失值。
本实施例中，对抗网络中的判别器可以用于对颜色预测特征图的真实性进行判别，例如，生成的颜色预测图仿真性越高，则判别器越无法分辨颜色预测图是假的，证明颜色预测子模型能输出较高仿真度的颜色预测特征图。则第一损失值可以表征利用噪声图做颜色补齐时，距离该颜色预测特征图被判别器判别为真实样本的差距。第一损失值越小，差距越小，则颜色预测特征图的仿真度更高，更接近真实的人脸图像样本中的颜色分布。
具体实现中，可以通过以下公式确定第一损失值：
其中，表示判别器，/>表示判别器判别颜色预测特征图的真假的损失，表示对抗网络所采样的噪声数据，/>表示该人脸图像样本对应的特征图和所采样的噪声数据。
步骤S3023：根据输入所述对抗网络模型的噪声图、该人脸图像样本对应的特征图的掩码图、以及该人脸图像样本对应的颜色预测特征图，确定所述第一预设模型对应的第二损失值。
本实施例中，第二损失值是指未缺失部分的颜色所对应的损失值，输入对抗网络模型的噪声图可以理解为是输入到对抗网络的噪声数据，本实施例中也可以通过上述公式(2)确定该第二损失值，在此不再赘述。
步骤S3024：根据所述第一损失值和所述第二损失值，确定所述第一预设模型对应的颜色损失值。
本实施例中，可以为第一损失值和第二损失值分别设置对应的超参数，这样，可以根据第一损失值、第二损失值和与第一损失值、第二损失值分别对应的超参数，确定颜色损失值。具体地，见如下公式：
其中，β为第一损失值对应的超参数，α为第二损失值对应的超参数，/>为第二损失值，/>为第一损失值，LC为颜色损失值。
采用本实施方式时，由于采用对抗网络作为颜色预测子模型，则可以提高生成的颜色预测特征图的仿真性，使得生成的颜色预测特征图可以真实反映人脸图像中的颜色分布，从而减小后续的人脸识别的误差，提高准确度。
接下来，对如何训练得到人脸识别模型的过程进行阐述，主要包括以下步骤：
步骤S401：获得多个携带身份标签的人脸特征图样本对，每个人脸特征图样本对包括该人脸图像样本对应的颜色特征图样本和位置特征图样本。
其中，每个人脸特征图样本对携带的身份标签表征该人脸特征图样本对对应的人脸的身份。
本实施例中，人脸特征图样本对中的颜色特征图样本和位置特征图样本是指针对同一张人脸图像所生成的颜色特征图和位置特征图，即每一个人脸特征图样本对均对应一张人脸图像。其中，该人脸图像可以是指采集的真实的人脸图像，其可以与训练第一预设模型是所使用的人脸图像样本相同。
具体的，该颜色特征图样本和位置特征图样本也可以通过上述特征图生成模型生成，或者，可以UV map算法生成。每个人脸特征图样本对携带有身份标签，该身份标签可以表征该人脸特征图样本对所针对的人脸图像中人脸的身份。具体而言，该身份标签可以是身份ID号码。
步骤S402：以所述多个人脸特征图样本对为训练样本，对第二预设模型进行训练，得到人脸识别模型。
应当理解的，在以多个人脸特征图样本对为训练样本，对第二预设模型进行训练时，可以一次为第二预设模型输入多个人脸特征图样本对，以进行批量训练。其中，第二预设模型可以主要用于对颜色特征图样本和位置特征图样本进行识别。
经过训练得到人脸识别模型后，在生成与人脸图像对应的颜色特征图和位置特征图后，便可以将颜色特征图和位置特征图输入到人脸识别模型，进而得到由人脸识别模型输出识别结果。或者，在对位置特征图进行归一化处理后，可以将颜色特征图和归一化处理后得到的位置特征图，输入到人脸识别模型，进而得到由人脸识别模型输出识别结果。
参照图5所示，示出了本发明实施例的一种人脸识别模型的结构示意图，如图5所示，本实施例的人脸识别模型可以包括颜色特征提取分支、位置提取特征分支、特征融合模块以及识别模块。其中，颜色特征提取分支的前半部分可以与位置提取特征分支的前半部分共享参数。
结合图5，对以多个人脸特征图样本对为训练样本对二预设模型进行训练的过程进行阐述，具体可以包括以下步骤：
步骤S501：对所述多个人脸特征图样本对中的颜色特征图样本进行特征提取，得到与所述多个人脸特征图样本对各自对应的人脸颜色特征，以及，对所述多个人脸特征图样本对中的位置特征图样本进行特征提取，得到与所述多个人脸特征图样本对各自对应的位置特征。
由于颜色特征图样本反映的是人脸图像的颜色分布，位置特征图样本反映的是人脸图像的人脸姿态，则可以对颜色特征图样本进行特征提取，得到该颜色特征图样本对应的人脸颜色特征，同时，可以对位置特征图样本进行特征提取，得到该位置特征图样本对应的位置特征，该位置特征也可以称为人脸姿态特征。
实际中，输入人脸识别模型的可以是该位置特征图样本进行归一化处理后的位置特征图，则可以减小对位置特征图样本进行特征提取的难度，从而提高特征提取的效率。
如图5所示，可以将多个人脸特征图样本对中的颜色特征图样本输入到颜色特征提取分支，得到由颜色特征提取分支输出的人脸颜色特征fc，将位置特征图样本输入到位置特征提取分支，得到由位置特征提取分支输出的位置特征fp。
步骤S502：对所述多个人脸特征图样本对各自对应的人脸颜色特征和位置特征进行特征融合，得到与所述多个人脸特征图样本对各自对应的融合特征图。
本实施例中，对人脸特征和位置特征进行特征融合可以是指将人脸特征和位置特征进行拼接，即，同一位置的像素点在人脸特征中的像素值和在位置特征中的像素值相拼接，进而得到了融合特征图。该融合特征图则既可以反映人脸图像的人脸颜色分布也可以反映人脸图像中的人脸姿态。
如图5所示，可以将位置特征fp和人脸颜色特征fc输入到特征融合模块F，进而得到融合特征图Ff。
步骤S503：根据与所述多个人脸特征图样本对各自对应的融合特征图和各自携带的标签，确定与所述第二预设模型对应的损失值。
本实施例中，在得到与每个人脸特征图样本对应的融合特征图时，可以将融合特征图输入到分类模块中，通过分类模块对该融合特征图进行分类识别，具体地，可以将融合特征图与底库中预存的人脸特征图进行比对，从而根据比对结果，例如是匹配概率，得到该人脸特征图样本对所属的人脸的身份，进而可以根据识别得到的人脸的身份，与该人脸特征图样本对携带的身份标签，确定出损失值。
其中，第二预设模型对应的损失值可以表征：对人脸特征图样本进行身份识别后得到的身份与该人脸特征图样本对应的真实的身份之间的差距。损失值越大，则差距越大，表征第二预设模型还需要进一步训练。
步骤S504：根据与所述第二预设模型对应的损失值，对所述第二预设模型进行迭代更新，得到人脸识别模型。
本实施例中，当多个人脸特征图样本对分批输入到第二预设模型进行训练时，则针对每一批次的人脸特征图样本对可以确定一个损失值，进而根据该损失值进行对第二预设模型的参数进行迭代更新。实际中，可以将最后一次更新时的第二预设模型作为人脸识别模型。
采用特征图生成模型生成与待识别的人脸图像对应的颜色特征图和位置特征图，以及，将颜色特征图和位置特征图输入到人脸识别模型以进行人脸识别的方式，可以能更智能地实施申请人提出的上述人脸识别方法。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
基于同一发明构思，参考图6，示出了本发明实施例的一种人脸识别装置的框架示意图，如图6所示，具体可以包括以下模块：
图像获取模块601，用于获取待识别的人脸图像；
特征图生成模块602，用于根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图；其中，所述颜色特征图中的像素点的像素值表征该像素点在所述人脸图像中的颜色，所述位置特征图中的像素点的像素值表征该像素点在所述人脸图像中的位置；
人脸识别模块603，用于根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别。
可选地，所述装置还可以包括以下模块：
第一样本获得模块，用于获得多个人脸图像样本；
第一训练模块，用于以所述多个人脸图像样本为训练样本，对第一预设模型进行训练，得到特征图生成模型；其中，所述第一预设模型用于根据输入的人脸图像样本生成与所述输入的人脸图像样本对应的颜色预测特征图和位置预测特征图；
所述特征图生成模块602，具体用于将所述人脸图像输入到所述特征图生成模型，得到由所述特征图生成模型输出的颜色特征图和位置特征图。
可选地，所述装置还可以包括以下模块：
第二样本获得模块，用于获得多个携带身份标签的人脸特征图样本对，每个人脸特征图样本对包括该人脸图像样本对应的颜色特征图样本和位置特征图样本；每个人脸特征图样本对携带的身份标签表征该人脸特征图样本对对应的人脸的身份；
第二训练模块，用于以所述多个人脸特征图样本对为训练样本，对第二预设模型进行训练，得到人脸识别模型；
所述人脸识别模块603，具体用于将所述颜色特征图和所述位置特征图输入到所述人脸识别模型，得到由所述人脸识别模型输出的识别结果。
可选地，所述第一预设模型包括颜色预测子模型和位置预测子模型，所述第一训练模块，具体可以包括以下单元：
特征编码单元，用于对所述多个人脸图像样本分别进行特征编码，得到所述多个人脸图像样本各自对应的特征图；
特征生成单元，用于将所述多个人脸图像样本各自对应的特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的颜色预测特征图，以及，将所述多个人脸图像样本各自对应的特征图输入到所述位置预测子模型，得到由所述位置预测子模型输出的位置预测特征图；
第一损失确定单元，用于根据所述多个人脸图像样本各自对应的特征图和颜色预测特征图，确定与所述第一预设模型对应的颜色损失值，以及，根据所述多个人脸图像样本各自对应的特征图和位置预测特征图，确定与所述第一预设模型对应的位置损失值；
第一参数更新单元，用于根据所述第一预设模型对应的位置损失值和颜色损失值，对所述颜色预测子模型的参数和所述位置预测子模型的参数进行更新；其中，多次更新后的第一预设模型为所述特征图生成模型。
可选地，所述特征生成单元，具体可以包括：
第一颜色特征生成单元，用于将该人脸图像样本对应的特征图与预设特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的与该人脸图像样本对应的颜色预测特征图；
其中，所述第一预设模型对应的颜色损失值，是根据所述预设特征图、该人脸图像样本对应的特征图的掩码图、以及该人脸图像样本对应的颜色预测特征图确定的。
可选地，所述颜色预测子模型为对抗网络模型；所述第一损失确定单元，用于通过以下步骤确定所述第一预设模型对应的颜色损失值：
根据该人脸图像样本对应的特征图和输入所述对抗网络模型的噪声图，确定所述第一预设模型对应的第一损失值；
根据输入所述对抗网络模型的噪声图、该人脸图像样本对应的特征图的掩码图、以及该人脸图像样本对应的颜色预测特征图，确定所述第一预设模型对应的第二损失值；
根据所述第一损失值和所述第二损失值，确定所述第一预设模型对应的颜色损失值。
可选地，所述第二训练模块，具体可以包括以下单元：
特征提取单元，用于对所述多个人脸特征图样本对中的颜色特征图样本进行特征提取，得到与所述多个人脸特征图样本对各自对应的人脸颜色特征，以及，对所述多个人脸特征图样本对中的位置特征图样本进行特征提取，得到与所述多个人脸特征图样本对各自对应的位置特征；
特征融合单元，用于对所述多个人脸特征图样本对各自对应的人脸颜色特征和位置特征进行特征融合，得到与所述多个人脸特征图样本对各自对应的融合特征图；
第二损失确定单元，用于根据与所述多个人脸特征图样本对各自对应的融合特征图和各自携带的标签，确定与所述第二预设模型对应的损失值；
模型更新单元，用于根据与所述第二预设模型对应的损失值，对所述第二预设模型进行更新，其中，多次更新后的第二预设模型为人脸识别模型。
可选地，所述装置具体还可以包括以下模块：
归一化模块，用于对所述位置特征图进行归一化处理，得到归一化位置特征图；
所述人脸识别模块603，具体用于根据所述归一化位置特征图和所述颜色特征图，对所述人脸图像进行识别。
相应地，所述归一化模块，具体用于根据所述位置特征图中各像素点之间的相对位置和/或所述位置特征图的尺寸，对所述位置特征图中各像素点的像素值进行调整，得到所述归一化位置特征图；
其中，所述归一化位置特征图中各像素点之间的相对位置为预设相对位置，所述归一化位置特征图的尺寸为预设尺寸。
参照图7所示，示出了本发明实施例的一种人脸识别系统的框架示意图，如图7所示，所述系统可以包括：图像获得装置以及人脸识别装置，所述人脸识别装置中配置有网络模型，所述网络模型包括特征图生成模型、以及与所述特征图生成模型的输出端连接的人脸识别模型，其中：
所述图像获得装置，用于获取待识别的人脸图像；
所述人脸识别装置，用于按照上述实施例所述的人脸识别方法对所述人脸图像进行识别；
其中，所述特征图生成模型是按照上述实施例中步骤S301至步骤S304所述的方法训练得到的，所述人脸识别模型是按照上述实施例中步骤S501至步骤S504所述的方法训练得到的。
可选地，所述特征图生成模型具体可以包括：
编码器，用于对所述人脸图像进行特征编码，并输出编码后得到的特征图；
位置预测子模型，与所述编码器的输出端连接，用于基于所述编码器输出的特征图，生成与所述人脸图像对应的位置特征图；
颜色预测子模型，与所述编码器的输出端连接，用于基于预设特征图和所述编码器输出的特征图，或，基于噪声图和所述编码器输出的特征图，生成与所述人脸图像对应的颜色特征图。
可选地，所述颜色预测子模型为对抗网络模型，则在颜色预测子模型为对抗网络模型时的特征图生成模块的模型结构可以如图3所示。
可选地，所述人脸识别模型，具体包括以下结构：
颜色特征提取分支，用于对所述颜色特征图进行特征提取，得到颜色特征；
位置特征提取分支，用于对所述位置特征图进行特征提取，得到位置特征；
特征融合模块，用于对所述颜色特征和所述位置特征进行特征融合，得到融合后特征图；
识别模块，用于根据所述融合后特征图，对所述人脸图像进行识别，并输出识别结果。
具体地，该人脸识别模型的模型结构示意图可以参照图5所示。
可选地，所述人脸识别装置还包括：
归一化模块，连接在所述特征图生成模型和人脸识别模型之间，用于对所述特征图生成模型输出的所述位置特征图进行归一化处理，并将归一化后的位置特征图输入到所述人脸识别模型。
具体地，归一化模块的输入端与特征图生成模型的输出端连接，归一化模块的输入端与人脸识别模型的输入端连接。
本发明实施例还提供了一种电子设备，该电子设备可以用于执行人脸识别方法，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行所述的人脸识别方法。
本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的人脸识别方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种人脸识别方法、装置、系统、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种人脸识别方法，其特征在于，所述方法包括：
获取待识别的人脸图像；
根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图；其中，所述颜色特征图中的像素点的像素值表征该像素点在所述人脸图像中的颜色，所述位置特征图中的像素点的像素值表征该像素点在所述人脸图像中的位置；
根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别；
其中，所述颜色特征图和所述位置特征图是将所述人脸图像输入到特征图生成模型后得到的，所述特征图生成模型包括颜色预测子模型和位置预测子模型，所述颜色预测子模型用于根据输入的人脸图像的特征图输出所述颜色特征图，所述位置预测子模型用于根据输入的人脸图像的特征图输出所述位置特征图。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获得多个人脸图像样本；
以所述多个人脸图像样本为训练样本，对第一预设模型进行训练，得到特征图生成模型；其中，所述第一预设模型用于根据输入的人脸图像样本生成与所述输入的人脸图像样本对应的颜色预测特征图和位置预测特征图；
根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图，包括：
将所述人脸图像输入到所述特征图生成模型，得到由所述特征图生成模型输出的颜色特征图和位置特征图。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获得多个携带身份标签的人脸特征图样本对，每个人脸特征图样本对包括颜色特征图样本和位置特征图样本；每个人脸特征图样本对携带的身份标签表征该人脸特征图样本对对应的人脸的身份；
以所述多个人脸特征图样本对为训练样本，对第二预设模型进行训练，得到人脸识别模型；
根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别，包括：
将所述颜色特征图和所述位置特征图输入到所述人脸识别模型，得到由所述人脸识别模型输出的识别结果。
4.根据权利要求2所述的方法，其特征在于，所述第一预设模型包括颜色预测子模型和位置预测子模型，以所述多个人脸图像样本为训练样本，对所述第一预设模型进行训练，包括：
对所述多个人脸图像样本分别进行特征编码，得到所述多个人脸图像样本各自对应的特征图；
将所述多个人脸图像样本各自对应的特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的颜色预测特征图，以及，将所述多个人脸图像样本各自对应的特征图输入到所述位置预测子模型，得到由所述位置预测子模型输出的位置预测特征图；
根据所述多个人脸图像样本各自对应的特征图和颜色预测特征图，确定与所述第一预设模型对应的颜色损失值，以及，根据所述多个人脸图像样本各自对应的特征图和位置预测特征图，确定与所述第一预设模型对应的位置损失值；
根据所述第一预设模型对应的位置损失值和颜色损失值，对所述颜色预测子模型的参数和所述位置预测子模型的参数进行更新；其中，多次更新后的第一预设模型为所述特征图生成模型。
5.根据权利要求4所述的方法，其特征在于，将所述多个人脸图像样本各自对应的特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的颜色预测特征图，包括：
将人脸图像样本对应的特征图与预设特征图输入到所述颜色预测子模型，得到由所述颜色预测子模型输出的与该人脸图像样本对应的颜色预测特征图；
其中，所述第一预设模型对应的颜色损失值，是根据所述预设特征图、该人脸图像样本对应的特征图的掩码图、以及该人脸图像样本对应的颜色预测特征图确定的。
6.根据权利要求4所述的方法，其特征在于，所述颜色预测子模型为对抗网络模型；所述第一预设模型对应的颜色损失值，是通过以下步骤确定的：
根据该人脸图像样本对应的特征图和输入所述对抗网络模型的噪声图，确定所述第一预设模型对应的第一损失值；
根据输入所述对抗网络模型的噪声图、该人脸图像样本对应的特征图的掩码图、以及该人脸图像样本对应的颜色预测特征图，确定所述第一预设模型对应的第二损失值；
根据所述第一损失值和所述第二损失值，确定所述第一预设模型对应的颜色损失值。
7.根据权利要求3所述的方法，其特征在于，以所述多个人脸特征图样本对为训练样本，对第二预设模型进行训练，包括：
对所述多个人脸特征图样本对中的颜色特征图样本进行特征提取，得到与所述多个人脸特征图样本对各自对应的人脸颜色特征，以及，对所述多个人脸特征图样本对中的位置特征图样本进行特征提取，得到与所述多个人脸特征图样本对各自对应的位置特征；
对所述多个人脸特征图样本对各自对应的人脸颜色特征和位置特征进行特征融合，得到与所述多个人脸特征图样本对各自对应的融合特征图；
根据与所述多个人脸特征图样本对各自对应的融合特征图和各自携带的标签，确定与所述第二预设模型对应的损失值；
根据与所述第二预设模型对应的损失值，对所述第二预设模型进行更新，其中，多次更新后的第二预设模型为人脸识别模型。
8.根据权利要求1-2任一或4-7任一所述的方法，其特征在于，在根据所述人脸图像，生成与所述人脸图像对应的位置特征图之后，所述方法还包括：
对所述位置特征图进行归一化处理，得到归一化位置特征图；
根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别，包括：
根据所述归一化位置特征图和所述颜色特征图，对所述人脸图像进行识别。
9.根据权利要求8所述的方法，其特征在于，对所述位置特征图进行归一化处理，得到归一化位置特征图，包括：
根据所述位置特征图中各像素点之间的相对位置和/或所述位置特征图的尺寸，对所述位置特征图中各像素点的像素值进行调整，得到所述归一化位置特征图；
其中，所述归一化位置特征图中各像素点之间的相对位置为预设相对位置，所述归一化位置特征图的尺寸为预设尺寸。
10.一种人脸识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取待识别的人脸图像；
特征图生成模块，用于根据所述人脸图像，生成与所述人脸图像对应的颜色特征图和位置特征图；其中，所述颜色特征图中的像素点的像素值表征该像素点在所述人脸图像中的颜色，所述位置特征图中的像素点的像素值表征该像素点在所述人脸图像中的位置；
人脸识别模块，用于根据所述颜色特征图和所述位置特征图，对所述人脸图像进行识别；
其中，所述颜色特征图和所述位置特征图是将所述人脸图像输入到特征图生成模型后得到的，所述特征图生成模型包括颜色预测子模型和位置预测子模型，所述颜色预测子模型用于根据输入的人脸图像的特征图输出所述颜色特征图，所述位置预测子模型用于根据输入的人脸图像的特征图输出所述位置特征图。
11.一种人脸识别系统，其特征在于，所述系统包括：图像获得装置以及人脸识别装置，所述人脸识别装置中配置有网络模型，所述网络模型包括特征图生成模型、以及与所述特征图生成模型的输出端连接的人脸识别模型；
所述图像获得装置，用于获取待识别的人脸图像；
所述人脸识别装置，用于按照权利要求1-9任一所述的人脸识别方法对所述人脸图像进行识别；
其中，所述特征图生成模型是按照权利要求2或4-6任一项所述的方法训练得到的，所述人脸识别模型是按照权利要求3或7所述的方法训练得到的。
12.根据权利要求11所述的系统，其特征在于，所述特征图生成模型包括：
编码器，用于对所述人脸图像进行特征编码，并输出编码后得到的特征图；
位置预测子模型，与所述编码器的输出端连接，用于基于所述编码器输出的特征图，生成与所述人脸图像对应的位置特征图；
颜色预测子模型，与所述编码器的输出端连接，用于基于预设特征图和所述编码器输出的特征图，或，基于噪声图和所述编码器输出的特征图，生成与所述人脸图像对应的颜色特征图。
13.根据权利要求12所述的系统，其特征在于，所述颜色预测子模型为对抗网络模型。
14.根据权利要求11所述的系统，其特征在于，所述人脸识别模型包括：
颜色特征提取分支，用于对所述颜色特征图进行特征提取，得到颜色特征；
位置特征提取分支，用于对所述位置特征图进行特征提取，得到位置特征；
特征融合模块，用于对所述颜色特征和所述位置特征进行特征融合，得到融合后特征图；
识别模块，用于根据所述融合后特征图，对所述人脸图像进行识别，并输出识别结果。
15.根据权利要求11所述的系统，其特征在于，所述人脸识别装置还包括：
归一化模块，连接在所述特征图生成模型和人脸识别模型之间，用于对所述特征图生成模型输出的所述位置特征图进行归一化处理，并将归一化后的位置特征图输入到所述人脸识别模型。
16.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-9任一项所述的人脸识别方法。
17.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-9任一项所述的人脸识别方法。
CN202010334793.6A 2020-04-24 2020-04-24 人脸识别方法、装置、系统、设备及介质 Active CN111680544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010334793.6A CN111680544B (zh) 2020-04-24 2020-04-24 人脸识别方法、装置、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010334793.6A CN111680544B (zh) 2020-04-24 2020-04-24 人脸识别方法、装置、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN111680544A CN111680544A (zh) 2020-09-18
CN111680544B true CN111680544B (zh) 2023-07-21

Family

ID=72452181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010334793.6A Active CN111680544B (zh) 2020-04-24 2020-04-24 人脸识别方法、装置、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN111680544B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270356B (zh) * 2020-10-28 2023-10-13 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置及电子设备
CN113033512B (zh) * 2021-05-21 2021-09-21 深圳阜时科技有限公司 窄条形指纹识别方法、存储介质及电子设备
CN113255700B (zh) * 2021-06-10 2021-11-02 展讯通信（上海）有限公司 图像的特征图的处理方法及装置、存储介质、终端
CN115082995A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 人脸活体检测方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113440A (ja) * 2009-11-30 2011-06-09 Fujitsu Ltd ナンバープレート認識プログラムおよびナンバープレート認識装置
CN102663398A (zh) * 2012-03-31 2012-09-12 上海博康智能信息技术有限公司 一种彩色图像颜色特征提取方法及装置
CN102799859A (zh) * 2012-06-20 2012-11-28 北京交通大学 一种交通标志识别方法
CN103236181A (zh) * 2013-05-10 2013-08-07 西安电子科技大学 一种基于机器视觉的交通信号灯状态监控系统及方法
CN104134058A (zh) * 2014-07-21 2014-11-05 成都万维图新信息技术有限公司 一种人脸图像处理方法
CN106844492A (zh) * 2016-12-24 2017-06-13 深圳云天励飞技术有限公司 一种人脸识别的方法、客户端、服务器及系统
CN108564572A (zh) * 2018-04-02 2018-09-21 滁州晨润工贸有限公司 一种基于图像特征的产品质量监测方法
CN110059546A (zh) * 2019-03-08 2019-07-26 深圳神目信息技术有限公司 基于频谱分析的活体识别方法、装置、终端及可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985259B (zh) * 2018-08-03 2022-03-18 百度在线网络技术（北京）有限公司 人体动作识别方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113440A (ja) * 2009-11-30 2011-06-09 Fujitsu Ltd ナンバープレート認識プログラムおよびナンバープレート認識装置
CN102663398A (zh) * 2012-03-31 2012-09-12 上海博康智能信息技术有限公司 一种彩色图像颜色特征提取方法及装置
CN102799859A (zh) * 2012-06-20 2012-11-28 北京交通大学 一种交通标志识别方法
CN103236181A (zh) * 2013-05-10 2013-08-07 西安电子科技大学 一种基于机器视觉的交通信号灯状态监控系统及方法
CN104134058A (zh) * 2014-07-21 2014-11-05 成都万维图新信息技术有限公司 一种人脸图像处理方法
CN106844492A (zh) * 2016-12-24 2017-06-13 深圳云天励飞技术有限公司 一种人脸识别的方法、客户端、服务器及系统
CN108564572A (zh) * 2018-04-02 2018-09-21 滁州晨润工贸有限公司 一种基于图像特征的产品质量监测方法
CN110059546A (zh) * 2019-03-08 2019-07-26 深圳神目信息技术有限公司 基于频谱分析的活体识别方法、装置、终端及可读介质

Also Published As

Publication number Publication date
CN111680544A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111680544B (zh) 人脸识别方法、装置、系统、设备及介质
US11487995B2 (en) Method and apparatus for determining image quality
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
WO2021077984A1 (zh) 对象识别方法、装置、电子设备及可读存储介质
WO2022161286A1 (zh) 图像检测方法、模型训练方法、设备、介质及程序产品
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN110298319B (zh) 图像合成方法和装置
CN110598019B (zh) 重复图像识别方法及装置
WO2016165614A1 (zh) 一种即时视频中的表情识别方法和电子设备
WO2021184754A1 (zh) 视频对比方法、装置、计算机设备和存储介质
CN113591566A (zh) 图像识别模型的训练方法、装置、电子设备和存储介质
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
CN115147261A (zh) 图像处理方法、装置、存储介质、设备及产品
CN114399424A (zh) 模型训练方法及相关设备
CN112001285A (zh) 一种美颜图像的处理方法、装置、终端和介质
CN113255511A (zh) 用于活体识别的方法、装置、设备以及存储介质
CN112669244A (zh) 人脸图像增强方法、装置、计算机设备以及可读存储介质
CN116205723A (zh) 基于人工智能的面签风险检测方法及相关设备
CN115410257A (zh) 图像保护方法及相关设备
CN114612991A (zh) 攻击人脸图片的转换方法及装置、电子设备及存储介质
CN114299590A (zh) 人脸补全模型的训练方法、人脸补全方法及系统
CN116310615A (zh) 图像处理方法、装置、设备及介质
CN113362249A (zh) 文字图像合成方法、装置、计算机设备及存储介质
CN112634441B (zh) 一种3d人体模型生成方法、系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant