CN113807159A

CN113807159A - 人脸识别处理方法、装置、设备及其存储介质

Info

Publication number: CN113807159A
Application number: CN202011617305.9A
Authority: CN
Inventors: 俞颖超
Original assignee: Jingdong Technology Information Technology Co Ltd
Current assignee: Jingdong Technology Information Technology Co Ltd
Priority date: 2020-12-31
Filing date: 2020-12-31
Publication date: 2021-12-17
Anticipated expiration: 2040-12-31
Also published as: CN113807159B

Abstract

本发明提出一种人脸识别处理方法、装置、设备及其存储介质，其中，方法包括：根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片；对多张颜色人脸图片和预先采集的基准人脸图片进行处理，判断多张颜色人脸图片是否为真实人脸；按照图片采集顺序对多张颜色人脸图片和基准人脸图片进行处理，预测多张颜色人脸图片对应的颜色序列码；如果多张颜色人脸图片为真实人脸，且颜色序列码与初始颜色顺序一致，则确定待识别的人脸合法。由此，采用颜色验证码策略，利用颜色分支对人脸的反射的颜色光进行预测，在无需用户配合的基础上，避免了人脸识别攻击。

Description

人脸识别处理方法、装置、设备及其存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人脸识别处理方法、装置、设备及其存储介质。

背景技术

人脸防伪技术常常应用于人脸识别系统，旨在辨别摄像头采集的人脸图像是否来自一个真实的人脸，避免人脸识别系统遭受恶意攻击而导致一系列的损失。近年来，由于深度学习技术的飞速发展，人脸防伪技术取得了显著的进步，并且成功应用于很多人脸识别系统场景中，例如人脸支付、人脸安检、视频监控等。

现实人脸识别系统场景中存在各种各样的人脸攻击手段。最为常见的是基于物理介质的攻击，此类攻击一般为攻击者通过纸片、屏幕等介质呈现的人脸攻击，一般情况下，攻击者将合法用户的照片打印或者通过电子设备屏幕展示给人脸识别系统，或者利用电子设备对人脸识别系统回放一段合法用户的视频。还有一类攻击称为Hook攻击，此类攻击一般为攻击者通过技术绕过摄像头，直接将合法用户的照片传给服务端。

相关技术中，通过眨眼、张嘴、摇头等检测生物活性进行人脸攻击的识别，主要通过用户配合相应指令进行一定的人机交互来区别人脸活性，例如机器发出“眨眼”的指令，用户配合进行眨眼动作，机器识别到用户眨眼从而通过验证。该方法主要的依据是真人具有实时活动能力(眨眼、张嘴、摇头等)，对照片攻击具有较好的拦截能力。然而这种人脸识别方法，利用电子设备对人脸识别系统回放一段合法用户的视频就可以比较容易地逃过这种方法的拦截，并且需要用户配合运动，用户体验不高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种人脸识别处理方法，以采用颜色验证码策略，利用颜色分支对人脸的反射的颜色光进行预测，在无需用户配合的基础上，避免了人脸识别攻击。

本发明的第二个目的在于提出一种人脸识别处理装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种人脸识别处理方法，包括：根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片；

对所述多张颜色人脸图片和预先采集的基准人脸图片进行处理，判断所述多张颜色人脸图片是否为真实人脸；

按照图片采集顺序对所述多张颜色人脸图片和所述基准人脸图片进行处理，预测所述多张颜色人脸图片对应的颜色序列码；

如果所述多张颜色人脸图片为真实人脸，且所述颜色序列码与所述初始颜色顺序一致，则确定所述待识别的人脸合法。

为达上述目的，本发明第二方面实施例提出了一种人脸识别处理装置，包括：采集模块，用于根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片；

判断模块，用于对所述多张颜色人脸图片和预先采集的基准人脸图片进行处理，判断所述多张颜色人脸图片是否为真实人脸；

预测模块，用于按照图片采集顺序对所述多张颜色人脸图片和所述基准人脸图片进行处理，预测所述多张颜色人脸图片对应的颜色序列码；

确定模块，用于在所述多张颜色人脸图片为真实人脸，且所述颜色序列码与所述初始颜色顺序一致时，确定所述待识别的人脸合法。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所述的人脸识别处理方法。

为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所述的人脸识别处理方法。

本发明提供的实施例，至少具备如下附加的技术效果：

根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片，进而，对多张颜色人脸图片和基准人脸图片进行处理，判断多张颜色人脸图片是否为真实人脸，按照图片采集顺序对多张颜色人脸图片和基准人脸图片进行处理，预测多张颜色人脸图片对应的颜色序列码，最后，如果多张颜色人脸图片为真实人脸，且颜色序列码与初始颜色顺序一致，则确定待识别的人脸合法。由此，采用颜色验证码策略，利用颜色分支对人脸的反射的颜色光进行预测，在无需用户配合的基础上，避免了人脸识别攻击。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种人脸识别处理方法的流程示意图；

图2为本发明实施例所提供的另一种人脸识别处理方法的流程示意图；

图3为本发明实施例所提供的一种人脸图片示意图；

图4为本发明实施例所提供的一种人脸识别处理方法的应用场景示意图；

图5为本发明实施例所提供的另一种人脸识别处理方法的应用场景示意图；

图6为本发明实施例所提供的一种人脸关键点示意图；

图7为本发明实施例所提供的一种基于人脸关键点的人脸对齐的场景示意图；

图8为本发明实施例所提供的又一种人脸识别处理方法的流程示意图；

图9为本发明实施例所提供的一种人脸识别处理装置的结构框图；以及

图10为本发明实施例所提供的另一种人脸识别处理装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

基于上述背景技术可知，利用图像成像质量进行人脸防伪以及利用眨眼、张嘴、摇头等检测生物活性进行人脸防伪在某些攻击场景下风险较高。为了解决该技术问题，本发明的实施例中，将人脸置于多种颜色光下进行采集，同时纳入了时序信息特征，对于纸质、屏幕的攻击有更好的拦截能力。同时由于本发明的实施例中采用了颜色验证码策略，通过对人脸反射的颜色进行预测、与颜色验证码比对，可以对Hook攻击进行拦截。本方案无需用户额外进行动作配合，用户体验友好。另外本发明无需特殊的硬件配置，只需要普通前置摄像头。

本发明提供的人脸识别方式，与利用眨眼、张嘴、摇头等检测生物活性的方案相比，可拦截基于视频回放的攻击，且无需用户配合动作。下面参考附图描述本发明实施例的人脸识别处理方法和装置。

图1为本发明实施例所提供的一种人脸识别处理方法的流程示意图。

如图1所示，该人脸识别处理方法包括以下步骤：

步骤101，根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片，以及采集与基准色对应的基准人脸图片。

本实施例中，预先确定初始颜色顺序，该初始颜色顺序中包括多个顺序排列的不完全相同的颜色，比如，包括“红-绿-黄-蓝”等，在一些可能的示例中，可以在预先设置的多个标准颜色中，随机确定预设个数的标准颜色，并根据标准颜色的确定顺序确定初始颜色顺序；在另一些可能的示例中，也可以由用户随机选择多个标准颜色，并根据多个标准颜色的选择顺序或者是用户制指定的顺序确定初始颜色顺序。

在本实施例中，对待识别的人脸采集对应的多张颜色人脸图片，比如，按照初始颜色顺序对人脸投射对应的颜色的灯光并拍摄对应的颜色的人脸图片等。

需要说明的是，一方面，由于不同介质对光线的反射特征会有一定区别，所以经历二次成像后的人脸照片中会带有介质特有的特征，例如纸质的一些纤维纹理、屏幕摩尔纹等。另一方面，在将人脸照片通过打印或者电子屏幕展示的过程中也会造成人脸一定程度的失真，颜色域的变化。基于图像成像质量进行防伪主要就是基于以上两点进行真人、攻击区分。因此，上述多张颜色人脸图片对应于人脸在多个颜色下的颜色反应图片，用于后续基于人脸对颜色的反射特征等确定人脸的真实性。

另外，在本发明的一个实施例中，还可以采集基准光下的基准人脸图片，基准人脸图片可以用于对颜色图片校正，屏蔽颜色人脸图片采集时的环境噪音，比如，环境亮度导致的亮度色差等。在不同的应用场景中，该基准色可以是自然光下的颜色，也可以是白色灯光下的颜色等，在此不作限制。

步骤102，对多张颜色人脸图片和预先采集的基准人脸图片进行处理，判断多张颜色人脸图片是否为真实人脸。

正如以上提到的，不同介质对光线的反射特征会有一定区别，并且，在将人脸照片通过打印或者电子屏幕展示的过程中也会造成人脸一定程度的失真，颜色域的变，因此，在本实施例中，可以直接基于多张颜色人脸图片和基准人脸图片进行处理，从颜色的真实性上来判断多张颜色人脸图片是否为真实人脸，如何基于多张颜色人脸图片和基准人脸图片进行处理，以进行真实人脸的判断，可以参照后续实施例，在此不再赘述。

步骤103，按照图片采集顺序对多张颜色人脸图片和基准人脸图片进行处理，预测多张颜色人脸图片对应的颜色序列码。

不难理解的是，若是采用照片攻击，则由于照片和人脸对光的反射，导致同样的颜色投射到照片上，以及投射到真实人脸上，所采集的人脸图片的颜色反应不同，因此，必然导致对照片采集的颜色人脸图片对应的颜色序列和真实人脸的颜色人脸图片对应的颜色序列不同。

因此，在本实施例中，按照图片采集顺序对多张颜色人脸图片和基准人脸图片进行处理，预测多张颜色人脸图片对应的颜色序列码，以便于根据颜色序列码对应的多个颜色进行人脸真实性的确定，其中，基准人脸图片用于对颜色人脸图片进行噪音补偿，以保证识别到的颜色人脸图片对应的颜色是准确的。

需要说明的是，在不同的应用场景中，按照图片采集顺序对多张颜色人脸图片和基准人脸图片进行处理，预测多张颜色人脸图片对应的颜色序列码的方式不同，示例如下：

示例一：

在本示例中，如图2所示，步骤103包括：

步骤201，根据预设算法对基准人脸图片的像素值和多张颜色人脸图片的像素值进行处理，获取与每张颜色人脸图片对应的像素值。

在本实施中，可以对基准人脸图片和多张颜色人脸图片进行图像二值化处理，根据二值化处理后的图片识别人脸所在轮廓，根据人脸所在轮廓确定人脸所在区域，进而，在基准人脸图片和多张颜色人脸图片中识别人脸所在区域中每个像素点的像素值。

由于基准人脸图片的像素值是受到光照等拍摄参数影响后在图片中体现的颜色体现，是每个参考颜色无色差的颜色体现，因此，根据基准人脸图片的像素值，对多张颜色人脸图片的像素值进行处理，获取与每张颜色人脸图片对应的像素值，其中，处理后的每张颜色人脸图片对应的像素值是去除了环境噪音后的像素值。

在一些可能的实施例中，预设算法可以对应于根据深度学习技术训练出的深度学习模型，从而，将基准人脸图片的像素值和基准人脸图片输入到深度学习模型，进一步优化该深度学习模型，分别将多张颜色人脸图片及其对应的像素值输入到优化后的深度学习模型中，得到每个颜色人脸图像对应的像素值。

在另一些可能的实施例中，为了补偿因为环境噪音导致的每个颜色人脸图片对应的像素差值，可以直接计算基准人脸图片的像素值与该基准人脸图片对应的标准颜色的像素值的第一像素差值，该第一像素差值，可以是计算人脸区域所有像素点的像素差值的均值得到的，根据第一像素差值对每个颜色人脸图片进行像素补偿，比如，可以根据预设算法对每个颜色人脸图片中每个像素点的像素值和第一像素差值计算得到修正后的像素值，其中，预设算法可以是任意反应第一像素差值和每个颜色人脸图片对应颜色下的所体现的像素差值的算法，在此不再一一举例。

步骤202，将每张颜色人脸图片对应的像素值与预设的标准颜色像素值进行比较，根据比较结果预测多张颜色人脸图片对应的颜色序列码。

在本示例中，将每张颜色人脸图片对应的像素值与预设的标准颜色像素值进行比较，其中，标准颜色像素值可以理解为一种表示真实颜色反映在人脸上的每个颜色的像素值，可以预先在标准的环境噪音较小的环境下，对多张人脸分被采集每个颜色的颜色人脸图片后学习得到的。

在本实施例中，将每张颜色人脸图片对应的像素值与预设的标准颜色像素值进行比较，比如，将颜色人脸图片中人脸区域的像素均值，与预设的标准颜色像素值比较，根据比较结果预测多张颜色人脸图片对应的颜色序列码，即若是像素值与标准颜色像素值的差值小于预设值，则认为其为对应的颜色为该标准颜色，并按照其对应的颜色人脸图片的顺序形成颜色序列码。

在一些可能的实施例中，为了进一步避免识别的误差，还可以将颜色人脸图片中的人脸区域，按照预设尺寸划分为多个子区域，对每个子区域的像素值的均值与预设的标准颜色像素值比较，根据比较结果预测每个子颜色对应的标准颜色，若是所有子区域中属于同一个标准颜色的子区域数量，占所有子区域数量的比值大于预设阈值，则认为该同一个标准颜色为颜色人脸图片颜色。

示例二：

在本示例中，在很多私密性比较高的人脸识别场景中，可以在采集多张颜色人脸图片和基准人脸图片时，提醒用户在人脸旁边放一张标准色卡，如图3所示，标准色卡可以理解为一种表示在对应的颜色灯光下读多个标准颜色在人脸的体现的标准颜色，获取标准色卡中每个参考颜色的标准像素值，这里的像素值可以包括为无色差时每个参考颜色的RGB标准色的体现。

需要说明的是，在不同的应用场景中，获取标准色卡中每个参考颜色的标准像素值的方式不同的，作为一种可能的实现方式，直接提取标准色卡中每个参考颜色中任意一个像素点的像素值，根据该像素值确定每个参考颜色的标准像素值；

作为另一种可能的实现方式，可以预先构建像素识别图像模型，从而，将每个参考颜色对应的颜色区域输入到对应的像素识别图像模型，以获取每个参考颜色的标准像素值。

在本实施例中，对标准色卡和人脸进行拍摄获取颜色图片和基准人脸图片，进而获取标准色卡中每个参考颜色在基准人脸图片中的第一像素值，由于第一像素值是受到光照等拍摄参数影响后在图片中体现的颜色体现，标准像素值是每个参考颜色无色差的颜色体现，因此，根据每个参考颜色的标准像素值，以及每个参考颜色在基准人脸图片中的第一像素值，计算每个参考颜色的第一像素差值。

在本发明的一个实施例中，计算每个参考颜色第一像素值和标准像素值中每个颜色通道的差值，以获取在3个颜色通道的差值，将3个差值求和后的均值作为每个参考颜色的第一像素差值。

在本发明的另一个实施例中，计算每个参考颜色第一像素值和标准像素值中每个颜色通道的差值，判断每个颜色通道的差值是否大于预设阈值，若是大于预设阈值，则计算大于预设阈值的颜色通道的差值之和的均值，作为每个参考颜色的第一像素差值。在本实施例中，若是没有大于预设阈值的颜色通道，则确定对应参考颜色的第一像素差值为0，也可以理解为无色差。

在本实施例中，根据每个参考颜色的第一像素差值对颜色人脸图片进行色彩补偿生成第一目标图片，比如，当参考颜色A的第一像素差值为m，则在原有参考颜色的像素值的基础上，增加m值。由此，每个颜色人脸图片的像素值被修正。

步骤104，如果多张颜色人脸图片为真实人脸，且颜色序列码与初始颜色顺序一致，则确定待识别的人脸合法。

在本实施例中，结合多张颜色人脸图片为真实人脸以及颜色序列码与初始颜色顺序一致，才认为待识别的人脸合法，避免了重放视频或者用照片进行人脸识别的攻击。

在本发明的另一个实施例中，如果至少一张颜色人脸图片不为真实人脸，则表明可能当前人脸识别场景中，具有照片攻击等情况，如果颜色序列码与初始颜色顺序不一致，则表明可能当前颜色图片是在其他场景下所采集的人脸颜色图片，比如，避过摄像头的采集步骤直接将对应的真实人脸的颜色图片发送给后台识别等，因此，在本实施例中，如果至少一张颜色人脸图片不为真实人脸，和/或，颜色序列码与所述初始颜色顺序不一致，则确定待识别的人脸不合法。

为了使得本领域的技术人员，更加清楚的了解本发明实施例中的人脸识别过程，下面结合具体的场景进行举例，在该场景中，首先从彩色光库中随机选取一组不重复的颜色，假设彩色光库颜色种类为N，随机选取的颜色种类为n，这n种颜色按照顺序排列即是生成的颜色验证码(初始颜色顺序)。

人脸正对手机，手机屏幕则会按颜色验证码切换成对应的颜色，每种颜色会停留一段时间，使得手机前置摄像头可采集到每种颜色屏幕下的人脸照片。为了削弱环境光的影响，同时需要采集一张手机屏幕为基准色的人脸照片，基准色一般设置为黑色或者白色，且放置在所有颜色最后。假设手机下发的颜色验证码为蓝、黄、红、绿，基准色为白色，那么最终手机就会采集到顺序为蓝、黄、红、绿、白颜色光线下的5张颜色人脸图片。图4中的①描述的就是以上数据采集过程。

进而，③中主要包含三个模块：防伪分支、颜色分支、双分支结果融合策略。防伪分支与颜色分支示意图见图5，双分支结果融合策略见表1。防伪分支与颜色分支共享输入，假设为x。假设防伪分支为F_A，则该分支输出记为y_A＝F_A(x)，y_A∈{0，1}，其中0代表攻击，1代表真人。假设颜色分支为F_B，则该分支输出记为y_B＝F_B(x)，代表预测的颜色验证码值，

代表第i种预测颜色，由于每种颜色被记为[0，N-1]之间整数，所以

i∈{0，1，...，n-1}。

对于防伪分支主要用于拦截基于物理介质的攻击。基于以下两个光学原理：A.不同材质的物体对不同波长的光线会有选择性的吸收，B.不同材质的物体对特定光具有相应的偏振效应，同时结合本方案特殊的数据采集方式，可以使得在多种光环境下，不同攻击材质与真人的二次成像差别更大，进而让模型更容易区分此类攻击。防伪分支的网络使用了3DCNN，此类网络还可对图片序列进行时序建模。

对于Hook攻击，由于没有二次成像过程，所以防伪分支从原理上无法拦截。此类攻击主要由颜色分支负责拦截。颜色分支从获得的人脸图片序列中预测出颜色验证码，并与真实的初始颜色序列进行比较，如果一致，则通过，如果不一致则拦截，由于颜色验证码是随机的，Hook攻击输入的人脸图片序列的人脸颜色及顺序很难与颜色验证码完全一致，所以颜色分支可以对此类攻击进行拦截。防伪分支通过标记为1，拦截标记为0。颜色分支通过标记为1，拦截标记为0。双分支结果融合策略通过标记为1，拦截标记为0。双分支结果融合策略具体见表1，即当且仅当两个分支都为通过时，双分支结果融合策略为通过。

表1

在实际执行过程中，由于人脸在人脸识别时，可能会有位置和姿态的变换，因此，可能会导致不同的人脸图片之间的角度差距较大，因此，为了补偿这种位置和姿态的误差，还可以在对多张颜色人脸图片和基准人脸图片进行处理之前，提取多张颜色人脸图片和基准人脸图片上的人脸关键点，该人脸关键点可以通过识别人脸图像的图像特征，根据图像特征确定，比如，当人脸关键点为如图6所示的五官的位置，则可以识别多张颜色人脸图片和基准人脸图片的图像特征，根据图像特征确定五官的对应位置为人脸关键点。

进一步的，根据人脸关键点进行人脸对齐处理，比如，将每个关键点调整在人脸图片的预设对应位置，从而，实现对人脸图片中人脸位置的调整，实现多张人脸图片的位置和姿态的统一，比如，如图7所示，当人脸关键点包括左眼角位置、右眼角位置、鼻尖位置时，则左眼角位置的预设对应位置为人脸图片中的(A1，B1)坐标位置，鼻尖的位置的预设对应位置为人脸图片中的(A2，B2)坐标位置，右眼角位置的预设对应位置为人脸图片中的(A3，B3)坐标位置，因此，可以根据该预设对应位置调整人脸图片，实现对人脸区域的角度的调整，多张调整后的人脸图片实现了对齐，便于后续的进一步人脸识别。

在一些可能的应用场景中，继续参照图4中的②，将①中采集的人脸图片序列发送到②进行图片预处理。预处理主要包含人脸关键点检测与人脸对齐两部分。人脸关键点检测算法为RetinaFace，具体关于RetinaFace算法的描述见3.5节中RetinaFace专有名词相关的论文。通过Retinaface算法可得到五个人脸关键点，关键点示意图见图7。利用五个人脸关键点对人脸进行对齐，人脸对齐主要原理如下：假设对齐前的五个关键点矩阵为A，对齐后五个关键点矩阵为B，目的是要找到一个变换矩阵Ω，使得A经过Ω变换后，最接近B。这个过程可以表示为求R＝argmin_Ω||ΩA-B||_F，Ω满足Ω^TΩ＝I，||·||_F是弗罗贝尼乌斯范数(Frobenius norm)。最终，R求解得R＝UV^T，M＝U∑V^T，M＝BA^T，即通过对BA^T进行奇异值分解，获得酉矩阵U、V，最终通过UV^T获得仿射变换矩阵。利用对齐后人脸的鼻尖关键点剪切出人脸区域。图1中的②描述的就是以上数据预处理过程，得到的图片序列将送入③中。

综上，本发明实施例的人脸识别处理方法，根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片，以及采集与基准色对应的基准人脸图片，进而，对多张颜色人脸图片和基准人脸图片进行处理，判断多张颜色人脸图片是否为真实人脸，按照图片采集顺序对多张颜色人脸图片和基准人脸图片进行处理，预测多张颜色人脸图片对应的颜色序列码，最后，如果多张颜色人脸图片为真实人脸，且颜色序列码与初始颜色顺序一致，则确定待识别的人脸合法。由此，采用颜色验证码策略，利用颜色分支对人脸的反射的颜色光进行预测，在无需用户配合的基础上，避免了人脸识别攻击。

基于上述实施例，在不同的应用场景中，对多张颜色人脸图片和基准人脸图片进行处理，判断多张颜色人脸图片是否为真实人脸的方式不同，示例说明如下：

示例一：

在本示例中，如图8所示，对多张颜色人脸图片和基准人脸图片进行处理，判断多张颜色人脸图片是否为真实人脸，包括：

步骤801，根据预设算法对基准人脸图片的像素值和多张颜色人脸图片的像素值进行处理，获取多张颜色人脸图片的待识别人脸特征。

在本示例中，待识别人脸特征，包括：与每张颜色人脸图片对应的人脸关键点的像素值，和/或，与多张颜色人脸图片相关的人脸运动轨迹，其中，该人脸运动轨迹可以包括人脸的角度的变化序列等。

在一些可能的示例中，可以预先根据深度学习技术训练深度学习模型，将多张颜色人脸图片输入到该深度学习模型，得到人脸运动轨迹，另外，上述与每张颜色人脸图片对应的人脸关键点的像素值获取方式可以参照上述实施例的描述，在此不再赘述。

步骤802，根据预先训练的神经网络模型对待识别人脸特征进行识别，确定多张颜色人脸图片是否为真实人脸。

在本实施例中，预先根据样本数据训练神经网络模型，从而，根据预先训练的神经网络模型对待识别人脸特征进行识别，确定多张颜色人脸图片是否为真实人脸。

示例二：

在本示例中，根据颜色人脸图片的拍摄顺序和多个初始颜色，对每个颜色人脸图片标注对应的初始颜色，确定基准人脸图片的第二像素值，获取预先设置的基准人脸图片对应的拍摄条件下的标准像素值，计算第二像素值和标准像素值的第二像素差值，该第二像素差值体现了基准人脸图片和预先设置的基准人脸图片在拍摄参数上的差异，基于该第二像素差值调整预设的每个初始颜色在当前人脸识别场景下对应的参考像素值，从而，将颜色人脸图片的像素值与对应的颜色的参考像素值比对，若是比对结果一致，则认为该颜色人脸图片对应于真实人脸，否则认为该颜色人脸图片不对应于真实人脸。

综上，本发明实施例的人脸识别处理方法，可以灵活的根据场景需要对多张颜色人脸图片和基准人脸图片进行处理，判断多张颜色人脸图片是否为真实人脸，避免了人脸识别时采用照片等进行的人脸识别攻击。

为了实现上述实施例，本发明还提出一种人脸识别处理装置。

图9为本发明实施例提供的一种人脸识别处理装置的结构示意图。

如图9所示，该人脸识别处理装置包括：采集模块910、判断模块920、预测模块930和确定模块940，其中，

采集模块910，用于根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片；

在本发明的一个实施例中，采集模块910，还用于采集基准色下的基准人脸图片。

判断模块920，用于对所述多张颜色人脸图片和预先采集的基准人脸图片进行处理，判断所述多张颜色人脸图片是否为真实人脸；

预测模块930，用于按照图片采集顺序对所述多张颜色人脸图片和所述基准人脸图片进行处理，预测所述多张颜色人脸图片对应的颜色序列码；

确定模块940，用于在所述多张颜色人脸图片为真实人脸，且所述颜色序列码与所述初始颜色顺序一致时，确定所述待识别的人脸合法。

进一步地，在本发明实施例的一种可能的实现方式中，如图10所示，该装置还包括：提取模块950、对齐模块960。

其中，提取模块950，用于提取所述多张颜色人脸图片和所述基准人脸图片上的人脸关键点；

对齐模块960，用于根据所述人脸关键点进行人脸对齐处理。

在本发明的一个实施例中，预测模块930，具体用于：

根据预设算法对所述基准人脸图片的像素值和所述多张颜色人脸图片的像素值进行处理，获取与每张所述颜色人脸图片对应的像素值，将所述每张所述颜色人脸图片对应的像素值与预设的标准颜色像素值进行比较，根据比较结果预测所述多张颜色人脸图片对应的颜色序列码。

在本发明的一个实施例中，所述确定模块940，还用于：

在至少一张所述颜色人脸图片不为真实人脸，和/或，所述颜色序列码与所述初始颜色顺序不一致时，确定所述待识别的人脸不合法。

需要说明的是，前述对人脸识别处理方法实施例的解释说明也适用于该实施例的人脸识别处理装置，此处不再赘述。

基于上述实施例，在上一实施例的基础上，判断模块920，具体用于：

根据预设算法对所述基准人脸图片的像素值和所述多张颜色人脸图片的像素值进行处理，获取所述多张颜色人脸图片的待识别人脸特征；

根据预先训练的神经网络模型对所述待识别人脸特征进行识别，确定所述多张颜色人脸图片是否为真实人脸。

所述待识别人脸特征，包括：

与每张所述颜色人脸图片对应的人脸关键点的像素值，和/或，与所述多张颜色人脸图片相关的人脸运动轨迹。

为了实现上述实施例，本发明还提出一种计算机设备，包括：处理器，以及用于存储所述处理器可执行指令的存储器。其中，处理器被配置为执行上述实施例所描述的人脸识别方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行上述实施例所描述的人脸识别方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行上述实施例所描述的人脸识别方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种人脸识别处理方法，其特征在于，包括：

根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片；

2.根据权利要求1所述的方法，其特征在于，在对所述多张颜色人脸图片和所述基准人脸图片进行处理之前，还包括：

提取所述多张颜色人脸图片和所述基准人脸图片上的人脸关键点；

根据所述人脸关键点进行人脸对齐处理。

3.根据权利要求1所述的方法，其特征在于，对所述多张颜色人脸图片和所述基准人脸图片进行处理，判断所述多张颜色人脸图片是否为真实人脸，包括：

4.根据权利要求3所述的方法，其特征在于，所述待识别人脸特征，包括：

与每张所述颜色人脸图片对应的人脸关键点的像素值，

和/或，

与所述多张颜色人脸图片相关的人脸运动轨迹。

5.根据权利要求1所述的方法，其特征在于，所述按照图片采集顺序对所述多张颜色人脸图片和所述基准人脸图片进行处理，预测所述多张颜色人脸图片对应的颜色序列码，包括：

根据预设算法对所述基准人脸图片的像素值和所述多张颜色人脸图片的像素值进行处理，获取与每张所述颜色人脸图片对应的像素值；

将所述每张所述颜色人脸图片对应的像素值与预设的标准颜色像素值进行比较，根据比较结果预测所述多张颜色人脸图片对应的颜色序列码。

6.根据权利要求1-5任一所述的方法，其特征在于，还包括：

如果至少一张所述颜色人脸图片不为真实人脸，和/或，所述颜色序列码与所述初始颜色顺序不一致，则确定所述待识别的人脸不合法。

7.如权利要求1所述的方法，其特征在于，在所述对所述多张颜色人脸图片和预先采集的基准人脸图片进行处理之前，还包括：

采集与基准色对应的所述基准人脸图片。

8.一种人脸识别处理装置，其特征在于，包括：

采集模块，用于根据预先确定的初始颜色顺序，对待识别的人脸采集对应的多张颜色人脸图片；

9.如权利要求8所述的装置，其特征在于，还包括：

提取模块，用于提取所述多张颜色人脸图片和所述基准人脸图片上的人脸关键点；

对齐模块，用于根据所述人脸关键点进行人脸对齐处理。

10.如权利要求8所述的装置，其特征在于，所述判断模块，具体用于：

11.如权利要求10所述的装置，其特征在于，所述待识别人脸特征，包括：

与每张所述颜色人脸图片对应的人脸关键点的像素值，

和/或，

与所述多张颜色人脸图片相关的人脸运动轨迹。

12.如权利要求8所述的装置，其特征在于，所述预测模块，具体用于：

根据预设算法对所述基准人脸图片的像素值和所述多张颜色人脸图片的像素值进行处理，获取与每张所述颜色人脸图片对应的像素值，

13.如权利要求8-12任一所述的装置，其特征在于，所述确定模块，还用于：

14.如权利要求8所述的装置，其特征在于，所述采集模块，还用于：

采集与基准色对应的所述基准人脸图片。

15.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的人脸识别处理方法。

16.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的人脸识别处理方法。