CN113516089B - 人脸图像识别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，提供了一种人脸图像识别方法、人脸图像识别装置、计算机设备及计算机可读存储介质。其中，一种人脸图像识别方法，将包含同一人脸的RGB图像与IR图像一同作为人脸图像识别过程中的样本，将该两种图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，由于IR图像是通过IR摄像头基于人脸温度成像得到且包含与RGB图像中相同人脸的图像，因此能够表征RGB图像中的人脸图像内容来源于活体，当人脸区域在图像中间区域时，预先训练后的第二识别模块基于IR图像得到的第二识别结果更准确，实现了在验证图像中人脸内容来源于活体的同时，还提高了对人脸图像识别的准确率。

Description

人脸图像识别方法、装置、设备及可读存储介质

技术领域

本发明属于人工智能技术领域，尤其涉及一种人脸图像识别方法、人脸图像识别装置、计算机设备及计算机可读存储介质。

背景技术

目前，人脸图像识别技术已被应用到各个领域，例如，利用人脸图像进行终端屏幕解锁，利用人脸图像进行在线支付等。

现有的人脸图像识别过程中，除了需要比对人脸图像中的特征外，还需要考虑人脸图像是否来源于活体，从而避免出现用人脸照片冒充的行为。例如，在对用户进行人脸图像识别的同时，通过指示用户输入语音信息或者指示用户做出面部动作，以此来判断人脸图像的来源是否为活体。但是，在一些特殊使用场景中，通过指示用户输入语音信息或者指示用户做出面部动作来判断人脸图像的来源是否为活体的方法，相对来说较为复杂与繁琐。如，在利用人脸图像识别进行考勤门禁系统的开启时，指示用户在通勤时做出指定动作或者说出指定语音，则容易导致因为用时过长造成门禁通道出现人群拥堵的现象，更不利于人脸图像识别。由此可见，现有的人脸图像识别方案在判断人脸图像的来源是否为活体时，由于判断过程较复杂，导致人脸图像识别效率较低的问题。

发明内容

有鉴于此，本申请实施例提供了一种人脸图像识别方法、人脸图像识别装置、计算机设备及计算机可读存储介质，以解决现有的人脸图像识别方案在判断人脸图像的来源是否为活体时，由于判断过程较复杂导致，导致人脸图像识别效率较低的问题。

本申请实施例的第一方面提供了一种人脸图像识别方法，包括：

将包含同一人脸的三原色RGB图像与红外IR图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，得到所述RGB图像的第一识别结果与所述IR图像的第二识别结果；

若所述第一识别结果与所述第二识别结果不相同，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域；

若所述人脸区域在所述图像中间区域，则以所述第二识别结果作为人脸图像识别结果；

若所述人脸区域不在所述图像中间区域，则以所述第一识别结果作为人脸图像识别结果。

本申请实施例的第二方面提供了一种人脸图像识别装置，包括：

识别单元，用于将包含同一人脸的三原色RGB图像与红外IR图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，得到所述RGB图像的第一识别结果与所述IR图像的第二识别结果；

判断单元，用于若所述第一识别结果与所述第二识别结果不相同，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域；

第一执行单元，用于若所述人脸区域在所述图像中间区域，则以所述第二识别结果作为人脸图像识别结果；

第二执行单元，用于若所述人脸区域不在所述图像中间区域，则以所述第一识别结果作为人脸图像识别结果。

本申请实施例的第三方面提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面的各个步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的各个步骤。

实施本申请实施例提供的一种人脸图像识别方法、人脸图像识别装置、计算机设备及计算机可读存储介质具有以下有益效果：

本申请实施例，将包含同一人脸的RGB图像与IR图像一同作为人脸图像识别过程中的样本，将该两种图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，由于IR图像是通过IR摄像头基于人脸温度成像得到且包含与RGB图像中相同人脸的图像，因此能够表征RGB图像中的人脸图像内容来源于活体，利用第一识别模型与预先训练后的第二识别模型得到RGB图像的第一识别结果与IR图像的第二识别结果时，因为当人脸区域在图像中间区域时，预先训练后的第二识别模块基于IR图像得到的第二识别结果更准确，因此当第一识别结果与第二识别结果不相同时，通过判断RGB图像或IR图像中的人脸区域是否在图像中间区域，进而在人脸区域处于图像中间区域时，以第二识别结果作为人脸图像识别结果，在人脸区域不处于图像中间区域时，以第一识别结果作为人脸图像识别结果，实现了在验证图像中人脸内容来源于活体的同时，还提高了对人脸图像识别的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种人脸图像识别方法的实现流程图；

图2是本申请另一实施例中步的一种人脸图像识别方法的实现流程图；

图3是本申请再一实施例中步的一种人脸图像识别方法的实现流程图；

图4是本申请实施例提供的一种人脸图像识别装置的结构框图；

图5是本申请实施例提供的一种计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本实施例提供的一种人脸图像识别方法，执行主体为服务器，具体可以是配置有该方法功能的服务器，或者是服务器集群中的任一服务器。这里，服务器集群可以是由多个服务器组成的服务器集群，基于该服务器集群构建分布式系统，使得服务器集群中的多个服务器之间可以实现数据共享或数据同步。在此基础上，向该服务器集群中的任一服务器配置目标脚本文件，由该目标脚本文件描述本实施例提供的人脸图像识别方法，使得该配置有目标脚本文件的服务器能够通过执行该目标脚本文件，进而执行人脸图像识别方法中的各个步骤。

在实现时，服务器或者服务器集群中的任一服务器，服务器通过与RGB摄像头和IR摄像头连接，在RGB摄像头和IR摄像头同时采集到包含同一人脸的RGB图像与IR图像时，将包含同一人脸的RGB图像与IR图像一同作为人脸图像识别过程中的样本，分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，由于IR图像是通过IR摄像头基于人脸温度成像得到且包含与RGB图像中相同人脸的图像，因此能够表征RGB图像中的人脸图像内容来源于活体，利用第一识别模型与预先训练后的第二识别模型得到RGB图像的第一识别结果与IR图像的第二识别结果时，因为当人脸区域在图像中间区域时，预先训练后的第二识别模块基于IR图像得到的第二识别结果更准确，因此当第一识别结果与第二识别结果不相同时，通过判断RGB图像或IR图像中的人脸区域是否在图像中间区域，进而在人脸区域处于图像中间区域时，以第二识别结果作为人脸图像识别结果，在人脸区域不处于图像中间区域时，以第一识别结果作为人脸图像识别结果，实现了在验证图像中人脸内容来源于活体的同时，还提高了对人脸图像识别的准确率。

例如，以人脸识别方法在通勤门禁系统的服务器中应用为例，通勤门禁系统用于对用户进行人脸图像采集与人脸图像识别，并在识别结果为合法或者成功时，开启门禁道闸，同时记录用户的通勤信息。在实际使用中，对用户进行人脸图像采集是通过设置RGB摄像头与IR摄像头实现，也即同时用户的人脸进行RGB图像采集与IR图像采集，故采集到的RGB图像中的人脸内容与IR图像中的人脸内容来源于同一人。勤门禁系统的服务器与RGB摄像头和IR摄像头连接，勤门禁系统的服务器在接收到含同一人脸的RGB图像与IR图像后，将该RGB图像与IR图像一同作为人脸图像识别过程中的样本，分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，由于IR图像是通过IR摄像头基于人脸温度成像得到且包含与RGB图像中相同人脸的图像，因此能够表征RGB图像中的人脸图像内容来源于活体，利用第一识别模型与预先训练后的第二识别模型得到RGB图像的第一识别结果与IR图像的第二识别结果时，因为当人脸区域在图像中间区域时，预先训练后的第二识别模块基于IR图像得到的第二识别结果更准确，因此当第一识别结果与第二识别结果不相同时，通勤门禁系统的服务器通过判断RGB图像或IR图像中的人脸区域是否在图像中间区域，进而在人脸区域处于图像中间区域时，以第二识别结果作为人脸图像识别结果，在人脸区域不处于图像中间区域时，以第一识别结果作为人脸图像识别结果，实现了在通勤门禁过程中验证图像中人脸内容来源于活体的同时，还提高了对人脸图像识别的准确率。

以下通过具体实现方式对本实施例提供的一种人脸图像识别方法进行详细说明。

图1示出了本申请一实施例提供的人脸图像识别方法的实现流程图，详述如下：

S11：将包含同一人脸的三原色RGB图像与红外IR图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，得到所述RGB图像的第一识别结果与所述IR图像的第二识别结果。

在步骤S11中，RGB图像是由RGB摄像头采集到的图像，IR图像是由IR摄像头采集到的图像。这里，RGB摄像头与IR摄像头可以成对设置，且同时对同一人脸进行图像采集，进而得到配对的RGB图像与IR图像，且令RGB图像中包含的人脸与IR图像中包含的人脸为同一人脸。预先训练后的第一识别模型用于对RGB图像中的人脸进行识别，预先训练后的第二识别模型用于对IR图像中的人脸进行识别。

可以理解的是，在实际应用中无论是第一识别模型还是第二识别模型，都需要利用训练样本对其进行训练，且因为本领域技术人在实现人脸图像的识别时，可以根据不同的识别灵敏度需求或者根据模型的具体原理配置相应的训练策略，故此处不再对第一识别模型与第二识别模型的具体训练过程进行赘述。

在本实施例中，RGB图像的第一识别结果是预先训练后的第一识别模型以RGB图像为输入数据，并对该RGB图像进行特征提取与识别得到的结果，用于表征RGB图像中的人脸归属，也即用于指示该RGB图像中的人脸内容是否与数据库中的用户人脸相匹配。IR图像的第二识别结果是预先训练后的第二识别模型以IR图像为输入数据，并对该IR图像进行特征提取与识别得到的结果，用于表征IR图像中的人脸的归属。也即，IR图像的第二识别结果仅用于指示该IR图像中的人脸内容是否与数据库中的用户人脸相匹配。

在实现时，考虑到令RGB图像与IR图像中能够包含同一人脸，因此可以在设置RGB摄像头与IR摄像头时，将RGB摄像头与IR摄像头成对设置，且对人脸采集的角度也要一致。由于IR摄像头在进行图像采集时，需要依赖设置在摄像头周围的红外光进行补光，因此IR摄像头采集到的IR图像其中间区域因红外光的补光使得呈现内容更加清晰，更利于在多场景或者多用途环境下的人脸识别。

需要说明的是，由于RGB摄像头与IR摄像头均是实时进行图像采集，但并非将所有采集到的图像都作为RGB图像与IR图像。在本申请的所有实施例中，RGB图像与IR图像均是包含人脸的图像，且包含至少一相同人脸的图像，也即，只有RGB摄像头与IR摄像头同时拍摄到同一人脸图像时，才将RGB摄像头与IR摄像头拍摄到的图像分别作为这里的RGB图像与IR图像。这里，由于IR摄像头在进行图像采集时，容易受到温度的影响出现离焦与光学像点模糊的现象，故能够很好的避免在人脸图像识别过程中以照片冒充真实人脸的情况，因为当以照片等人脸图像载体面对IR摄像头时，由于温度差异导致IR摄像头对其进行成像时出现离焦与光学像点模糊，故无法从中检测到人脸区域，也不会对该冒充行为过程进行IR成像，也即无法得到IR图像。本实施例通过IR摄像头进行图像采集时，不仅能够采集到包含人脸的IR图像，还对IR摄像头配置了只在人脸图像来源于活体时，才对图像采集区域内容进行成像的这一特性，实现了在对人脸图像进行成像，得到IR图像的过程中，完成了对人脸图像来源是否为活体的间接检测。

应当理解的是，由于在实际使用过程中，存在摄像头与IR摄像头同时对两个或者多个人脸进行成像的情况，因此在利用预先训练后的第一识别模型与预先训练后的第二识别模型分别进行识别时，可以通过在RGB图像与IR图像中对同一人脸的内容配置相应的标识，用于表征RGB图像与IR图像中相同的人脸的位置。

例如，当RBG图像与IR图像中均包含有用户甲与用户乙的人脸图像，可以利用第一识别模型与第二识别模型分别进行识别时，通过在RGB图像与IR图像中分别对用户甲的人脸区域配置标识001，对用户乙的人脸区域配置标识002，进而区分用户甲与用户乙的人脸区域，同时也便于在第一识别结果与第二识别结果中区分用户甲与用户乙的识别结果。

作为一个实施例，第一识别模型可以是采用轻量级的MobileFaceNet作为骨干网络构建得到，其中，还可以使用Softmax和CrossEntropyLoss作为损失函数，并加入Squeeze-and-Excitation的注意力模块，动态的适应分散的判别线索，同时引入傅里叶频谱图作为辅助监督，提升模型精度。在利用预先构建得到的RGB训练样本对第一识别模型进行训练，得到用于对RGB图像进行人脸识别的预先训练后的第一识别模型。这里，预先训练后的第一识别模型以RGB图像作为模型的输入数据，利用具有不同感受野的特征提取层，分别对RGB图像进行特征提取，对提取到的特征内容卷积池化，得到不同宽度的多个特征向量，再依据特征融合策略将多个特征进行向量融合，最终得到RGB特征向量，该RGB特征向量用于与参考人脸图像的参考向量进行相似度比较，也即RGB特征向量与参考向量进行相似度比较得到的第一相似度值，该第一相似度值与第一预设相似度阈值的比较结果，即为第一识别结果。其中，当第一相似度值等于或大于第一预设相似度阈值时，第一识别结果为识别成功，当第一相似度值小于第一预设相似度阈值时，第一识别结果为识别失败。

第二识别模块可以是采用ResNet作为特征提取网络，用IR摄像头下的人脸作为输入。通过数据增强的方式，克服了双目摄像头中RGB和IR人脸框没有对齐的问题。同时利用直方图均衡，亮度增加技术，对IR图像进行增强，扩大可检测标识区。在利用预先构建得到的IR训练样本对第二识别模型进行训练，得到用于对IR图像进行人脸识别的预先训练后的第二识别模型。这里，预先训练后的第二识别模型以IR图像作为模型的输入数据，利用第二识别模型中的ResNet网络作为特征提取网络，其中，人脸区域的特征向量用于与参考向量进行相似度比较得到的第二相似度值，该第二相似度值与第二预设相似度阈值的比较结果，即为第二识别结果。其中，当第二相似度值等于或大于第二预设相似度阈值时，第二识别结果为识别成功，当第二相似度值小于第二预设相似度阈值时，第二识别结果为识别失败。

在一些实施例中，还可以通过在第二识别模型中增加softmax函数层来区分提取的特征属于生命体或非生命体。这里，由于在第二识别模型中增加了softmax函数层，因此在对第二识别模型进行训练时，可以利用非生物体数据与生物体数据组合得到的IR训练样本对第二识别模型进行训练，令其学习生物体数据与非生物体数据之间的差异性。相应地，在对IR图像进行特征提取时，将IR图像中的人脸区域划分为人脸边缘区域与人脸特征区域，人脸边缘区域提取到的特征与人脸特征区域提取到的特征共同传递至softmax函数层，由该softmax函数层基于人脸边缘区域提取到的特征与人脸特征区域提取到的特征判断IR图像中的人脸内容的来源归属，也即判断人脸内容是否来源于用户本人。人脸特征区域提取到的特征还通过另一通道传递至相似度比较层，通过该相似度比较层将人脸特征区域提取到的特征向量与参考向量进行相似度比较，得到的第二相似度值，该第二相似度值与第二预设相似度阈值的比较结果，即为第二识别结果。

S12：若所述第一识别结果与所述第二识别结果不相同，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域。

在步骤S12中，第一识别结果与第二识别结果不相同，表征预先训练后的第一识别模型与预先训练后的第二识别模型的决策出现了分歧，故此时需要从第一识别结果与第二识别结果中确定出一个更为准确的结果作为最终的识别结果。这里，判断人脸区域是否在图像中间区域，是为了从RGB图像与IR图像中确定出一个更适合作为识别参考的样本，同时也是为了从预先训练后的第一识别模型与预先训练后的第二识别模型中，确定出决策结果更可信的识别模型。

在本申请的所有实施例中，由于RGB图像与IR图像是分别由RGB摄像头与IR摄像头对同一人脸图像进行采集得到的两种图像，且RGB摄像头与IR摄像头对应设置，采集人脸图像的角度相同，因此无论是基于RGB图像还是基于IR图像，均可以用于判断人脸区域是否在图像中间区域。

需要说明的是，由于IR摄像头在进行图像采集时，需要依赖设置在摄像头周围的红外光进行补光，因此IR摄像头采集到的IR图像其中间区域因红外光的补光使得呈现内容更加清晰，更利于在任何场景或者环境下的人脸识别。在实际使用中，IR摄像头的周围分布有红外光源，也即红外光源靠近IR摄像头的镜头中心，因此在该红外光源的补光作用下，IR图像其中间区域因红外光的补光使得呈现内容更加清晰。故通过确定人脸区域是否在图像中间区域，能够确定IR图像是否更适合作为识别参考的样本。

可以理解的是，由于RGB图像与IR图像包含同一人脸，且只有在采集到图像画面中出现人脸时，RGB摄像头与IR摄像头才对画面进行成像，也即在对画面进行成像时已经能够对画面中的人脸区域进行定位，而RGB摄像头与IR摄像头拍摄图像的视野大小均为已知参数，因此基于RGB图像或IR图像的大小以及在图像中的人脸区域，能够判断人脸区域是否在图像中间区域。

作为一个实施例，步骤S12可以包括：

若第一识别结果为识别成功，且第二识别结果为识别失败时，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域；

若第一识别结果为识别失败，且第二识别结果为识别成功时，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域。

在本实施例中，第一识别结果识别成功指的是对RGB图像进行人脸识别的结果为通过，也即从RGB图像中识别出的人脸信息与数据库中的人脸信息匹配。第一识别结果识别失败指的是对RGB图像进行人脸识别的结果为不通过，也即从RGB图像中识别出的人脸信息与数据库中的人脸信息不匹配。同理，第二识别结果识别成功指的是对IR图像进行人脸识别的结果为通过，也即从IR图像中识别出的人脸信息与数据库中的人脸信息匹配。第二识别结果识别失败指的是对IR图像进行人脸识别的结果为不通过，也即从IR图像中识别出的人脸信息与数据库中的人脸信息不匹配。

需要说明的是，由于第一识别结果是预先训练后的第一识别模型基于RGB图像进行人脸识别得到的结果，因此必然在得到该第一识别结果之前已经通过RGB摄像头采集到包含人脸的RGB图像，同样，对于第二识别结果来说，由于第二识别结果是第二识别模型基于IR图像进行人脸识别得到的结果，因此必然在得到该第二识别结果之前已经通过IR摄像头采集到包含人脸的IR图像。另外，由于IR摄像头在进行图像采集时，容易受到温度的影响出现离焦与光学像点模糊的现象，故能够很好的避免在人脸图像识别过程中以照片冒充真实人脸的情况，因为当以照片等人脸图像载体面对IR摄像头时，由于温度差异导致IR摄像头对其进行成像时出现离焦与光学像点模糊，故无法从中检测到人脸区域，故不会对该冒充行为过程进行IR成像，也即无法得到IR图像，所以当IR摄像头采集包含人脸的IR图像时，如果第二识别模型基于IR图像进行人脸识别得到的识别结果为失败时，并不是表征IR图像中的人脸来源于非人体，而是仅表征无法从数据库中查找到与该IR图像中人脸相匹配的参考数据。

在实现时，判断RGB图像或IR图像中的人脸区域是否在图像中间区域，具体可以是对RGB图像和或IR图像建立坐标系，通过确定人脸区域在坐标系的位置范围，进而确定人脸区域是否在图像中间区域。

作为本实施例一种可能实现的方式，上述方案中，判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域，可以包括：

以所述RGB图像或所述IR图像的中心点为坐标原点构建坐标系；基于所述人脸区域在所述坐标系中的位置，判断所述人脸区域是否在图像中间区域。

在本实施例中，以RGB图像或IR图像的中心点为坐标原点构建出来的坐标系，是为了将RGB图像或IR图像进行分区和标记，因此能够通过在该坐标系中确定出人脸区域的位置，进而判断人脸区域是否在图像中间区域。这里，由于坐标系的坐标原点是RGB图像或IR图像的中心点，因此在确定了人脸区域在坐标系中的位置后，即可通过测算人脸区域距离坐标原点之间的距离判断RGB图像或IR图像中的人脸区域是否在图像中间区域。

需要说明的是，无论是以RGB图像的中心点还是以IR图像的中心点作为坐标原点构建坐标系，都需要考虑图像的成像大小。这里，由于RGB摄像头与IR摄像头可以成对配置，因此可以将RGB图像与IR图像的成像大小设置为相同的参数，令RGB图像与IR图像大小相同，故在判断人脸区域是否在图像中间区域时，RGB图像与IR图像均可用于构建坐标系。

作为一种可能实现的方式，还可以通过对RGB图像和或IR图像建立坐标系，并在该坐标系中设置中间区域范围与边缘区域范围，当人脸区域在坐标系的位置范围与中间区域范围重叠的部分大于第一预设阈值，则确定人脸区域在图像中间区域；当人脸区域在坐标系的位置范围与中间区域范围重叠的部分不大于第一预设阈值，则确定人脸区域不在图像中间区域。

作为一个实施例，上述方案中，基于所述人脸区域在所述坐标系中的位置，判断所述人脸区域是否在图像中间区域，包括：

获取所述人脸区域的目标中心点在所述坐标系中的坐标信息；

若根据所述坐标信息确定所述目标中心点与所述坐标原点之间的距离大于预设阈值，则判定所述人脸区域不在图像中间区域；

若根据所述坐标信息确定所述目标中心点与所述坐标原点之间的距离小于或等于预设阈值，则判定所述人脸区域在图像中间区域。

在本实施例中，由于人脸区域在图像中所占据的位置并非能用一个坐标值表示，也即人脸区域在坐标系中的具体位置为多个坐标值组成的坐标集合，因此在用于判断人脸区域是否在图像的中心位置时，存在计算量较大，且准确程度较低的问题，故本实施例判断人脸区域是否在图像中间区域时，选择通过获取人脸区域的目标中心点在坐标系中的坐标信息，进而确定该目标中心点与坐标原点之间的距离，也即利用人脸区域的单个点的坐标值判断人脸区域偏离图像中心点的大小，不仅能够减少计算量，还能够保证判断的准确性。

S13：若所述人脸区域在所述图像中间区域，则以所述第二识别结果作为人脸图像识别结果。

在步骤S13中，人脸区域在图像中间区域表示在第一识别结果与第二识别结果不同的条件下，IR图像跟更适合作为人脸识别的样本，相应地，预先训练后的第二识别模型对IR图像进行人脸识别的结果更接近实际的真实结果。这里，以第二识别结果作为人脸识别结果，也即以第二识别结果为人脸识别的结果进行输出。

在本实施例中，当人脸区域在图像中间区域时，将第二识别结果作为人脸图像识别结果，是因为考虑到IR图像是由IR摄像头对人脸图像进行采集得到，且由于IR摄像头的周围分布有红外光源，也即红外光源靠近IR摄像头的镜头中心，因此在该红外光源的补光作用下，IR图像其中间区域因红外光的补光使得呈现内容更加清晰，故以第二识别模型对IR图像的第二识别结果作为人脸图像识别结果更接近实际的真实结果。

在一些实施例中，当RGB摄像头与IR摄像头并非对应设置，且两者进行人脸图像采集的角度不同时，采集到的人脸在图像中的位置也可能存在差异。相应地，作为一个示例，如果RGB图像与IR图像中拍摄到的人脸角度不同，则在步骤S12中，当第一识别结果与第二识别结果不同时，只能基于IR图像进行人脸位置判断，也即判断IR图像中的人脸区域是否在IR图像的中间区域，相应地，步骤S13则可以包括：若所述人脸区域在所述IR图像中间区域，则以所述第二识别结果作为人脸图像识别结果。

S14：若所述人脸区域不在所述图像中间区域，则以所述第一识别结果作为人脸图像识别结果。

在步骤S14中，人脸区域不在图像中间区域指的是人脸区域不在RGB图像的中间区域或者人脸区域不在IR图像的中间区域。这里，由于本实施例中的RGB图像与IR图像在成像时，均是以相同的位置与角度对人脸进行图像采集得到，因此当人脸区域不在图像中间区域时，必然能够确定人脸图像不在IR图像的中间区域，故表示IR图像此时并不能作为更好的样本用作人脸识别。

在本实施例中，由于RGB图像是由RGB摄像头采集到的包含人脸的图像，且在成像时并不需要进行环境补光等操作，在RGB摄像头的视野范围内不会出现对某些区域成像较为清晰的问题。因此利用第一识别模块对RGB图像进行人脸识别时，无论人脸图像在图像中的位置是否为图像的中心位置，对RGB图像进行人脸识别的表现都较为稳定。

以上方案中，将包含同一人脸的RGB图像与IR图像一同作为人脸图像识别过程中的样本，将该两种图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，由于IR图像是通过IR摄像头基于人脸温度成像得到且包含与RGB图像中相同人脸的图像，因此能够表征RGB图像中的人脸图像内容来源于活体，利用第一识别模型与预先训练后的第二识别模型得到RGB图像的第一识别结果与IR图像的第二识别结果时，因为当人脸区域在图像中间区域时，预先训练后的第二识别模块基于IR图像得到的第二识别结果更准确，因此当第一识别结果与第二识别结果不相同时，通过判断RGB图像或IR图像中的人脸区域是否在图像中间区域，进而在人脸区域处于图像中间区域时，以第二识别结果作为人脸图像识别结果，在人脸区域不处于图像中间区域时，以第一识别结果作为人脸图像识别结果，实现了在验证图像中人脸内容来源于活体的同时，还提高了对人脸图像识别的准确率。

以图1示出的实施例为基础，图2示出了本申请另一实施例提供的一种人脸图像识别方法的实现流程图。与图1示出的实施例不同之处在于，本实施例提供的人脸图像识别方法在步骤S11之前还包括步骤S21～S22。具体地：

S21：利用人脸检测模型对RGB摄像头与IR摄像头采集到的第一图像与第二图像进行人脸检测。

S22：当检测到所述第一图像与所述第二图像中均存在人脸时，将所述第一图像作为RGB图像，且将所述第二图像作为IR图像。

在本实施例中，人脸检测模型用于对摄像头采集到的图像进行人脸检测，也即用于确定摄像头采集到的图像中是否包含人脸内容。这里，利用人脸检测模型对RGB摄像头与IR摄像头采集到的第一图像与第二图像进行人脸检测，具体是利用人脸检测模型分别对RGB摄像头与IR摄像头采集到的第一图像与第二图像进行人脸检测，当第一图像与第二图像中均出现人脸时，将第一图像作为RGB图像，将第二图像作为IR图像。

作为一个示例，人脸检测模型可以是通过采用一个MobileFaceNet-Deep模型，通过引入ResNet Block到MobileNetV2的骨干网络中，加深原有的骨干网络，进而构建得到人脸检测模型。在实现时，可以先构建一列为MobileFaceNet的基本单元，中间列为一个残差块的网络结构，通过循环拼接这两种结构，加深了原有的网络结构，进而令人脸检测模型能够提取到更能准确描述人脸的特征。

需要说明的是，本实施例中由于RGB摄像头与IR摄像头均是实时成像，因此对于RGB摄像头采集到的第一图像与IR摄像头采集到的第二图像来说，也是即时利用人脸检测模型分别进行人脸检测，当检测第一图像与第二图像中均存在人脸时，立即对第一图像与第二图像进行保留，且将第一图像作为RGB图像，将第二图像作为IR图像。

作为本实施例一种可能实现的方式，步骤S21包括：

当检测到所述图像中存在多个人脸时，按照预设策略分别对第一图像与第二图像进行人脸标识配置，得到新的第一图像与新的第二图像；

将所述新的第一图像与所述新的第二图像分别作为RGB图像与IR图像。

在本实施例中，预设策略用于描述对第一图像与第二图像进行人脸标识配置的方式。这里，对第一图像与第二图像进行人脸标识配置的方式，可以包括按照统一顺序对RGB图像与IR图像进行扫描，确定RGB图像与IR图像中出现的所有人脸位置，并为分别处于RGB图像与IR图像中的同一坐标的人脸配置人脸标识对，该人脸标识对用于在RGB图像与IR图像中区分人脸的来源。

在一些本实施例中，当RGB摄像头与IR摄像头实时对同一区域进行图像采集时，只需要利用人脸检测模型对第一图像或第二图像中进行人脸检测即可，因为当RGB摄像头与IR摄像头实时对同一区域进行图像采集时，采集到的第一图像与第二图像中是否存在人脸的结果是一致的，因此仅需利用人脸检测模型对其中一个图像进行人脸检测即可。

以图1或图2示出的实施例为基础，图3示出了本申请再一实施例提供的一种人脸图像识别方法的实现流程图。与图1示出的实施例不同之处在于，本实施例提供的人脸图像识别方法在步骤S11之前还包括步骤S31。这里，当以图2示出的实施例为基础时，步骤S31与图2示出的实施例中步骤S21～S22为并列步骤。也即，步骤S21～S22与步骤S31可同时存在与本实施例提供的人脸图像识别方法中，由于步骤S31与步骤S21～S22均作为得到RGB图像与IR图像的步骤，执行不分先后，因此可以根据实际情况选择通过执行步骤S31得到RGB图像与IR图像，或选择通过执行步骤S21～S22得到RGB图像与IR图像。例如，若当前时刻在RGB摄像头与IR摄像头的预定工作时段内，则执行步骤S21～S22；若当前时刻不在RGB摄像头与IR摄像头的预定工作时段内，则执行步骤S31。当执行了步骤S21～S22时便不再执行步骤S31，当执行了步骤S31时便不再执行步骤S21～S22。具体地：

S31：若检测到预设的图像采集区域内有人，则调用RGB摄像头与IR摄像头对所述预设的图像采集区域进行人脸图像采集，得到RGB图像与IR图像。

在本实施例中，预设的图像采集区域为RGB摄像头与IR摄像头进行图像采集的区域。在对预设的图像采集区域内是否有人进行检测时，可以利用已有的传感器，例如红外热力学传感器等，当有人出现在预设的图像采集区域内，即可表示当前需要进行人脸图像识别，因此可以通过调用RGB摄像头与IR摄像头对预设的图像采集区域进行人脸图像采集，进而得到RGB图像与IR图像。

与图2实施例相比，本实施例在步骤S11之前还增加了RGB图像与IR图像的采集步骤。但在本实施例中，并非是调用人脸检测模型对RGB图像与IR图像进行人脸检测，而是采用检测预设的图像采集区域是否有人的方式，决定是否调用RGB摄像头与IR摄像头对预设的图像采集区域进行人脸图像采集，进而实现对RGB图像与IR图像的采集。相较于图2的实施例，本示例获取RGB图像与IR图像的方式，不需要即时对RGB摄像头与IR摄像头采集到的图像分别进行人脸检测，避免通过调用人脸检测模型导致的大量技术的现象。同时，只有在若检测到预设的图像采集区域内有人时，才调用RGB摄像头与IR摄像头对预设的图像采集区域进行人脸图像采集，无需RGB摄像头与IR摄像头实时进行图像采集，也即使得获得RGB图像与IR图像的过程更加节省成本。

请参阅图4，图4是本申请实施例提供的一种人脸图像识别装置的结构框图。本实施例中该移动终端包括的各单元用于执行图1至图3对应的实施例中的各步骤。具体请参阅图1至图3以及图1至图3所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图4，人脸图像识别装置40包括：识别单元41、判断单元42、第一执行单元43以及第二执行单元44。具体地：

识别单元41，用于将包含同一人脸的三原色RGB图像与红外IR图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，得到所述RGB图像的第一识别结果与所述IR图像的第二识别结果。

判断单元42，用于若所述第一识别结果与所述第二识别结果不相同，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域。

第一执行单元43，用于若所述人脸区域在所述图像中间区域，则以所述第二识别结果作为人脸图像识别结果。

第二执行单元44，用于若所述人脸区域不在所述图像中间区域，则以所述第一识别结果作为人脸图像识别结果。

作为一个实施例，人脸图像识别装置40还包括：检测单元45与确定单元46。

检测单元45，用于利用人脸检测模型对RGB摄像头与IR摄像头采集到的第一图像与第二图像进行人脸检测。

确定单元46，用于当检测到所述第一图像与所述第二图像中均存在人脸时，将所述第一图像作为RGB图像，且将所述第二图像作为IR图像。

作为一个实施例，人脸图像识别装置40还包括：调用单元47。

调用单元47，用于若检测到预设的图像采集区域内有人，则调用RGB摄像头与IR摄像头对所述预设的图像采集区域进行人脸图像采集，得到RGB图像与IR图像。

应当理解的是，图4示出的人脸图像识别装置的结构框图中，各单元用于执行图1至3任一方法流程图对应的实施例中的各步骤，而对于图1至3任一方法流程图对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请参阅图1至3任一方法流程图所对应的实施例中的相关描述，此处不再赘述。

图5是本申请实施例提供的一种计算机设备的结构框图。如图5所示，该实施例的计算机设备50包括：处理器51、存储器52以及存储在所述存储器52中并可在所述处理器51上运行的计算机程序53，例如人脸图像识别方法的程序。处理器51执行所述计算机程序53时实现上述各个人脸图像识别方法各实施例中的步骤，例如图1所示的S11至S14，或者图2所示的S21至S14，或者图3所示的S31至S14，所述处理器51执行所述计算机程序53时实现上述图4对应的实施例中各单元的功能，例如，图4所示的单元41至47的功能，具体请参阅图4对应的实施例中的相关描述，此处不赘述。

示例性的，所述计算机程序53可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器52中，并由所述处理器51执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序53在所述计算机设备50中的执行过程。例如，所述计算机程序53可以被分割成识别单元、判断单元、第一执行单元以及第二执行单元，各单元具体功能如上所述。

所述转台设备可包括，但不仅限于，处理器51、存储器52。本领域技术人员可以理解，图5仅仅是计算机设备50的示例，并不构成对计算机设备50的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述转台设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器51可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器52可以是所述计算机设备50的内部存储单元，例如计算机设备50的硬盘或内存。所述存储器52也可以是所述计算机设备50的外部存储设备，例如所述计算机设备50上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器52还可以既包括所述计算机设备50的内部存储单元也包括外部存储设备。所述存储器52用于存储所述计算机程序以及所述转台设备所需的其他程序和数据。所述存储器52还可以用于暂时地存储已经输出或者将要输出的数据。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种人脸图像识别方法，其特征在于，包括：

将包含同一人脸的三原色RGB图像与红外IR图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，得到所述RGB图像的第一识别结果与所述IR图像的第二识别结果；其中，所述第一识别结果用于指示所述RGB图像中的人脸内容是否与数据库中的用户人脸相匹配；所述第二识别结果用于指示所述IR图像中的人脸内容是否与所述数据库中的用户人脸相匹配；在所述第二识别结果为识别失败时，仅表征无法从所述数据库中查找到与所述IR图像中的人脸相匹配的参考数据；

若所述第一识别结果与所述第二识别结果不相同，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域；

若所述人脸区域在所述图像中间区域，则以所述第二识别结果作为人脸图像识别结果；

若所述人脸区域不在所述图像中间区域，则以所述第一识别结果作为人脸图像识别结果；

所述判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域包括：

以所述RGB图像或所述IR图像的中心点为坐标原点构建坐标系；

获取所述人脸区域的目标中心点在所述坐标系中的坐标信息；

若根据所述坐标信息确定所述目标中心点与所述坐标原点之间的距离大于预设阈值，则判定所述人脸区域不在图像中间区域；

若根据所述坐标信息确定所述目标中心点与所述坐标原点之间的距离小于或等于预设阈值，则判定所述人脸区域在图像中间区域。

2.根据权利要求1所述的人脸图像识别方法，其特征在于，在所述将包含同一人脸的三原色RGB图像与红外IR图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，得到所述RGB图像的第一识别结果与所述IR图像的第二识别结果的步骤之前，包括：

利用人脸检测模型对RGB摄像头与IR摄像头采集到的第一图像与第二图像进行人脸检测；

当检测到所述第一图像与所述第二图像中均存在人脸时，将所述第一图像作为RGB图像，且将所述第二图像作为IR图像。

3.根据权利要求1所述的人脸图像识别方法，其特征在于，在所述将包含同一人脸的三原色RGB图像与红外IR图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，得到所述RGB图像的第一识别结果与所述IR图像的第二识别结果的步骤之前，包括：

若检测到预设的图像采集区域内有人，则调用RGB摄像头与IR摄像头对所述预设的图像采集区域进行人脸图像采集，得到RGB图像与IR图像。

4.根据权利要求2所述的人脸图像识别方法，其特征在于，所述当检测到所述第一图像与所述第二图像中均存在人脸时，将第一图像作为RGB图像，且将所述第二图像作为IR图像，包括：

当检测到所述图像中存在多个人脸时，按照预设策略分别对第一图像与第二图像进行人脸标识配置，得到新的第一图像与新的第二图像；

将所述新的第一图像与所述新的第二图像分别作为RGB图像与IR图像。

5.根据权利要求1至3任一项所述的人脸图像识别方法，其特征在于，所述若所述第一识别结果与所述第二识别结果不相同，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域，包括：

若第一识别结果为识别成功，且第二识别结果为识别失败时，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域；

若第一识别结果为识别失败，且第二识别结果为识别成功时，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域。

6.一种人脸图像识别装置，其特征在于，包括：

识别单元，用于将包含同一人脸的三原色RGB图像与红外IR图像分别输入预先训练后的第一识别模型与预先训练后的第二识别模型，得到所述RGB图像的第一识别结果与所述IR图像的第二识别结果；其中，所述第一识别结果用于指示所述RGB图像中的人脸内容是否与数据库中的用户人脸相匹配；所述第二识别结果用于指示所述IR图像中的人脸内容是否与所述数据库中的用户人脸相匹配；在所述第二识别结果为识别失败时，仅表征无法从所述数据库中查找到与所述IR图像中的人脸相匹配的参考数据；

判断单元，用于若所述第一识别结果与所述第二识别结果不相同，则判断所述RGB图像或所述IR图像中的人脸区域是否在图像中间区域；

第一执行单元，用于若所述人脸区域在所述图像中间区域，则以所述第二识别结果作为人脸图像识别结果；

第二执行单元，用于若所述人脸区域不在所述图像中间区域，则以所述第一识别结果作为人脸图像识别结果；

所述判断单元具体用于：

以所述RGB图像或所述IR图像的中心点为坐标原点构建坐标系；

获取所述人脸区域的目标中心点在所述坐标系中的坐标信息；

若根据所述坐标信息确定所述目标中心点与所述坐标原点之间的距离大于预设阈值，则判定所述人脸区域不在图像中间区域；

若根据所述坐标信息确定所述目标中心点与所述坐标原点之间的距离小于或等于预设阈值，则判定所述人脸区域在图像中间区域。

7.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时如权利要求1至5任一项所述方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。