CN110532992A

CN110532992A - 一种基于可见光和近红外的人脸识别方法

Info

Publication number: CN110532992A
Application number: CN201910833604.7A
Authority: CN
Inventors: 唐健; 黄海波; 陶昆
Original assignee: Shenzhen Jieshun Science and Technology Industry Co Ltd
Current assignee: Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date: 2019-09-04
Filing date: 2019-09-04
Publication date: 2019-12-03
Anticipated expiration: 2039-09-04
Also published as: CN110532992B

Abstract

本申请公开了一种基于可见光和近红外的人脸识别方法、装置、设备及可读存储介质，方案包括：获取可见光图像和近红外图像；对可见光图像和近红外图像进行人脸检测；在二者的人脸检测结果均为检测成功时，对可见光图像和近红外图像进行特征匹配，得到匹配结果；在此基础上，当且仅当匹配结果满足一定条件时，才得出识别成功的结论，并确定识别结果。可见，该方案为了提升人脸识别效果，从双目人脸识别的角度，结合可见光和近红外的各自优势，分别对可见光图像和近红外图像进行分析处理，最终综合考量二者的分析结果得出最终的人脸识别结果，提升了人脸识别效果。

Description

一种基于可见光和近红外的人脸识别方法

技术领域

本申请涉及计算机技术领域，特别涉及一种基于可见光和近红外的人脸识别方法、装置、设备及可读存储介质。

背景技术

人脸识别是生物特征识别领域中最常用的一种方式，近年来在公共安全领域得到了广泛的应用。

各类人脸识别方法的关键都在于，提取人脸数据中与身份相关的本质特征，同时消除其中受非身份因素影响的部分，非身份因素一般包括：环境光照、姿态、表情、饰物等。其中光照问题在实际应用中最为重要，用户普遍要求人脸识别系统能适应不同的光照环境。一般的人脸识别系统都采用可见光人脸图像进行识别，这类系统容易受到环境光线变化的影响，在识别之前往往需要采用一些预处理算法对光照进行处理。虽然光照预处理算法能在一定程度上消除光照的影响，但同时也会使图像损失一部分有用的信息。

目前，人脸识别过程一般通过将预先注册的人脸特征与现场抓拍图片的人脸特征进行比对，但是，该过程往往会受到非身份因素影响，导致识别结果效果较差。

发明内容

本申请的目的是提供一种基于可见光和近红外的人脸识别方法、装置、设备及可读存储介质，用以解决人脸识别过程往往会受到非身份因素影响，导致识别结果的效果较差的问题。

为解决上述技术问题，本申请提供了一种基于可见光和近红外的人脸识别方法，包括：

获取可见光图像和近红外图像；

分别对所述可见光图像和所述近红外图像进行人脸检测，得到人脸检测结果；

在所述可见光图像和所述近红外图像的人脸检测结果均为检测成功时，将所述可见光图像与第一人脸特征集合中的特征向量进行匹配，并将所述近红外图像与第二人脸特征集合中的特征向量进行匹配，得到匹配结果；其中，所述第一人脸特征集合用于存储已注册用户的可见光图像的人脸特征向量和对应的用户ID，所述第二人脸特征集合用于存储已注册用户的近红外图像的人脸特征向量和对应的用户ID；

在所述可见光图像和所述近红外图像的匹配结果均为匹配成功，且匹配到的目标用户ID一致时，则确定识别成功，将所述目标用户ID作为人脸识别结果。

优选的，在所述分别对所述可见光图像和所述近红外图像进行人脸检测，得到人脸检测结果之后，还包括：

在所述可见光图像的人脸检测结果为检测成功且所述近红外图像的人脸检测结果为检测失败时，将所述可见光图像与所述第一人脸特征集合中的特征向量进行匹配，得到匹配结果；

若所述可见光图像的匹配结果为匹配失败，则确定识别失败；

若所述可见光图像的匹配结果为匹配成功，则将所述可见光图像的人脸区域映射到所述近红外图像，并对映射得到的近红外图像进行人脸检测；若所述映射得到的近红外图像的人脸检测结果为检测成功，则确认识别成功，将所述可见光图像匹配到的用户ID作为人脸识别结果。

优选的，在所述在所述可见光图像和所述近红外图像的人脸检测结果均为检测成功时，将所述可见光图像与第一人脸特征集合中的特征向量进行匹配，并将所述近红外图像与第二人脸特征集合中的特征向量进行匹配，得到匹配结果之后，还包括：

在所述可见光图像的匹配结果为匹配成功且所述近红外图像的匹配结果为匹配失败时，或所述可见光图像和所述近红外图像匹配到的目标用户ID不一致时，确定所述可见光图像与所述近红外图像中人脸区域的交并比；

若所述交并比大于预设阈值，则确认识别成功，将所述可见光图像匹配到的用户ID作为人脸识别结果；

若所述交并比小于等于预设阈值，则将所述可见光图像的人脸区域映射到所述近红外图像，并对映射得到的近红外图像进行人脸检测；若所述映射得到的近红外图像的人脸检测结果为检测成功，则确认识别成功，将所述可见光图像匹配到的用户ID作为人脸识别结果。

优选的，在所述确认识别成功，将所述可见光图像匹配到的用户ID作为人脸识别结果之后，还包括：

在所述可见光图像的匹配结果为匹配成功且所述近红外图像的匹配结果为匹配失败时，将所述映射得到的近红外图像的特征向量和所述可见光图像匹配到的用户ID存储至所述第二人脸特征集合中。

本申请还提供了一种基于可见光和近红外的人脸识别装置，包括：

图像获取模块：用于获取可见光图像和近红外图像；

人脸检测模块：用于分别对所述可见光图像和所述近红外图像进行人脸检测，得到人脸检测结果；

特征匹配模块：用于在所述可见光图像和所述近红外图像的人脸检测结果均为检测成功时，将所述可见光图像与第一人脸特征集合中的特征向量进行匹配，并将所述近红外图像与第二人脸特征集合中的特征向量进行匹配，得到匹配结果；其中，所述第一人脸特征集合用于存储已注册用户的可见光图像的人脸特征向量和对应的用户ID，所述第二人脸特征集合用于存储已注册用户的近红外图像的人脸特征向量和对应的用户ID；

识别结果模块：用于在所述可见光图像和所述近红外图像的匹配结果均为匹配成功，且匹配到的目标用户ID一致时，则确定识别成功，将所述目标用户ID作为人脸识别结果。

此外，本申请还提供了一种基于可见光和近红外的人脸识别设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如上所述的一种基于可见光和近红外的人脸识别方法的步骤。

最后，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于可见光和近红外的人脸识别方法的步骤。

本申请所提供的一种基于可见光和近红外的人脸识别方法、装置、设备及可读存储介质，方案包括：获取可见光图像和近红外图像；对可见光图像和近红外图像进行人脸检测；在二者的人脸检测结果均为检测成功时，对可见光图像和近红外图像进行特征匹配，得到匹配结果；在此基础上，当且仅当匹配结果满足一定条件时，才得出识别成功的结论，并确定识别结果。可见，该方案为了提升人脸识别的效果，从双目人脸识别的角度，结合可见光和近红外的各自优势，分别对可见光图像和近红外图像进行分析处理，最终综合考量二者的分析结果得出最终的人脸识别结果，显著提升了人脸识别的效果。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种基于可见光和近红外的人脸识别方法实施例一的实现流程图；

图2为本申请所提供的一种基于可见光和近红外的人脸识别方法实施例二的实现流程图；

图3为本申请所提供的一种基于可见光和近红外的人脸识别方法实施例二中S202和S203中预设处理操作的实现流程图；

图4为本申请所提供的一种基于可见光和近红外的人脸识别方法实施例二中第一种处理方式的实现流程图；

图5为本申请所提供的一种基于可见光和近红外的人脸识别方法实施例二中第二种处理方式的实现流程图；

图6为本申请所提供的一种基于可见光和近红外的人脸识别装置实施例的功能框图；

图7为本申请所提供的一种基于可见光和近红外的人脸识别设备实施例的结构示意图。

具体实施方式

本申请的核心是提供一种基于可见光和近红外的人脸识别方法、装置、设备及可读存储介质，从双目人脸识别的角度，在识别过程中结合可见光和近红外的各自优势，最终提升了人脸识别效果。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面对本申请提供的一种基于可见光和近红外的人脸识别方法实施例一进行介绍，参见图1，实施例一包括：

S101、获取可见光图像和近红外图像；

近红外人脸识别是一种解决人脸识别中光照问题的解决方案，其包括两部分，即主动近红外人脸成像设备以及与光照无关人脸识别算法。近红外人脸识别的原理在于：使用强度高于环境光线的主动近红外光源成像，配合相应波段的光学滤片，得到环境无关的人脸图像，在此图像上采用一些特定的特征提取方式，得到完全与光照无关的特征表达。

S102、分别对所述可见光图像和所述近红外图像进行人脸检测，得到人脸检测结果；

上述人脸检测过程可以利用深度学习训练网络模型实现，还可以利用传统方法训练的模型实现。可以理解的是，在将图像输入模型之前，可以进行准备工作，例如确定图像中人脸区域的位置、检测人脸关键点位置、校正图像、调整图像尺寸等。

S103、在所述可见光图像和所述近红外图像的人脸检测结果均为检测成功时，将所述可见光图像与第一人脸特征集合中的特征向量进行匹配，并将所述近红外图像与第二人脸特征集合中的特征向量进行匹配，得到匹配结果；

其中，上述第一人脸特征集合用于存储已注册用户的可见光图像的人脸特征向量和对应的用户ID，上述第二人脸特征集合用于存储已注册用户的近红外图像的人脸特征向量和对应的用户ID。本实施例中的检测结果包括两个信息：一是是否检测成功，即第一人脸特征集合中是否存在与可见光图像的人脸特征之间的匹配度大于预设阈值的人脸特征，或第二人脸特征集合中是否存在与近红外图像的人脸特征的匹配度大于预设阈值的人脸特征；另一则是匹配到的目标用户ID，即第一人脸特征集合中与可见光图像的人脸特征之间的匹配度大于预设阈值的人脸特征对应的用户ID，或第二人脸特征集合中与近红外图像的人脸特征的匹配度大于预设阈值的人脸特征对应的用户ID。

S104、在所述可见光图像和所述近红外图像的匹配结果均为匹配成功，且匹配到的目标用户ID一致时，则确定识别成功，将所述目标用户ID作为人脸识别结果。

为避免误判，本实施例在判定所述可见光图像和所述近红外图像匹配到的目标用户ID不一致时，不直接得出是否成功识别的结论，而是通过进一步处理判断是否识别成功，该处理过程如下：确定所述可见光图像与所述近红外图像中人脸区域的交并比；判断交并比是否大于预设阈值；若所述交并比大于预设阈值，则确认识别成功，将所述可见光图像匹配到的用户ID作为人脸识别结果；若所述交并比小于等于预设阈值，则将所述可见光图像的人脸区域映射到所述近红外图像，并对映射得到的近红外图像进行人脸检测；若所述映射得到的近红外图像的人脸检测结果为检测成功，则确认识别成功，将所述可见光图像匹配到的用户ID作为人脸识别结果。

本实施例所提供一种基于可见光和近红外的人脸识别方法，方案包括：获取可见光图像和近红外图像；对可见光图像和近红外图像进行人脸检测；在二者的人脸检测结果均为检测成功时，对可见光图像和近红外图像进行特征匹配，得到匹配结果；在此基础上，当且仅当匹配结果满足一定条件时，才得出识别成功的结论，并确定识别结果。可见，该方案为了提升人脸识别效果，从双目人脸识别的角度，结合可见光和近红外的各自优势，分别对可见光图像和近红外图像进行分析处理，最终综合考量二者的分析结果得出最终的人脸识别结果，显著提升了人脸识别效果。

下面开始详细介绍本申请提供的一种基于可见光和近红外的人脸识别方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。

参见图2，实施例二具体包括：

S201、通过可见光摄像头和近红外摄像头分别获取可见光图像和近红外图像；

S202、第一子线程对可见光图像进行预设处理操作，得到可见光图像的人脸检测结果和匹配结果；

S203、第二子线程对近红外图像进行预设处理操作，得到近红外图像的人脸检测结果和匹配结果；

S204、主线程根据第一子线程和第二子线程的出列结果，确定最终的人脸识别结果。

其中，如图3所示，上述S202和S203中的预设处理操作包括：

S301、对图像进行人脸检测；

S302、判断人脸检测结果是否为检测成功，若是，跳转至S303；否则，确定人脸检测结果为否，且匹配结果为否；

S303、对图像进行人脸关键点检测，并根据关键点检测结果对图像进行对齐校正，将校正后的图像归一化至预设尺寸；

S304、提取预设尺寸的图像的人脸特征；

S305、将该图像的人脸特征与人脸特征集合的各个人脸特征进行匹配；

S306、判断是否存在匹配度大于预设阈值的人脸特征；若是，确认匹配成功，跳转至S307；否则，确定人脸检测结果为是，且匹配结果为否；

S307、确定人脸检测结果为是，且匹配结果为是，并确定匹配到的目标ID。

也就是说，对图像进行人脸检测，在人脸检测结果为检测成功时，对检测到的人脸进行人脸关键点检测及校正操作，校正完将图像归一化至预设尺寸，具体可以为128x128的尺寸，最终提取预设尺寸的图像的人脸特征，将该人脸特征与人脸特征集合中的各个人脸特征分别进行匹配，若匹配度大于预设阈值，则认为匹配成功，否则匹配失败。其中，人脸特征集合为已注册用户的人脸特征，具体的，人脸特征集合包括第一人脸特征集合和第二人脸特征集合，即用于存储已注册用户的可见光图像的人脸特征的集合和用于存储已注册用户的近红外图像的人脸特征的集合。值得一提的是，人脸特征集合中不仅包括人脸特征，还包括人脸特征对应的用户ID。

表1

如表1所示，表1中“1”表示“成功”，“0”表示“失败”，经过上述预设处理操作之后，结果分为九种情况：(1)可见光图像的人脸检测结果为成功且匹配结果为成功，近红外图像的人脸检测结果为成功且匹配结果为成功；(2)可见光图像的人脸检测结果为成功且匹配结果为成功，近红外图像的人脸检测结果为成功且匹配结果为失败；(3)可见光图像的人脸检测结果为成功且匹配结果为失败，近红外图像的人脸检测结果为成功且匹配结果为成功；(4)可见光图像的人脸检测结果为成功且匹配结果为成功，近红外图像的人脸检测结果为失败且匹配结果为失败；(5)可见光图像的人脸检测结果为失败且匹配结果为失败，近红外图像的人脸检测结果为成功且匹配结果为成功；(6)可见光图像的人脸检测结果为失败且匹配结果为失败，近红外图像的人脸检测结果为成功且匹配结果为失败；(7)可见光图像的人脸检测结果为失败且匹配结果为失败，近红外图像的人脸检测结果为失败且匹配结果为失败；(8)可见光图像的人脸检测结果为成功且匹配结果为失败，近红外图像的人脸检测结果为成功且匹配结果为失败；(9)可见光图像的人脸检测结果为成功且匹配结果为失败，近红外图像的人脸检测结果为失败且匹配结果为失败。

上述S204的主线程即分别根据上述九种情况来执行相应操作，最终得出识别结果。具体的，为了方便描述，本实施例对上述九种情况进行了总结与归类，并给出了每种类型下的处理方式，如表2所示。

表2

其中，如图4所示，上述第一种处理方式包括：

S401、确定所述可见光图像与所述近红外图像中人脸区域的交并比；

S402、判断交并比是否大于预设阈值，若大于，则跳转至S405；否则跳转至S403；

S403、将所述可见光图像的人脸区域映射到所述近红外图像，或将近红外图像的人脸区域映射到可见光图像；

S404、对映射得到的图像进行人脸检测；判断检测到人脸区域；若是，则跳转至S405；否则确认识别失败；

S405、确认识别成功，将所述可见光图像匹配到的用户ID作为人脸识别结果。

相应的，如图5所示，上述第二种处理方式包括：

S501、将所述可见光图像的人脸区域映射到所述近红外图像，或将近红外图像的人脸区域映射到可见光图像；

S502、对映射得到的图像进行人脸检测；判断检测到人脸区域；若是，则跳转至S503；否则确认识别失败；

S503、确认识别成功，将所述可见光图像或近红外图像匹配到的用户ID作为人脸识别结果。

因此，对于表2中的情况(1)，处理过程包括：将可见光图像的人脸特征与已注册用户的人脸特征进行匹配，并将近红外图像的人脸特征与预注册用户的人脸特征进行匹配；如果两者匹配到的ID是同一用户ID，则识别成功；如若ID不同，会计算可见光检测到的人脸区域与近红外检测到的人脸区域的交并比(IOU)，并判断IOU与预设阈值的大小；此处假设预设阈值为0.7，如IOU>＝0.7，则认为两者匹配到的是同一个人，判定识别成功，以可见光识别结果为最终识别结果；否则，将可见光检测到的人脸区域向近红外检测到的人脸区域进行映射，或近红外检测到的人脸区域向可见光检测到的人脸区域进行映射，对映射得到的图像进行人脸检测；如若检测到人脸，则判定识别成功；否则判定为识别失败。

此外，对于可见光图像与红外图像均匹配失败的情况，具体包括表2中情况(6)、情况(7)、情况(8)、情况(9)，可以直接得出识别失败的结论。

其他情况的处理方式不再一一进行介绍，具体可以参照表2。

最后，在经过上述第一种处理方式或第二种处理方式得出识别成功的结论后，可以进一步将所述映射得到的近红外图像的特征向量和所述可见光图像匹配到的用户ID存储至所述第二人脸特征集合中，或者将映射得到的可见光图像的特征向量和所述近红外图像匹配到的用户ID存储至所述第一人脸特征集合中，以扩展人脸特征集合。

可见，本实施例提供的一种基于可见光和近红外的人脸识别方法，先通过可见光摄像头和近红外摄像头获取图像，用两个子线程分别对两路图像进行人脸检测、人脸关键点检测、人脸对齐校正、特征提取、特征匹配，两个子线程均完成任务后将处理结果送入一个主线程，主线程进而对这两路送入的结果进行分析，并根据不同的情况执行相应的处理，最终得出人脸识别结果。可见，该方案从双目人脸识别的角度，结合可见光和近红外的各自优势，分别对可见光图像和近红外图像进行分析处理，最终综合考量二者的分析结果得出最终的人脸识别结果，显著提升了人脸识别效果。

下面对本申请实施例提供的一种基于可见光和近红外的人脸识别装置进行介绍，下文描述的一种基于可见光和近红外的人脸识别装置与上文描述的一种基于可见光和近红外的人脸识别方法可相互对应参照。

如图6所示，该装置包括：

图像获取模块601：用于获取可见光图像和近红外图像；

人脸检测模块602：用于分别对所述可见光图像和所述近红外图像进行人脸检测，得到人脸检测结果；

特征匹配模块603：用于在所述可见光图像和所述近红外图像的人脸检测结果均为检测成功时，将所述可见光图像与第一人脸特征集合中的特征向量进行匹配，并将所述近红外图像与第二人脸特征集合中的特征向量进行匹配，得到匹配结果；其中，所述第一人脸特征集合用于存储已注册用户的可见光图像的人脸特征向量和对应的用户ID，所述第二人脸特征集合用于存储已注册用户的近红外图像的人脸特征向量和对应的用户ID；

识别结果模块604：用于在所述可见光图像和所述近红外图像的匹配结果均为匹配成功，且匹配到的目标用户ID一致时，则确定识别成功，将所述目标用户ID作为人脸识别结果。

本实施例的基于可见光和近红外的人脸识别装置用于实现前述的基于可见光和近红外的人脸识别方法，因此该装置中的具体实施方式可见前文中的基于可见光和近红外的人脸识别方法的实施例部分，例如，图像获取模块601、人脸检测模块602、特征匹配模块603、识别结果模块604，分别用于实现上述基于可见光和近红外的人脸识别方法中步骤S101，S102，S103，S104。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的基于可见光和近红外的人脸识别装置用于实现前述的基于可见光和近红外的人脸识别方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种基于可见光和近红外的人脸识别设备，如图7所示，包括：

存储器100：用于存储计算机程序；

处理器200：用于执行所述计算机程序以实现如前文所述的一种基于可见光和近红外的人脸识别方法的步骤。

最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如前文述的一种基于可见光和近红外的人脸识别方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种基于可见光和近红外的人脸识别方法，其特征在于，包括：

获取可见光图像和近红外图像；

2.如权利要求1所述的方法，其特征在于，在所述分别对所述可见光图像和所述近红外图像进行人脸检测，得到人脸检测结果之后，还包括：

3.如权利要求2所述的方法，其特征在于，在所述在所述可见光图像和所述近红外图像的人脸检测结果均为检测成功时，将所述可见光图像与第一人脸特征集合中的特征向量进行匹配，并将所述近红外图像与第二人脸特征集合中的特征向量进行匹配，得到匹配结果之后，还包括：

4.如权利要求3所述的方法，其特征在于，在所述确认识别成功，将所述可见光图像匹配到的用户ID作为人脸识别结果之后，还包括：

5.一种基于可见光和近红外的人脸识别装置，其特征在于，包括：

图像获取模块：用于获取可见光图像和近红外图像；

6.一种基于可见光和近红外的人脸识别设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如权利要求1-4任意一项所述的一种基于可见光和近红外的人脸识别方法的步骤。

7.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-4任意一项所述的一种基于可见光和近红外的人脸识别方法的步骤。