CN108875472B - 图像采集装置及基于该图像采集装置的人脸身份验证方法 - Google Patents

Abstract

本发明公开了一种图像采集装置及基于该图像采集装置的人脸身份验证方法，该图像采集装置包括：镜头，所述镜头用于获取成像光线；分光组件，所述分光组件设置在所述镜头之后，用于将通过所述镜头进入的光线分为第一束光线和第二束光线；红外图像传感器，所述红外图像传感器基于经所述分光组件入射的所述第一束光线形成红外图像；可见光图像传感器，所述可见光图像基于经所述分光组件入射的所述第二束光线形成可见光图像；其中，所述红外图像传感器和所述可见光图像传感器并列设置在所述分光组件之后且相对位置固定。该图像采集装置可省去判断红外图像和可见光图像中是否为同一人的过程。该人脸身份验证方法具有类似的优点。

Description

图像采集装置及基于该图像采集装置的人脸身份验证方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种图像采集装置及基于该图像采集装置的人脸身份验证方法。

背景技术

当前，人脸识别系统越来越多地应用于安防、金融领域需要身份验证的场景，如银行远程开户、门禁系统、远程交易操作验证等。在这些高安全级别的应用领域，除了确保被验证者的人脸相似度符合数据库中存储的底库，首先需要验证被验证者是一个合法的生物活体。也就是说，人脸识别系统需要能够防范攻击者使用照片、视频、3D人脸模型、或者面具等方式进行攻击。

目前实现活体检测的一种主要方式是依赖于红外相机，通过对红外成像进行分析可以判断是否为活体。目前实现红外活体检测主要有以下两种方式：

1)使用两个独立的相机，一个使用可见光成像，另一个使用近红外成像，其利用红外成像判断是人还是人的仿生物体(照片，屏幕显示)，利用可见光成像做人脸判断，与预存照片做对比，输出比对结果。这种方案不仅使成本加倍，而且由于两个相机放置位置无法完全重合，后端需要判断两个成像区域内检测到的人像是否为同一个人。

2)使用一个相机，其只使用近红外成像。这样不仅使用近红外成像来判断成像区域是否是人的同时，还要利用近红外成像与预存照片做对比。由于近红外图像只能是黑白图像，这会导致比对的准确性下降。

因此，需要提供一种图像采集装置及基于该图像采集装置的人脸身份验证方法，其成本相对较低且具有较高的准确性。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为了至少部分地解决上述问题，根据本发明的一个方面，提供了一种图像采集装置，包括：

镜头，所述镜头用于获取成像光线；

分光组件，所述分光组件设置在所述镜头之后，用于将通过所述镜头进入的光线分为第一束光线和第二束光线；

红外图像传感器，所述红外图像传感器基于经所述分光组件入射的所述第一束光线形成红外图像；

可见光图像传感器，所述可见光图像基于经所述分光组件入射的所述第二束光线形成可见光图像；

其中，所述红外图像传感器和所述可见光图像传感器设置在所述分光组件之后，并且所述红外图像传感器和所述可见光图像传感器相对位置固定，使得同一对象在所述可见光图像中的位置和在所述红外图像中的位置存在对应关系。

可选地，所述红外图像传感器包括感光元件和覆盖在所述感光元件之上的可见光截止片；

所述可见光图像传感器包括感光元件和覆盖在所述感光元件之上的红外截止片。

可选地，所述红外图像传感器和所述可见光图像传感器并列设置在所述分光组件之后。

可选地，所述图像采集装置还包括：

人脸检测模块，所述人脸检测模块用于分别从所述可见光图像和所述红外图像中提取人脸图像；

活体检测模块，所述活体检测模块用于对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体；

人脸比对模块，所述人脸比对模块用于将从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定所述人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。

可选地，所述图像采集装置还包括：

身份验证模块，所述身份验证模块用于判断所述活体检测模块确定为活体的所述人脸图像的位置与所述人脸比对模块确定相似度大于设定阈值的所述人脸图像的位置是否符合所述对应关系，如果符合则身份验证通过，反之则身份验证不通过。

可选地，所述图像采集装置还包括：

对应图像确定模块，所述对应图像确定模块用于根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的所述对应关系确定从所述可见光图像中提取的、与活体检测通过的所述人脸图像对应的所述人脸图像；

或者用于根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的所述对应关系确定从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像。

根据本发明的另一个方面，还提供了一种基于上述图像采集装置的人脸身份验证方法，同一对象在所述图像采集装置采集的所述可见光图像中的位置和在所述红外图像中的位置存在对应关系，所述人脸身份验证方法包括：

从所述可见光图像和所述红外图像中分别提取人脸图像；

对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像的人脸是否为活体；

对从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定所述人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值；

如果所述人脸图像中的人脸为活体且所述相似度大于设定阈值，则身份验证通过。

可选地，所述人脸身份验证方法还包括：

判断活体检测通过的所述人脸图像的位置与人脸比对成功的所述人脸图像的位置是否符合所述对应关系，如果符合则身份验证通过，反之则身份验证不通过。

可选地，所述人脸身份验证方法还包括：

根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系确定从所述可见光图像中提取的、与活体检测通过的人脸图像的所述人脸图像对应的所述人脸图像；以及

在进行所述人脸比对时仅对从所述可见光图像中提取的、与活体检测通过的所述人脸图像对应的所述人脸图像进行人脸比对。

可选地，所述人脸身份验证方法还包括：

根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系确定从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像；以及

在进行所述活体检测时仅对从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体。

根据本发明的图像采集装置以及基于该图像采集装置的人脸身份验证方法，通过使红外传感器和可见光传感器共用同一镜头(也即在一个相机内同时设置红外传感器和可见光传感器)可以同时采集红外图像和可见光图像，以便通过红外图像进行活体检测，通过可见光图像进行人脸比对，使得成本相对较低，且准确性较高。

进一步地，由于红外传感器和可见光传感器的相对位置固定，可以预先确定同一物体在两个传感器上成像的位置关系，从而可以简单直接地确定可见光传感器上的成像和红外传感器上的成像是否为同一人，而无需复杂的算法计算。

附图说明

本发明实施例的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。在附图中，

图1是用于实现根据本发明实施例的图像采集装置以及基于该图像采集装置的人脸身份验证方法的示例电子设备的示意性框图；

图2为根据本发明实施例的图像采集装置的示意性结构图；

图3为根据本发明实施例的基于图2所示图像采集装置的人脸身份验证方法的示意性流程图；

图4为根据本发明一实施例的基于图2所示图像采集装置的人脸身份验证装置的示意性结构框图；

图5为根据本发明另一实施例的基于图2所示图像采集装置的人脸身份验证装置的的示意性结构框图；

图6为根据本发明实施例的图像检测设备的示意性结构框图。

具体实施例

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明实施例可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明实施例发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。在附图中，为了清楚，部件、元件等的尺寸以及相对尺寸可能被夸大。自始至终相同附图标记表示相同的元件。

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现根据本发明实施例的图像采集装置以及基于该图像采集装置的人脸身份验证方法的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入/输出装置106、通信接口108、可见光图像传感器110和红外图像传感器112，这些组件通过总线系统114和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构，也可以不包括前述的部分组件，例如可以包括通信接口108，也可以不包通信接口108。

所述处理器102一般表示任何类型或形式的能够处理数据或解释和执行指令的处理单元。一般而言，处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。在特定实施例中，处理器102可以接收来自软件应用或模块的指令。这些指令可以导致处理器102完成本文描述和/或示出的一个或多个示例实施例的功能。在一示例中，处理器102可以为图像信号处理器(ISP)，或者集成有ISP(例如以SOC形式)或者，包括一个独立的图像信号处理器(ISP)。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入/输出装置106可以是用户用来输入指令和向外部输出各种信息的装置，例如输入装置可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。输出装置可以包括显示器、扬声器等中的一个或多个。

通信接口108广泛地表示任何类型或形式的能够促进示例电子设备100和一个或多个附加设备之间的通信的适配器或通信设备。例如，通信接口108可以促进电子设备100和前端或附件电子设备以及后端服务器或云端的通信。通信接口108的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器和任何其他合适的接口。在一实施例中，通信接口108通过与诸如因特网的网络的直连提供到远程服务器/远程前端设备的直连。在特定实施例中，通信接口108通过与专用网络，例如视频监控网络、天网系统网络等网络的直连提供到远程服务器/远程前端设备的直连。通信接口108还可以间接提供这种通过任何其它合适连接的连接。

可见光图像传感器110可以采集或拍摄用户期望的可见光曝光的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。可见光图像传感器114的一个示例为RGB传感器，或者RGBW传感器或黑白传感器(只能采集黑白图像)等等，其通过感应可见光形成彩色或黑白图像/视频，因而在此称为可见光图像传感器。相应的可见光图像传感器采集端图像/视频称为可见光图像/视频或可见光曝光图像/视频。

红外图像传感器112基于红外线成像，可以采集或拍摄用户期望的红外线曝光形成的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。示例性地，红外图像传感器112例如基于近红外线成像。

示例性地，用于实现根据本发明实施例的图像采集装置以及基于该图像采集装置的人脸身份验证方法的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的图像采集端、道路监控系统的图像采集端、安防系统的图像采集端。

图2为根据本发明实施例的图像采集装置的示意性结构图。下面结合图2对根据本发明实施例的图像采集装置进行描述。

如图2所示，本发明实施例公开的图像采集装置200包括镜头202、分光组件204、可见光截止片206、红外截止片208、红外图像传感器210、可见光图像传感器212以及CPU/ISP214。

镜头202设置在成像组件的前端或顶端位置，用于捕获成像光线，其可以根据设备要求/设计采用合适大小的规格的各种镜头。

分光组件204设在镜头后方/下方，用于对镜头202捕获的光线进行分光，以形成两束分别射向红外图像传感器210和可见光图像传感器212的光线。示例性地，例如通过分光组件将镜头202捕获的光线分为分别入射至红外图像传感器210和可见光图像传感器212第一束光线和第二束光线。

可见光截止片206和红外截止片208位于分光组件204之后方/下方，并且对应于分光组件202的分光并列设置。可见光截止片206用于过滤可见光，示例性地，例如波长小于650nm的光线均不能通过可见光截止片206到达红外图像传感器210。红外截止片208用于过滤红外光线，示例性地，例如波长大约650nm的光线均不能通过红外截止片208到达可见光图像传感器212。

红外图像传感器210和可见光图像传感器212分别位于可见光截止片206和红外截止片208的后方/下方，分别用于采集红外图像和可见光图像。并且红外图像传感器210和可见光图像传感器212并列设置，且相对位置固定。这样，由于红外图像传感器210和可见光图像传感器212的相对位置固定，对于同一对象而言，在所述可见光图像中的位置和在所述红外图像中的位置存在的对应关系。并且，制造根据本实施例的图像采集装置时即可基于红外图像传感器210和可见光图像传感器212的相对位置关系确定同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系，例如将红外图像传感器210和可见光图像传感器212均划分为若干区域，并基于红外图像传感器210和可见光图像传感器212的相对位置关系确定两个传感器每个区域的对应关系，从而实现同一对象在两个传感器上坐标的定位，进而基于红外图像和可见光图像中的坐标即可确定红外图像和可见光图像中所采集的各图像的对应关系，确定哪些图像为同一个对象的可见光图像和红外图像。又或者通过所述红外图像传感器和所述可见光图像传感器的相对位置，确定所述红外图像传感器和所述可见光图像传感器的坐标变换关系，从而定位同一物体在两个传感器上的坐标。这样，不仅可以通过物体在一个传感器上的位置来确定其在另一传感器上的位置，还可以通过图像在两个传感器上的位置是否符合预先确定的对应关系来判断图像是否为同一对象的成像/图像(即红外图像和可见光图像所对应的是否为同一人)。

示例性地，在本实施例中红外图像传感器210用于采集近红外图像(黑白图像)。并且可以理解的是，为了便于红外图像传感器210采集近红外图像，本实施例的图像采集检测装置还可以包括红外补光灯，以主动发射近红外线，从而便于采集更清晰的近红外图像或者在暗光和室内采集近红外图像。

可以理解的是，虽然在本实施例中，红外图像传感器210和可见光图像传感器212采用并列设置方式(即位于同一平面内)，但是，在其它实施例中，也可以根据采用的分光组件所分光线的方向不同于本实施例而采用其它合适的布置方式，例如彼此垂直的布置方式。

进一步地，可以理解的是，在本实施例中，红外图像传感器210和可见光图像传感器212实际为相同的感光元件，其分别通过覆盖在所述感光元件之上的可见光截止片206和红外截止片208来实现红外感光和可见光感光。当然，在其它实施例中，也可以直接采用相应的或专用的红外图像传感器和可见光图像传感器。

CPU/ISP(处理器/图像信号处理器)214与红外图像传感器210和可见光图像传感器212连接，以基于获取红外图像传感器310和可见光图像传感器312采集的信号生成红外图像和可见光图像。CPU/ISP214可以采用各种规格的处理器/图像信号处理器，其可以根据要求进行选择，在此不做具体限定。

根据本实施例的图像检测装置，通过使红外传感器和可见光传感器共用同一镜头(也即在一个相机同时设置红外传感器和可见光传感器)可以同时采集红外图像和可见光图像，以便通过红外图像进行活体检测，通过可见光图像进行人脸比对，使得成本相对较低，且准确性较高。

进一步地，由于红外传感器和可见光传感器的相对位置固定，可以预先确定同一物体在两个传感器上成像的位置关系，从而可以简单直接地确定可见光传感器上的成像和红外传感器上的成像是否为同一人，而无需复杂的算法计算。

图3为根据本发明实施例的基于图2所示图像采集装置的人脸身份验证方法的示意性流程图。下面将结合图3对根据本发明实施例的人脸身份验证方法进行描述。

如图3所示，本发明实施例公开一种基于图2所示图像采集装置的人脸身份验证方法，同一对象在所述图像采集装置采集的所述可见光图像中的位置和在所述红外图像中的位置存在对应关系，所述人脸身份验证方法包括：

步骤S301，从所述可见光图像和所述红外图像中分别提取人脸图像。

当获取可见光图像传感器和红外图像传感器采集的图像后则进行人脸检测，以从可见光图像和红外图像中分别提取人脸图像。

所述可见光图像传感器和红外图像传感器采集的图像可以为图片也可以为视频。当可见光图像传感器和红外图像传感器采集的图像为视频时，则针对组成该视频的每一帧图片进行人脸检测和提取。在该步骤中，可以确定出在可见光图像传感器和红外图像传感器所采集的图像中是否包含人脸，并且在可见光图像传感器和红外图像传感器所采集的图像中包含人脸的情况下在可见光图像传感器和红外图像传感器所采集的图像中定位出人脸区域。

示例性地，例如可以利用预先训练好的人脸检测器来在可见光图像传感器和红外图像传感器所采集的图像中定位人脸区域。例如，可以预先利用哈尔(Haar)算法、Adaboost算法等人脸检测与识别算法在大量图片的基础上训练出人脸检测器，对于输入的单帧图像，该预先训练好的人脸检测器能够快速地定位出人脸区域。此外，对于可见光图像传感器和红外图像传感器连续采集的多帧图像，在首帧图像中定位出人脸区域之后，可以基于当前帧图像的前一帧图像中人脸区域的位置来实时地追踪在当前帧图像中人脸区域的位置。

当可见光图像传感器和红外图像传感器采集的图像中检测出人脸图像并给出相应的坐标后，之后按坐标将人脸图像抠出(俗称抠图)，以获得人脸图像。

示例性地，在步骤S301中可以从所述可见光图像传感器和红外图像传感器采集的图像中检测所述人脸图像所在位置的坐标数据；根据所述人脸图像的坐标数据，从所述可见光图像传感器采集的图像中抠取仅包括所述人脸的图像。作为一个示例，当确定人脸图像所在位置的坐标数据后，可以在这些坐标处进行标记，例如标记为1，而这些坐标外的位置标记为0，从而确定人脸图像的区域、轮廓及像素等，然后可以运用现有图分割技术(例如，Graph Cut算法)将标记为1的区域抠取出来，从而得到仅包含人脸的图像。

步骤S302，对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体。

由于活体和非活体的红外图像在空间域等特征上具有不同，通过对红外图像的分析可以判断是否为活体的人脸图像。即判断是人的人脸图像还是照片、视频等的人脸图像。

步骤S303，对从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定所述人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。

即，将从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行比对，以确定该人脸图像与人脸数据库中的人脸图像的相似度，当相似度大于设定阈值时，即认定该人脸图像与人脸数据库中的比对图像为同一人的图像，从而判定人脸识别成功。

示例性地，进行人脸比对，首先从所述可见光图像中提取的所述人脸图像中进一步提取人脸的特征信息；然后通过将所提取的人脸的特征信息与人脸数据库中每个人脸比对图像的特征信息进行比对，确定两个图像的相似度，从而确定是否为同一人。

所谓的特征信息，指的可以用于人脸或者将待识别人脸与其他人脸进行区别的信息。以人脸图像为例，所谓特征信息示例性地可以包括诸如人脸总体信息，例如脸型、五官布局等，还可以包括局部特征信息，例如痣、雀斑、刀疤等，还可以包括五官特征信息，例如左耳信息(大小、形状等)，右耳信息(大小、形状等)、左眉信息(例如形状、位置、长、宽等)、右眉信息(例如形状、位置、长、宽等)，以及左眼信息(例如形状、位置、长、宽等)、右眼信息(例如形状、位置、长、宽等)等等。

示例性地，在一实施例中，可以通过Sobel算子提取特征算法或Gabor特征算法等特征提取算法从步骤205中提取的人脸图像中提取人脸图像的特征信息。在又一实施例中，可以利用预先训练好的关键点定位器来在人脸区域中定位人脸关键点(例如眼睛、眼角、眼睛中心、眉毛、鼻子、鼻尖、嘴巴、嘴角和脸部轮廓等)。例如，可以预先利用级联回归方法在大量人工标注的人脸图片的基础上训练出关键点定位器。替换地，也可以采用传统的人脸关键点定位方法，其基于参数形状模型，根据关键点附近的表观特征，学习出一个参数模型，在使用时迭代地优化关键点的位置，最后得到关键点坐标，当获得关键点坐标后，可以基于该坐标进行一步获取关键点(例如眼睛、眼角、眼睛中心、眉毛、鼻子、鼻尖、嘴巴、嘴角和脸部轮廓等)的其他信息，例如大小，形状等等信息。

应了解本发明不受具体采用的人脸图像提取方法和特征信息提取方法的限制，无论是现有的人脸图像提取方法和特征信息提取方法还是将来开发的人脸图像提取方法和特征提取方法，都可以应用于根据本发明实施例的人脸检测方法中，并且也应包括在本发明的保护范围内。

进一步地，可以理解的是，当执行完步骤S301～S303后，如果所述人脸图像中的人脸为活体且所述相似度大于设定阈值，则身份验证通过，反之则身份验证不通过。且在本实施例中，步骤S301～S303仅表示根据本实施例的人脸身份验证方法所包括的步骤，而不表示这些步骤的顺序，即步骤S301～S303可以根据需要和设定同时或按照不同的顺序进行。

作为一个示例，根据本实施例的人脸身份验证方法可以按下述顺序执行：首先，执行步骤S301并且应当理解，所述可见光图像和所述红外图像中可以包括0个、1个或2个以上的更多个人脸图像。此外，可以先后从所述可见光图像和所述红外图像中分别提取人脸图像，也可以同时所述可见光图像和所述红外图像中分别提取人脸图像；接着，执行步骤S302，对从红外图像中提取的每个所述人脸图像进行活体检测，以确定每个所述人脸图像中的人脸是否为活体，接着，执行步骤S303，对从所述可见光图像中提取的每个所述人脸图像进行人脸比对，以确定每个所述人脸图像的相似度是否大于设定阈值。当在步骤S302中确定人脸图像中的人脸为活体(仅一个人脸图像的情形)，或者至少一个人脸图像中的人脸为活体(存在多个人脸图像的情形)，且在步骤S303中所述人脸图像与人脸数据库中的至少一个人脸的相似度大于设定阈值(仅一个人脸图像的情形)，或者存在至少一个人脸图像与人脸数据库中的至少一个人脸的相似度大于设定阈值的人脸图像(存在多个人脸图像的情形)时，还需要判断在步骤S302活体检测通过的所述人脸图像的位置与在步骤S303中人脸比对成功的所述人脸图像的位置是否符合所述对应关系，如果符合则通过身份验证，反之则不通过身份验证这样便可避免当可见光图像和红外图像中既存在活体的人脸图像也存在非活体的人脸图像时，分别通过活体和非活体的人脸图像来分别通过人脸比对和活体检测，提高了安全性。例如，当一个在人脸数据库中没有相应人脸图像的人拿着一个在人脸数据库中有相应人脸图像的照片或视频时是无法通过根据本实施例的人脸身份验证方法的人脸认证/识别的，因为通过如前所述预先确定的同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系便可知道人脸比对成功的人脸图像(照片)和活体检测通过的人脸图像(人)不是同一个人的人脸图像。

需要说明的是，在本文中所谓活体检测通过指的是在步骤S302中人脸图像被确定为活体，人脸比对成功指的是在步骤S303中人脸图像与人脸数据库中的一个或多个人脸图像的相似度大于设定阈值。

可以理解的是，在本示例中，步骤S302和步骤S303，可以先后执行，先执行步骤S302再执行步骤S303，或先执行步骤S303再执行步骤S302，也可以同时执行步骤S302和S303，即采用分布式计算同时对可见光图像和红外图像进行人脸检测、人脸比对以及活体检测。

作为另一个示例，根据本实施例的人脸身份验证方法可以按下述顺序执行：首先，执行步骤S301，从所述红外图像中提取人脸图像，接着执行步骤S302，对每个所述人脸图像进行活体检测，以确定是所述人脸图像中的人脸否为活体。当确定所述人脸图像中的人脸为活体(仅一个人脸图像的情形)，或者存在至少一个人脸图像中的人脸为活体(存在多个人脸图像的情形)时，则继续执行步骤S303，且仅对从所述可见光图像中提取的、与活体检测通过体的所述人脸图像对应的所述人脸图像进行人脸比对。所述从所述可见光图像中提取的、与活体检测通过体的所述人脸图像对应的所述人脸图像可以根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系来确定。例如可见光图像传感器分为A、B、C三个区域，红外图像传感器分为D、E、F三个区域，A、B、C分别对应于D、E、F，假设在A、B、C以及D、E、F区域分别存在一个人脸图像，且在步骤S302中，E区域的人脸图像被确定为活体的人脸图像，D和F区域的人脸图像为非活体的人脸图像，则在步骤S303中仅需要对B区域的人脸图像进行比对即可。至于B区域的人脸图像可以在步骤S301中，从可见光图像中提取，也可以在步骤S302中确定E区域为活体的人脸图像后，再直接从B区域提取人脸图像。这样不仅可以提高人脸检测的效率，还可以节约计算资源或降低计算能力的要求。

作为再一个示例，根据本实施例的人脸身份验证方法可以按下述顺序执行：首先，执行步骤S301，从所述可见光图像中提取人脸图像，接着执行步骤S303，对每个所述人脸图像进行比对，以每个所述人脸图像的相似度是否大于设定阈值。当确定所述人脸图像的相似度大于设定阈值(仅一个人脸图像的情形)，或者存在相似度大于设定阈值的人脸图像(存在多个人脸图像的情形)时，则继续执行步骤S302，且仅对从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体。所述从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像可以根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系来确定。例如可见光图像传感器分为A、B、C三个区域，红外图像传感器分为D、E、F三个区域，A、B、C分别对应于D、E、F，假设在A、B、C以及D、E、F区域分别存在一个人脸图像，且在步骤S303中，B区域的人脸图像的相似度大于设定阈值，D和F区域的人脸图像相似度低于设定阈值，则在步骤S302中仅需要对E区域的人脸图像进行活体检测，以确定该区域的人脸图像中的人脸是否为活体即可。至于E区域的人脸图像可以在步骤S301中，从红外光图像中提取，也可以在步骤S303中确定B区域人脸图像的相似度大于设定阈值后，再直接从E区域提取人脸图像。这样不仅可以提高人脸检测的效率，还可以节约计算资源或降低计算能力的要求。

示例性地，根据本实施例的人脸身份验证方法可以部署在人脸图像采集端处，例如，在安防应用领域，可以部署在门禁系统的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的人脸身份验证方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，在金融应用领域，可以在个人终端采集可见光图像和红外图像，在服务器端(或云端)进行人脸检测提取、活体检测、以及人脸比对识别等。

根据本实施例的人脸身份验证方法，通过使红外传感器和可见光传感器共用同一镜头(也即在一个相机同时设置红外传感器和可见光传感器)可以同时采集红外图像和可见光图像，以便通过红外图像进行活体检测，通过可见光图像进行人脸比对，使得成本相对较低，且准确性较高。

进一步地，由于红外传感器和可见光传感器的相对位置固定，可以预先确定同一物体在两个传感器上成像的位置关系，从而可以简单直接地确定可见光传感器上的成像和红外传感器上的成像是否为同一人，而无需复杂的算法计算。

图4为根据本发明一实施例的基于图2所示图像采集装置的人脸身份验证装置的示意性结构框图。下面结合图4对根据本发明一实施例的人脸身份验证装置进行描述。

如图4所示，在本实施例中，人脸身份验证装置400包括人脸检测模块410、活体检测模块420、人脸比对模块430和身份验证模块440。

人脸检测模块410用于分别从所述可见光图像和所述红外图像中提取人脸图像。人脸检测模块410可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸身份验证方法中的步骤SS301。

活体检测模块420用于对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体。活体检测模块420可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸身份验证方法中的步骤S302。示例性地，所述活体检测模块420对从所述红外图像中提取的每个所述人脸图像进行或提交检测，以确定每个所述人脸图像中的人脸是否为活体。

人脸比对模块430用于将从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定所述人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。人脸比对模块430可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸身份验证方法中的步骤S303。示例性地，在本实施例中，所述人脸比对模块430对从所述可见光图像中提取的每个所述人脸图像进行人脸比对，以确定每个所述图像的相似度是否大于设定阈值。

身份验证模块440用于判断所述活体检测模块420确定为活体的所述人脸图像的位置与所述人脸比对模块430确定相似度大于设置阈值的所述人脸图像的位置是否符合所述对应关系，如果符合则身份验证通过，反之则身份验证不通过。身份验证模块440可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

图5为根据本发明另一实施例的基于图2所示图像采集装置的人脸身份验证装置的示意性结构框图。下面结合图5对根据本发明另一实施例的人脸身份验证装置进行描述。

如图5所示，在本实施例中，人脸身份验证装置500包括人脸检测模块510、活体检测模块520、人脸比对模块530和对应图像确定模块540。

人脸检测模块510用于分别从所述可见光图像和所述红外图像中提取人脸图像。人脸检测模块510可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸身份验证方法中的步骤S301。

活体检测模块520用于从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体。活体检测模块520可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸身份验证方法中的步骤SS302。

人脸比对模块530用于将从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定所述人脸图像的相似度是否大于设定阈值。人脸比对模块530可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的人脸身份验证方法中的步骤S303。

对应图像确定模块540用于根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系确定从所述可见光图像中提取的、与活体检测通过的所述人脸图像对应的所述人脸图像，或者用于根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系确定从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像。对应图像确定模块540可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

作为一个示例，活体检测模块520用于对从所述红外图像中提取的每个所述人脸图像进行活体检测，以确定每个所述人脸图像中的人脸是否为活体。对应图像确定模块540用于根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系确定从所述可见光图像中提取的、与活体检测通过的所述人脸图像对应的所述人脸图像。所述人脸比对模块530仅对从所述可见光图像中提取的、与活体检测通过的所述人脸图像对应的所述人脸图像进行人脸比对，以确定所述人脸图像的相似度是否大约设定阈值。

作为另一个示例，人脸比对模块530用于将从所述可见光图像中提取的每个所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定每个所述人脸图像的相似度是否大于设定阈值。对应图像确定模块540用于根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系确定从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像。所述活体检测模块520仅对从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体。

图6为根据本发明实施例的图像检测设备的示意性结构框图。下面结合图6对根据本发明实施例的图像检测设备系统进行描述。

如图6所示，根据本发明实施例的图像检测设备600包括红外图像传感器610、可见光图像传感器620、存储装置630和处理器640。

所述红外图像传感器610用于采集目标对象的红外图像。示例性地，所述红外图像传感器610采集近红外曝光形成的图像。可见光图像传感器620用于采集目标对象的可见光曝光图像。可见光图像传感器620可以为RGB传感器，也可以为黑白传感器。红外图像传感器610和可见光图像传感器620可以采集图片亦可以采集视频。当然，红外图像传感器610、可见光图像传感器620采集数据的处理可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，以获得图片或视频数据。

所述存储装置630存储用于实现根据本发明实施例的人脸身份验证方法中的相应步骤的程序代码。

所述处理器640用于运行所述存储装置630中存储的程序代码，以执行根据本发明实施例的人脸身份验证方法的相应步骤，并且用于实现根据本发明实施例的人脸检测装置中的人脸检测模块410、活体检测模块420、人脸比对模块430和身份验证模块440，或者人脸检测模块510、活体检测模块520、人脸比对模块530和对应图像确定模块540。

在一个实施例中，在所述程序代码被所述处理器640运行时执行以下步骤：

分别通过可见光图像传感器和红外图像传感器采集目标区域的图像，以获得可见光图像和红外图像；

从所述可见光图像和所述红外图像中分别提取人脸图像；

对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体；

对从所述可见光图像中提取的所述人脸图像进行人脸比对，以确定所述人脸图像的相似度是否大于设定阈值；

其中，所述红外图像传感器和所述可见光图像传感器的相对位置固定并且共用同一个镜头来获取成像光线，且如果所述人脸图像中的人脸为活体且所述相似度大于设定阈值，则身份验证通过。

在一个实施例中，处理器640可以实现为中央处理器(CPU)，其中，中央处理器(CPU)分别通过可见光图像传感器和红外图像传感器采集目标区域的图像，以获得可见光图像和红外图像，然后通过执行存储装置630中相应的程序代码，从所述可见光图像和所述红外图像中分别提取人脸图像，并对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体，以及对从所述可见光图像中提取的所述人脸图像进行人脸比对，以确定所述人脸图像的相似度是否大于设定阈值。

示例性地，根据本发明实施例的图像检测设备600可以实现为具有红外图像传感器、可见光图像传感器、存储器、通信接口/单元和处理器的设备、装置或者系统。并且，所述红外图像传感器、可见光图像传感器的相对位置固定并且共用同一个镜头来获取成像光线。

根据本发明实施例的图像检测设备600可以部署在人脸检测识别系统中，例如，在安防应用领域，可以部署在门禁系统或道路监控系统；在金融应用领域，可以银行、交易所等等的身份认证系统中。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的人脸身份验证方法的相应步骤，并且用于实现根据本发明实施例的人脸身份验证装置的相应模块/子模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于人脸比对的计算机可读的程序代码，另一个计算机可读存储介质包含用于活体检测的计算机可读的程序代码。

在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的人脸检测装置中的各个功能模块，并且/或者可以执行根据本发明实施例的人脸身份验证方法。

在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：从所述可见光图像和所述红外图像中分别提取人脸图像；对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体；对从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定所述人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。

根据本发明实施例的人脸身份验证装置中的各模块可以通过根据本发明实施例的的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的图像检测装置、人脸身份验证方法和装置、图像检测设备及存储介质，通过使红外传感器和可见光传感器共用同一镜头(也即在一个相机同时设置红外传感器和可见光传感器)可以同时采集红外图像和可见光图像，以便通过红外图像进行活体检测，通过可见光图像进行人脸比对，使得成本相对较低，且准确性较高。进一步地，由于红外传感器和可见光传感器的相对位置固定，可以预先确定同一物体在两个传感器上成像的位置关系，从而可以简单直接地确定可见光传感器上的成像和红外传感器上的成像是否为同一人，而无需复杂的算法计算。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种图像采集装置，其特征在于，包括：

镜头，所述镜头用于获取成像光线；

分光组件，所述分光组件设置在所述镜头之后，用于将通过所述镜头进入的光线分为第一束光线和第二束光线；

红外图像传感器，所述红外图像传感器基于经所述分光组件入射的所述第一束光线形成红外图像，所述红外图像传感器包括感光元件和覆盖在所述感光元件之上的可见光截止片；

可见光图像传感器，所述可见光图像基于经所述分光组件入射的所述第二束光线形成可见光图像，所述可见光图像传感器包括感光元件和覆盖在所述感光元件之上的红外截止片；

其中，所述红外图像传感器和所述可见光图像传感器设置在所述分光组件之后，并且所述红外图像传感器和所述可见光图像传感器相对位置固定，使得同一对象在所述可见光图像中的位置和在所述红外图像中的位置存在对应关系；

还包括：人脸检测模块，所述人脸检测模块用于分别从所述可见光图像和所述红外图像中提取人脸图像；

活体检测模块，所述活体检测模块用于对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体；

人脸比对模块，所述人脸比对模块用于将从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定所述人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值。

2.根据权利要求1所述的图像采集装置，其特征在于，所述红外图像传感器和所述可见光图像传感器并列设置在所述分光组件之后。

3.根据权利要求1所述的图像采集装置，其特征在于，还包括：

身份验证模块，所述身份验证模块用于判断所述活体检测模块确定为活体的所述人脸图像的位置与所述人脸比对模块确定相似度大于设定阈值的所述人脸图像的位置是否符合所述对应关系，如果符合则身份验证通过，反之则身份验证不通过。

4.根据权利要求1所述的图像采集装置，其特征在于，还包括：

对应图像确定模块，所述对应图像确定模块用于根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的所述对应关系确定从所述可见光图像中提取的、与活体检测通过的所述人脸图像对应的所述人脸图像；

或者用于根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的所述对应关系确定从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像。

5.一种基于权利要求1-4中的任意一项所述的图像采集装置的人脸身份验证方法，其特征在于，所述人脸身份验证方法包括：

从所述可见光图像和所述红外图像中分别提取人脸图像；

对从所述红外图像中提取的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体；

对从所述可见光图像中提取的所述人脸图像与人脸数据库中的人脸图像进行人脸比对，以确定所述人脸图像与所述人脸数据库中的人脸图像的相似度是否大于设定阈值；

如果所述人脸图像中的人脸为活体且所述相似度大于设定阈值，则身份验证通过。

6.根据权利要求5所述的人脸身份验证方法，其特征在于，还包括：

判断活体检测通过的所述人脸图像的位置与人脸比对成功的所述人脸图像的位置是否符合所述对应关系，如果符合则身份验证通过，反之则身份验证不通过。

7.根据权利要求5所述的人脸身份验证方法，其特征在于，还包括：

根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系确定从所述可见光图像中提取的、与活体检测通过的人脸图像的所述人脸图像对应的所述人脸图像；以及

在进行所述人脸比对时仅对从所述可见光图像中提取的、与活体检测通过的所述人脸图像对应的所述人脸图像进行人脸比对。

8.根据权利要求5所述的人脸身份验证方法，其特征在于，还包括：

根据同一对象在所述可见光图像中的位置和在所述红外图像中的位置的对应关系确定从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像；以及

在进行所述活体检测时仅对从所述红外图像中提取的、与相似度大于设定阈值的所述人脸图像对应的所述人脸图像进行活体检测，以确定所述人脸图像中的人脸是否为活体。

Images