CN104933344B - 基于多生物特征模态的移动终端用户身份认证装置及方法 - Google Patents

Abstract

本发明提供了一种基于多生物特征模态的移动终端用户身份认证方法，移动终端用户身份认证装置包括图像获取模块和生物特征算法处理模块，方法如下：a)通过图像获取模块采集近红外包含用户人眼的人脸或眼周图像；b)基于特征图像进行人眼区域定位，根据定位结果计算用户识别距离并对其判断，若距离过远或过近返回步骤a)；否则进入步骤c)；c)基于特征图像进行人脸关键点检测，以判断用户姿态是否符合采集要求；d)判断人眼与所述图像获取模块之间的距离是否小于第一距离阈值，若小于进入步骤e)；否则进入步骤f)；e)从人脸或眼周图像中扣取虹膜图像，利用虹膜图像进行用户身份的认证并输出结果；f)利用采集图像进行人脸或眼周识别以进行用户身份的认证并输出结果。

Description

基于多生物特征模态的移动终端用户身份认证装置及方法

技术领域

本发明涉及一种本发明涉及生物特征识别和信息安全等技术领域，尤其涉及一种移动终端虹膜识别与人脸识别结合的身份识别方法及装置。

背景技术

近年来，移动终端设备功能得到不断的提升和加强，利用移动终端设备，用户可以进行娱乐、购物等诸多功能。在为用户带来极大便捷的同时，安全隐患也不断显现，用户的私人信息被恶意盗取、手机终端的摄像头被恶意打开、移动支付、移动理财存在着巨大的安全隐患，推动生物特征识别在移动终端设备的发展。

传统的生物特征识别包括：指纹识别、人脸识别、虹膜识别、声纹识别、指静脉识别等等。受制于硬件设备的限制，现阶段的移动终端设备中大多集成的是指纹识别、人脸识别和声纹识别。相比于这三种生物特征模态，虹膜识别具有非接触性、安全性高、唯一性强等特点。随着用户在移动支付、移动理财等方面的需求不断提升，用户对移动终端的安全问题也在不断重视。虹膜识别的优势也得到进一步的放大。

指纹识别是通过用户直接按压相关部件实现对相应的指纹数据进行获取，人脸识别和虹膜识别均通过摄像头获取用户的人脸和虹膜信息，这种非接触的用户数据获取方法可以大大降低用户信息被恶意盗取的可能性，然而其弊端就在于需要用户一定的配合才能实现用户身份认证。这种配合需要距离以及用户姿态均要满足一定的条件。单一的虹膜识别对用户配合的要求更为苛刻，这就使得用户体验相对较差。单一的人脸识别的安全性又相对偏低。如何结合人脸识别和虹膜识别，达到易用性与安全性的完美结合一直是生物特征识别在移动终端设备得到充分推广的瓶颈。

本发明将通过结合算法层面上的距离检测区分虹膜识别和人脸识别的作用范围，最大程度发挥虹膜识别安全性和人脸识别易用性的特点，从而提升移动终端设备的安全性能。

发明内容

本发明的目的在于提供一种移动终端多生物特征识别身份认证装置，其能够用来提升用户身份认证的安全性和便捷性。

为达到上述目的，本发明提供了如下的技术方案。具体地，提供了一种基于多生物特征模态的移动终端用户身份认证方法，所述移动终端用户身份认证装置包括图像获取模块和生物特征算法处理模块，所述方法包括如下步骤：

a)通过所述图像获取模块采集近红外的包含用户人眼的人脸或眼周生物特征图像；

b)基于采集的生物特征图像进行人眼区域定位，根据人眼定位结果计算用户的识别距离并进行距离判断，若距离过远或过近返回步骤a)重新采集；否则进入步骤c)；

c)基于采集的生物特征图像进行人脸关键点检测，以判断用户姿态是否符合采集要求；

d)判断人眼与图像获取模块之间的距离是否小于第一距离阈值，若小于则进入步骤e)；否则进入步骤f)；

e)从所采集的包含用户人眼的人脸或眼周生物特征图像中扣取虹膜图像，利用所述虹膜图像进行虹膜识别以进行用户身份的认证，进入步骤g)；

f)利用所采集的所述生物特征图像进行人脸或眼周识别以进行用户身份的认证，进入步骤g)；

g)输出认证的结果。

优选地，所述步骤d)中的虹膜识别的条件为所采集的生物特征图像质量符合虹膜识别的要求。

优选地，所述符合虹膜识别要求的虹膜图像区域的直径方向上不小于70个像素。

优选地，所述步骤d)中的虹膜识别的条件为人眼与所述图像获取模 块之间的距离小于第一距离阈值。

优选地，所述第一距离阈值范围为30-40cm。

优选地，所述用户与所述移动终端之间的识别距离在15cm至60cm之间。

优选地，所述步骤b)中的人眼区域定位实现在整个或局部人脸区域范围内进行人眼区域的定位，并区分左右眼。

优选地，所述图像获取模块包含用于进行用户身份认证的正常功耗工作模式和用于进行用户活跃度监测的低功耗工作模式。

优选地，在所述低功耗工作模式下采集的生物特征图像分辨率在30万像素与200万像素之间。

根据本发明的另一方面，提供了一种基于多生物特征模态的移动终端用户身份认证装置，所述装置包括图像获取模块、图像传输模块和生物特征算法处理模块，其中所述图像获取模块包括一个摄像头模组和红外照明灯，用于获取包括人眼虹膜的人脸或眼周近红外图像；所述图像传输模块用于与所述生物特征算法处理模块通信，将获取的近红外图像传输至所述生物特征算法处理模块；所述生物特征算法处理模块用于进行距离预测并对所采集到的生物特征数据处理，包括检测人眼位置并区分左右眼、关键点检测、基于近红外虹膜、人脸或眼周区域的多生物特征识别。

根据本发明的一种移动终端多生物特征识别身份认证装置和方法可以在多生物特征，例如虹膜、眼周及人脸的识别装置的小型化、移动化、易用性等方面较现有技术有较大的改进，可采用单一的图像获取模块对全脸或者包含虹膜或眼周的部分人脸图像进行同步获取，而且采集的距离范围可扩大至60cm，眼周识别与人脸识别的引入，可以大大提升基于生物特征识别的移动终端身份认证方法的易用性，加大了身份认证的使用方法，使得身份认证的便捷性得到大幅度的提升。

本发明具有正常工作状态的身份认证识别功能和低功耗的根据用户活跃度调节移动终端使用状态的功能，这样不仅保证了用户安全，而且大大提升了用户使用体验。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1示出了根据本发明的基于多生物特征模态进行用户身份认证的移动终端示意图；

图2示出了根据本发明的基于多生物特征模态的移动终端用户身份认证模块的结构框图；

图3示出了根据图2用户身份认证模块的结构框图中的生物特征算法处理模块的流程图；

图4示出了根据本发明的基于多生物特征模态的移动终端用户身份认证方法的流程图；

图5示出了根据本发明的在近距离虹膜识别模式下，用户虹膜注册和识别的流程图；

图6示出了图5中用户虹膜识别区域；

图7示出了根据本发明的在中距离人脸识别模式下，用户人脸注册和识别的流程图；

图8示出了图6中用户人脸识别区域；

图9示出了根据本发明的在中距离眼周识别模式下，用户眼周注册和识别的流程图；

图10示出了图9中的用户眼周识别区域；

图11示出了根据本发明的基于多生物特征模态的移动终端在低功耗工作模式下的流程图；

图12示出了图9步骤907中与移动终端成一定旋转角度的人脸和眼周图像。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例，可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

图1示出了根据本发明的基于多生物特征模态进行用户身份认证的移动终端示意图。如图1所示，移动终端100设置有显示屏101，用于显示采集到的包括人眼的人脸或者眼周图像；在显示屏101的任一侧设置有用户身份认证模块102，用于基于多生物特征模态的识别。优选地，用户身份认证模块102设置在显示屏101的上侧。

包含根据本发明的用户身份认证的移动终端可以选自智能电话、平板电脑、智能可穿戴设备、智能手表、智能眼镜、智能手环、智能门锁中的任意一种。

图2示出了根据本发明的基于多生物特征模态的移动终端用户身份认证模块的结构框图。图2中的移动终端用户身份认证模块即是图1中的用户身份认证模块102。如图2所示，根据本发明的一种基于多生物特征模态的移动终端用户身份认证装置202包括图像获取模块210、图像传输模块220和生物特征算法处理模块230，其中，

图像获取模块210设置为单个图像获取模块，用于同时获取包括人眼虹膜的人脸或者眼周图像：

具体地，根据本发明的一个实施例，图像获取模块210包括滤光片、摄像头模组、图像传感器、红外照明模块、红外照明控制模块：

滤光片设置为近红外光的单通滤光片或者近红外光与可见光的双通滤光片；

摄像头模组的视场角范围设置在20°～50°；

图像传感器设置为CMOS、CCD传感器或者RGB-IR图像传感器；

红外照明控制模块设置为光照自适应控制模块，光照自适应控制模块设置为持续红外照明或具有一定频率的红外照明，可根据用户实时状态获取用户距离信息，红外照明模块可以由一个或多个近红外LED照明组成，并且红外照明模块的中心波长810nm或者是850nm。

图像获取模块210设置有正常认证模式和低功耗工作模式，正常认证模式即为近距离虹膜识别和中距离人脸或眼周识别，用于对用户进行 身份认证，低功耗工作模式即为实时监测人眼或人脸，用于用户活跃度的监测。正常认证模式设置为近距离虹膜识别、中距离人脸识别或眼周识别，近距离识别设置为虹膜识别单一模态的识别方式，还包括虹膜识别分别与人脸识别或眼周识别融合的识别方式。中距离识别设置为人脸识别或眼周识别，还包括人脸识别或眼周识别分别与虹膜识别融合的识别方式。根据本发明，在近距离和中距离的范围内均可以采集到人脸或眼周图像，即可以获取到虹膜图像。在近距离时，虹膜图像的质量较高，安全性也较强，所以在近距离时用虹膜识别进行身份认证可以有很高的精度。在中距离时，虹膜图像的质量较近距离下相对较差，可以用来作为多生物特征融合中的单个生物特征模态，而不作为单独使用的模态。例如，用虹膜图像辅助人脸或眼周进行识别。

根据本发明的一个实施例，图像获取模块210的物距优选为15cm～60cm，即图像获取模块210对用户进行虹膜、人脸、眼周的识别距离范围为15cm～60cm，优选地，虹膜和人脸、眼周的分界点识别范围阈值为第一距离阈值，即当小于第一距离阈值时，切换到虹膜识别。当大于第一距离阈值时，切换到人脸或眼周的识别。优选地，第一距离阈值可以为30cm～40cm中的任一值。更优选地，第一距离阈值是35cm。

当进行虹膜识别时，优选地，拍摄到的虹膜图像中虹膜区域的分辨率不小于70个像素。虹膜图像区域是指虹膜图像的外边缘，即虹膜区域的直径方向上的像素个数不小于70个像素。当大于第一距离阈值时，切换到人脸或眼周识别。图像采集分辨率设置为高于200万像素。低功耗认证模式设置为实时监测人眼或人脸，用于监测用户活跃度，图像采集分辨率范围设置为30万像素～200万像素。

图像传输模块220用于从图像获取模块210获取采集到的图像，并与生物特征算法处理模块230通信，将获取的图像传输至所述生物特征算法处理模块230。图像传输模块220包括连接组件、图像组帧和解帧程序，即从图像获取模块210的传感器中将数据组合成图像并进行传输，并在接收端将组合成的图像帧分解得到相应的图像。

生物特征算法处理模块230用于进行距离预测和提示，并对所采集到的生物特征数据处理，包括检测人眼位置并区分左右眼、关键点检测、基于近红外虹膜、人脸或眼周区域的多生物特征识别。

如图2所示，移动终端用户身份认证装置202通过人机交互模块240与用户进行信息交互，例如对用户进行距离信息提示，用于使使用者在虹膜图像采集处理过程中对所述移动终端用户身份认证装置进行配置并与所述装置实现人机交互功能。优选地，人机交互模块240可以采用声音提示、图像提示等多种提示方式。人机交互模块240可利用移动终端自带的触摸屏、扬声器等来实现其功能。

图3示出了根据本发明的基于多生物特征模态的移动终端用户身份认证方法的流程图，如图3所示，该方法步骤为：

首先，启动身份认证模式；

在步骤301中，通过图像获取模块采集近红外的包含用户人眼的人脸或眼周生物特征图像，进入步骤302；

在步骤302中，基于采集的生物特征图像进行人眼区域定位，根据人眼定位结果计算用户的识别距离，进入步骤303；

根据本发明的一个实施例，人眼区域定位实现在整个或局部人脸区域范围内进行人眼区域的定位，并区分左右眼。

在步骤303中，对识别距离进行判断，若距离过远或过近返回步骤301重新采集；否则进入步骤304；

根据本发明的一个实施例，用户与所述移动终端之间的识别距离在15cm至60cm之间，即物距，若采集距离不在15cm～60cm范围内，则返回步骤301重新采集，若采集距离在15cm～60cm范围内，则进入步骤304；

在步骤304中，基于采集的生物特征图像进行人脸关键点检测，通过对人脸的关键点检测判断用户姿态是否符合采集要求，进入步骤305；

在步骤305中，判断生物特征图像是否符合虹膜识别的条件，即人眼与图像获取模块之间的距离是否小于第一距离阈值，若小于则进入步骤306；否则进入步骤307；优选地，人眼与图像获取模块之间的距离可以利用步骤303中获取的结果。

优选地，第一距离阈值为30～40cm，更优选地，第一距离阈值为35cm。第一距离阈值应如何选择可以根据实际的应用场景或者识别算法性能来决定。

在步骤306中，从所采集的包含用户人眼的人脸或眼周生物特征图像中扣取虹膜图像，利用所述虹膜图像进行虹膜识别以进行用户身份的 认证，具体的虹膜识别方式将参考下面的图5和图6进行描述；

在步骤307中，利用所采集的所述生物特征图像进行人脸或眼周识别以进行用户身份的认证，具体的人脸的识别方式将参考下面的图7和图8进行描述，眼周的识别方式将参考下面的图9和图10进行描述；

在步骤308中，对用户身份认证的结果进行输出。

图4示出了根据图2中用户身份认证模块202的结构框图的生物特征算法处理模块230的流程图；如图4所示，生物特征算法处理模块430的工作流程为：

在步骤401中，图像信息输入至生物特征算法处理模块430，并判断采集距离，进入步骤402；

在步骤402中，根据识别阈值对采集图像的距离进行判别，若采集距离超出阈值则进行步骤406，否则进入步骤403；

根据本发明的一个实施例，所述物距为15cm～60cm，即识别身份认证的采集范围，若采集距离不在15cm～60cm范围内，则进行步骤406；

在步骤406中，收集大于识别阈值的姿势信息，通过移动终端发出调整信号，人机互动，直至调整姿势至识别阈值范围内，进入步骤403；

在步骤403中，将不大于阈值的图像根据虹膜、人脸或眼周的识别范围进行模态选择，识别范围小于第一距离阈值，例如30cm～40cm，进入步骤404，否则进入步骤405；

在步骤404中，采用虹膜特征进行身份认证识别；

在步骤405中，采用眼周或者人脸进行身份认证识别。

图5示出了根据本发明的在近距离虹膜识别模式下，用户虹膜注册和识别的流程图，即图3中步骤306从所采集的包含用户人眼的人脸或眼周生物特征图像中扣取虹膜图像，利用所述虹膜图像进行虹膜识别以进行用户身份认证的具体工作流程。所述虹膜区域如图6所示，位于眼部区域601a和601b，通过人眼602a和602b检测方法可以得到用户眼部位置，可以从高分辨率的人脸603或眼周601a和601b图像上截取满足要求的虹膜识别图像，虹膜区域的直径应在70～300像素之间。如图5所示，用户虹膜注册和识别的流程，注册步骤如下：

首先进入虹膜注册模式，进入步骤501；

在步骤501中，根据人眼区域定位结果实时传输虹膜图像，进入步 骤502；

在步骤502中，通过虹膜预处理以及特征提取方法，得到用户的虹膜特征，进入步骤503；

在步骤503中，将虹膜特征存在用户的虹膜特征模板库中；

虹膜识别步骤如下：

首先进入虹膜识别模式，进入步骤504；

在步骤504中，根据人眼检测结果实时传输虹膜图像，进入步骤505；

在步骤505中，通过虹膜预处理以及特征提取方法，得到用户的虹膜特征，进入步骤506；

在步骤506中，将虹膜特征与用户的虹膜特征模板库中的虹膜特征进行比对，进入步骤507；

在步骤507中，输出用户的身份认证信息。

图7示出了根据本发明的在中距离人脸识别模式下，用户人脸注册和识别的流程图，即图3中步骤307的利用所采集的所述生物特征图像进行人脸识别以进行用户身份的认证的具体工作流程。所述人脸区域如图8所示，人脸801是指包括眼睛、鼻子、眉毛等器官的区域。如图7所示，用户人脸注册和识别的流程，注册步骤如下：

首先开启人脸注册模式，进入步骤701；

在步骤701中，对人脸进行检测，进入步骤702；

在步骤702中，根据人脸检测结果对人脸关键点进行定位，进入步骤703；

在步骤703中，根据脸部关键点信息对人脸图像进行归一化，进入步骤704；

在步骤704中，对人脸特征进行提取，进入步骤705；

在步骤705中，形成用户人脸特征模板库；

识别步骤如下：

首先开始识别模式，进入步骤706；

在步骤706中，对人脸进行检测，进入步骤707；

在步骤707中，根据人脸检测结果对人脸关键点进行定位，进入步骤708；

在步骤708中，根据脸部关键点信息对人脸图像进行归一化，进入 步骤709；

在步骤709中，对人脸特征进行提取，进入步骤710；

在步骤710中，与用户人脸特征模板库进行人脸特征比对，进入步骤711；

在步骤711中，输出身份认证信息结果。

图9示出了根据本发明的在中距离眼周识别模式下，用户眼周注册和识别的流程图，即图3中步骤308的利用所采集的所述生物特征图像进行眼周识别以进行用户身份的认证的具体工作流程。所述眼周如图10所示，是指包括双眼1001a和1001b在内的长方形区域1002，该区域除了虹膜的纹理信息外，还包括用户的睫毛，眼皮，眉毛等眼周信息。如图9所示，用户眼周注册和识别的流程，注册步骤如下：

首先开启眼周注册模式，进入步骤901；

在步骤901中，根据人眼检测结果实时扣取眼周部分图像，进入步骤902；

在步骤902中，根据双眼的相对位置对眼周图像进行旋转，进入步骤903；

在步骤903中，根据眼部关键点信息对眼周图像进行归一化，进入步骤904；

在步骤904中，进行眼周特征提取，进入步骤905；

在步骤905中，形成用户眼周特征模板库；

眼周识别步骤如下：

首先开启眼周识别模式，进入步骤906；

在步骤906中，根据人眼检测结果实时扣取眼周部分图像，进入步骤907；

在步骤907中，根据双眼的相对位置对眼周图像进行旋转，如图12所示，包括人脸区域1201和眼周区域1202，通过计算双眼连线与水平线的夹角α，将眼周区域1202进行旋转，进入步骤908；

在步骤908中，根据眼部关键点信息对眼周图像进行归一化，进入步骤909；

在步骤909中，进行眼周特征提取，进入步骤910；

在步骤910中，与用户眼周特征模板库进行人脸特征比对，进入步 骤911；

在步骤911中，输出身份认证结果。

本发明的图像获取模块还包括用于进行用户活跃度监测的低功耗工作模式，低功耗工作模式下采集的生物特征图像分辨率在30万像素与200万像素之。图11示出了根据本发明的基于多生物特征模态的移动终端在低功耗工作模式下的流程图，步骤如下：

首先开启低功耗工作模式，进入步骤1101；

在步骤1101中，进行实时的图像采集，进入步骤1102；

在步骤1102中，进行实时的人脸检测或人眼检测，检测用户使用移动终端的活跃度，进入步骤1103；

在步骤1103中，判断用户的当前使用移动终端设备的活跃度，从而实现对移动终端设备的使用状态的调整，进入步骤1104；

在步骤1104中，根据用户活跃度调整移动终端的使用状态，当用户活跃度比较低时，降低移动终端屏幕的亮度；用户活跃度比较高时，保证移动终端屏幕亮度不变。

以上只是本发明较佳的实例，并非来限制本发明实施范围，故凡依本发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明专利申请范围内。

Claims (8)

1.一种基于多生物特征模态的移动终端用户身份认证方法，所述方法包括如下步骤：

a)通过图像获取模块采集近红外的包含用户人眼的人脸或眼周生物特征图像；

b)基于采集的生物特征图像进行人眼区域定位，根据人眼定位结果计算用户的识别距离并进行距离判断，若距离过远或过近返回步骤a)重新采集；否则进入步骤c)；

c)基于采集的生物特征图像进行人脸关键点检测，以判断用户姿态是否符合采集要求；

d)判断人眼与所述图像获取模块之间的距离是否小于第一距离阈值，若小于则进入步骤e)虹膜识别模式；否则进入步骤f)人脸或眼周识别模式；

e)从所采集的包含用户人眼的人脸或眼周生物特征图像中扣取虹膜图像，利用所述虹膜图像进行虹膜识别以进行用户身份的认证，进入步骤g)；

f)利用所采集的所述生物特征图像进行人脸或眼周识别以进行用户身份的认证，进入步骤g)；

g)输出认证的结果；

其中所述第一距离阈值范围为30-40cm。

2.如权利要求1所述的方法，其中步骤d)当人眼与所述图像获取模块之间的距离小于第一距离阈值时，判断采集的生物特征图像质量是否符合虹膜识别的要求，若符合则进入步骤e)虹膜识别模式；否则进入步骤f)人脸或眼周识别模式。

3.如权利要求2所述的方法，其中所述符合虹膜识别要求的虹膜图像区域的直径方向上不小于70个像素。

4.如权利要求1所述的方法，其中所述用户与所述移动终端之间的识别距离在15cm至60cm之间。

5.如权利要求1所述的方法，其中所述步骤b)中的人眼区域定位实现在整个或局部人脸区域范围内进行的人眼区域定位，并区分左右眼。

6.如权利要求1所述的方法，其中所述图像获取模块包含用于进行用户身份认证的正常功耗工作模式和用于进行用户活跃度监测的低功耗工作模式。

7.如权利要求6所述的方法，其中在所述低功耗工作模式下采集的生物特征图像分辨率在30万像素与200万像素之间。

8.一种基于多生物特征模态的移动终端用户身份认证装置，所述装置包括图像获取模块、图像传输模块和生物特征算法处理模块，其中

所述图像获取模块仅设置一个摄像头模组和红外照明灯，用于获取包括人眼虹膜的人脸或眼周近红外图像，既能用于虹膜识别也能用于人脸或眼周识别；

所述图像传输模块用于与所述生物特征算法处理模块通信，将获取的近红外图像传输至所述生物特征算法处理模块；

所述生物特征算法处理模块用于进行距离估计得到人眼与图像获取模块之间的距离，并根据人眼与图像获取模块之间的距离选择识别模态对所采集到的生物特征数据进行识别，包括检测人眼位置并区分左右眼、关键点检测、基于近红外虹膜、人脸或眼周区域的多生物特征识别，所述识别模态选择根据人眼与图像获取模块之间的距离与第一距离阈值判断，当人眼与图像获取模块之间的距离小于第一距离阈值时，生物特征算法处理模块切换到虹膜识别模式，否则切换到眼周或人脸识别模式。