CN113920591A - 基于多模态生物特征识别的中远距离身份认证方法及装置 - Google Patents

Abstract

本发明提供一种基于多模态生物特征识别的中远距离身份认证方法及装置，所述方法首先基于可见光场景相机拍摄场景图片检测用户，进一步通过对场景图片内待认证用户的位置调整双目深度相机、红外虹膜相机和补光灯模组的角度朝向所述待认证用户。基于双目深度相机对待认证用户的距离的检测，根据距离调整红外虹膜相机角度和焦距，根据距离调整补光灯模组的角度和亮度，以拍摄出高清的人脸图像和虹膜图像。基于人脸图像和虹膜图像分别提取人脸特征和虹膜特征并融合后用于身份认证，极大提高了识别准确度。所述装置通过双目深度相机确定待认证用户的距离，基于待认证用户的位置和距离调整红外虹膜相机角度和焦距，能够获得更清晰的人脸图像和虹膜图像。

Description

基于多模态生物特征识别的中远距离身份认证方法及装置

技术领域

本发明涉及身份认证技术，尤其涉及一种基于多模态生物特征识别的中远距离身份认证方法及装置。

背景技术

生物特征识别技术自上世纪70年代中期起发展至今已有40多年历史。早期的生物识别采集设备较为昂贵，因而常用于一些安全级别较高的军用领域。经过近半个世纪的发展，随着微处理器及各种电子元件成本的不断下降、识别算法的识别精度的逐渐提高，生物特征识别技术逐渐进入民用领域。目前生物特征识别技术在人口管理、安全反恐、机场安检、出入境边检、门禁与安全系统、权限控制、对象监控、金融防伪、电子商务、社保福利等领域发挥重要作用。

中远距离图像采集主动感知，面临诸多挑战，如虹膜物理尺寸小(10mm左右)、图像分辨率要求高(虹膜区域200pixel左右)、镜头景深小(约10cm)、用户状态多变(姿态、距离、运动等)。考虑在一般情况下，普通摄像头拍摄到的人脸图像都比较小，那么如何在中远距离下采集到一张清晰的虹膜图像是成了极其关键的问题。

生物特征识别技术是将采集设备获取的人体生理、行为等特征通过计算机技术转化为数据信息进而实现身份识别的一种新兴技术。目前生物特征识别技术主要有虹膜、指纹、人脸、眼球、掌纹、声纹、笔迹、步态等特征识别技术。没有哪一种生物特征可以在各个方面都表现良好，不同的生物特征具有不同的优缺点。

发明内容

本发明实施例提供了一种基于多模态生物特征识别的中远距离身份认证方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，实现中远距离情景下实现高效身份认证。

本发明的技术方案如下：

一方面，本发明提供一种基于多模态生物特征识别的中远距离身份认证方法，包括：

接收可见光场景相机采集的场景图像，所述场景图像包含待认证用户和背景；

采用预设人脸识别模型检测所述待认证用户在所述场景图像中的位置；

根据所述待认证用户在所述场景图像中的位置调整双目深度相机、红外虹膜相机和补光灯模组的角度朝向所述待认证用户；

接收所述双目深度相机采集的三维光图像，并根据所述三维光图像计算所述待认证用户与所述双目深度相机的距离信息；

根据所述距离信息调整所述红外虹膜相机角度和焦距，根据所述距离信息调整所述补光灯模组的角度和亮度，接收所述红外虹膜相机采集的待认证用户设定分辨率的人脸图像和虹膜图像；

对所述人脸图像和所述虹膜图像进行预处理，并将所述人脸图像输入第一特征提取网络以输出人脸特征，将所述虹膜图像输入第二特征提取网络以输出虹膜特征，融合所述人脸特征和所述虹膜特征得到融合特征，将所述融合特征输入预设身份认证算法，得到对所述待认证用户的身份认证结果。

在一些实施例中，融合所述人脸特征和所述虹膜特征得到融合特征，计算式如下：

V_T＝αV_F+(1-α)(βV_F+λV_I)；

其中，V_T为所述融合特征，V_F为所述人脸特征，V_I为所述虹膜特征，α为融合特征识别权重系数，β为所述人脸特征的单模态生物特征识别权重系数，λ为所述虹膜特征的单模态生物特征识别权重系数。

在一些实施例中，β和λ的计算公式如下：

其中，F_f为人脸图像的预处理得分，F_i为虹膜图像的预处理得分，F_f为对人脸图像高清晰度得分、人脸图像对比度得分、人脸分割过程得分、人脸定位过程得分和人脸归一化得分加权求和得到；F_i为对虹膜图像高清晰度得分、虹膜图像对比度得分、虹膜分割过程得分、虹膜定位过程得分和虹膜归一化得分加权求和得到。

在一些实施例中，将所述融合特征输入预设身份认证算法，得到对所述待认证用户的身份认证结果，包括：

基于KNN算法获取预设身份数据库中与所述融合特征最接近的用户身份信息，并输出为身份认证结果。

在一些实施例中，基于KNN算法获取预设身份数据库中与所述融合特征最接近的用户身份信息之前，还包括：

获取多个预设的第二代身份证和/或电子护照的头像、虹膜图像和身份信息；

采集各头像的人脸特征和各虹膜图像的虹膜特征并融合得到预设融合特征，根据所述预设融合特征和所述身份信息建立所述预设身份数据库。

另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。

另一方面，本发明还提供一种基于多模态生物特征识别的中远距离身份认证装置，包括：

可见光场景相机，用于采集预设区域内大视角的场景图像；

生物特征采集相机模组，至少包括双目深度相机、红外虹膜相机和补光灯模组；

显示屏，用于显示身份识别结果；

处理器，连接所述可见光场景相机、所述生物特征采集相机模组和所述显示屏，并执行上述基于多模态生物特征识别的中远距离身份认证方法；

支撑组件，至少包括装置底盘、机架支撑杆、转动组件和相机模组调姿支架；所述机架支撑杆可旋转地连接所述装置地盘，并通过所述转动组件驱动沿水平方向旋转；所述可见光场景相机、所述显示屏和所述处理器固定在所述机架支撑杆上；所述生物特征采集相机模组通过所述相机模组调姿支架连接固定在所述机架支撑杆，并通过所述相机模组调姿支架驱动沿水平或竖直方向旋转。

在一些实施例中，所述转动组件包括：

第一旋转齿轮，所述机架支撑杆固定连接所述第一旋转齿轮的中轴，所述第一旋转齿轮可旋转的连接在所述底盘上；

第一旋转电机，通过旋转电机支撑架固定在所述底盘上，并连接驱动所述第一旋转齿轮。

在一些实施例中，所述相机模组调姿支架包括：

第二旋转齿轮，固定连接在所述机架支撑杆上，所述第二旋转齿轮通过旋转轴连接调姿支撑架；

第二旋转电机，固定在所述调姿支撑架上，连接所述第二旋转齿轮，并驱动所述调姿支撑架沿水平方向旋转；

三个微型伺服电动推杆，呈三角结构固定在所述调姿支撑架上，各微型伺服电动推杆的推杆固定连接所述生物特征采集相机模组，以驱动所述生物特征采集相机模组变化角度。

在一些实施例中，所述生物特征采集相机模组还包括安装板，所述双目深度相机设置在所述安装板的顶部，所述红外虹膜相机设置在所述安装板的中部；

所述补光灯模组包括第一补光灯模组、第二补光灯模组、第三补光灯模组和第四补光灯模组，所述第一补光灯模组设置在所述红外虹膜相机的左侧，所述第二补光灯模组设置在所述红外虹膜相机的右侧，所述第三补光灯模组和所述第四补光灯模组设置在所述红外虹膜相机的下侧。

本发明的有益效果是：

所述基于多模态生物特征识别的中远距离身份认证方法及装置中，所述方法首先基于可见光场景相机拍摄场景图片检测用户，进一步通过对场景图片内待认证用户的位置调整双目深度相机、红外虹膜相机和补光灯模组的角度朝向所述待认证用户。基于双目深度相机对待认证用户的距离的检测，根据距离调整红外虹膜相机角度和焦距，根据距离调整补光灯模组的角度和亮度，以拍摄出高清的人脸图像和虹膜图像。基于人脸图像和虹膜图像分别提取人脸特征和虹膜特征并融合后用于身份认证，极大提高了识别准确度。所述装置基于可见光场景相机拍摄大视角获取待认证用户的位置，并通过双目深度相机确定待认证用户的距离，基于待认证用户的位置和距离调整红外虹膜相机角度和焦距，能够获得更清晰的人脸图像和虹膜图像。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例所述基于多模态生物特征识别的中远距离身份认证方法的流程示意图；

图2为本发明一实施例所述基于多模态生物特征识别的中远距离身份认证方法的逻辑示意图；

图3为本发明一实施例所述基于多模态生物特征识别的中远距离身份认证装置的结构示意图；

图4为图3所述基于多模态生物特征识别的中远距离身份认证装置的转动组件结构示意图；

图5为图3所述基于多模态生物特征识别的中远距离身份认证装置的相机模组调姿支架结构示意图；

图6为图3所述基于多模态生物特征识别的中远距离身份认证装置的生物特征采集相机模组结构示意图。

附图标记：

100：可见光场景相机； 200：生物特征采集相机模组； 201：安装板；

202：双目深度相机； 203：红外虹膜相机； 204：第一补光灯模组；

205：第二补光灯模组； 206：第三补光灯模组； 207：第四补光灯模组；

300：显示屏； 400：支撑组件； 401：装置底盘；

402：机架支撑杆； 403：转动组件； 4031：第一旋转齿轮；

4032：第一旋转电机； 4033：旋转电机支撑架； 404：相机模组调姿支架；

4041：第二旋转齿轮； 4042：调姿支撑架； 4043：第二旋转电机；

4044：微型伺服电动推杆。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

随着5G、云计算、区块链和物联网的兴起，现代社会中人们对自身身份信息识别的准确性、安全性及实用性提出了新的要求，传统的身份识别方法无法适应人们的需求，生物特征识别技术为身份的准确鉴别和认证提供了一种有效的解决办法。生物特征由于具有唯一性、终生不变性、随身携带、不易丢失和冒用、防伪性能好等特点，正在成为一种新的身份认证介质，受到世界各国的普遍关注，具有广阔的市场应用前景。

生物特征识别技术是将采集设备获取的人体生理、行为等特征通过计算机技术转化为数据信息进而实现身份识别的一种新兴技术。目前生物特征识别技术主要有虹膜、指纹、人脸、眼球、掌纹、声纹、笔迹、步态等特征识别技术。表1比较了各种生物特征在普遍性、可区分性和易用性等方面的优劣。可以看出，没有哪一种生物特征可以在各个方面都表现良好，不同的生物特征具有不同的优缺点。多模态生物特征融合识别同时使用多种生物特征，取长补短，提高身份识别系统的整体精度和可靠性。多模态生物特征融合识别由于其重要的理论研究价值和市场应用前景，吸引了国内外越来越多的研究者从事这方面的研究，已成为生物特征识别技术领域的一个重要研究方向。

表1各种生物特征的比较

模态

普遍性

永久性

唯一性

准确性

可采集性

易用性

安全性

人脸

高

中

中

低

高

高

低

虹膜

高

高

高

高

中

低

高

指纹

中

高

高

高

高

中

低

掌纹

中

中

高

高

高

中

低

声音

中

低

低

低

中

高

低

签名

低

低

低

低

高

高

低

基于多模态生物特征融合的身份识别系统的主要具有以下三方面的优点：(1)准确性，通过精心设计融合算法，可以综合考虑各个模态对身份识别的贡献，从而可以显著提高身份识别系统的性能。(2)可靠性，同时使用多种生物特征可以弥补某些生物特征容易被伪造的弱点。而且，同时伪造多个生物特征比伪造单个生物特征要困难的多。(3)普适性，由于疾病或外界因素的影响，少部分用户不具有某种模态，例如先天性无虹膜或外伤导致指纹磨损，多模态生物特征的使用，可以在某一模态缺少的情况下识别系统仍能正常工作，扩大系统适用的人群范围。

基于易用性的考虑，在多模态生物特征识别中一般要选择使用方便，用户接受度高的生物特征。在众多生物特征中，人脸是最自然方便、用户交互最友好的生物特征，因而在生物特征识别领域一直具有不可替代的地位。但人脸识别在准确率方面存在着较大不确定性，动态条件下误识别率高，而作为面部生物特征之一的虹膜得益于其高度唯一性和稳定性，被公认为是识别精度最高的生物特征之一。人体面部的人脸和虹膜特征具有表观可现、信息丰富、采集非接触的独特优势，在中远距离身份识别和智能视频监控应用场景具有不可替代的优越性。

综合人体面部特征的特点，本发明以人脸-虹膜图像采集装置设计为基础，研究中远距离面部多模态生物特征识别算法，综合多种面部生物特征的优点，以弥补其现存的短板问题，提高识别系统的性能，扩大多模态生物特征识别技术的应用范围。

具体的，本发明提供一种基于多模态生物特征识别的中远距离身份认证方法，如图1所示，如图1所示，包括步骤S101～S106：

步骤S101：接收可见光场景相机采集的场景图像，场景图像包含待认证用户和背景。

步骤S102：采用预设人脸识别模型检测待认证用户在场景图像中的位置。

步骤S103：根据待认证用户在场景图像中的位置调整双目深度相机、红外虹膜相机和补光灯模组的角度朝向待认证用户。

步骤S104：接收双目深度相机采集的三维光图像，并根据三维光图像计算待认证用户与双目深度相机的距离信息。

步骤S105：根据距离信息调整红外虹膜相机角度和焦距，根据距离信息调整补光灯模组的角度和亮度，接收红外虹膜相机采集的待认证用户设定分辨率的人脸图像和虹膜图像。

步骤S106：对人脸图像和虹膜图像进行预处理，并将人脸图像输入第一特征提取网络以输出人脸特征，将虹膜图像输入第二特征提取网络以输出虹膜特征，融合人脸特征和虹膜特征得到融合特征，将融合特征输入预设身份认证算法，得到对待认证用户的身份认证结果。

在步骤S101中，可见光场景相机为大视场相机，对设定范围内的场景进行拍摄，目的在于不断采集较大视场的图像，对一个特定区域进行监控，随时监测是否有待认证用户。

在步骤S102～步骤S105中，预设人脸识别模型可以是基于神经网络预学习得到的，用于识别场景图像中人脸的位置。具体的，获取多张已有的场景图片样本，每张样本中包含一个或多个人脸并人工框选人脸作为标签，利用设定数量添加标签后的场景图片构建第一训练样本集；采用第一训练样本集对卷积神经网络进行训练，以得到能够识别人脸位置的预设人脸识别模型。采用预设人脸识别模型检测待认证用户在场景图像中的位置，以确定待认证用户的位置，用于指导后续拍摄图像时的角度，以提高图像采集质量。

具体的，调整双目深度相机、红外虹膜相机和补光灯模组的角度朝向待认证用户，双目深度相机用于检测待认证对象的距离，通过采集三维光图像识别待认证用户预双目深度相机的距离。根据距离信息调整红外虹膜相机角度和焦距，根据距离信息调整补光灯模组的角度和亮度，红外虹膜相机用于拍摄待认证用户的人脸图像和虹膜图像，用于识别。

在步骤S106中，参照图2，对人脸图像进行预处理，可以包括人脸图像质量评价、人脸活体检测、活体检测、人脸对齐和人脸归一化。人脸图像质量评价是判断图像中是否出现模糊(离焦、运动等造成的)、图像清晰度差、图像分辨率低等图像质量畸变情况。人脸检测是判读图像中是否存在人脸，存在多少张人脸。人脸活体检测是判断图像中的用户是否为是否为活体，而非图片或者模型等欺骗手段。人脸对齐是根据识别模型需要，将图像中的人脸进行裁剪及缩放到一定尺度。人脸归一化是指对图像中的人脸进行对称化转换。对虹膜图像的预处理，可以包括虹膜图像质量评价、虹膜图像增强、虹膜活体检测、虹膜定位、虹膜分割和虹膜归一化。虹膜图像质量评价是判断图像中是否出现模糊(离焦、运动等造成的)、图像清晰度差、图像分辨率低、斜视、闭眼等图像质量畸变情况。虹膜图像增强是针对虹膜图像分辨率低及虹膜区域内出现部分遮挡的情况，进行处理，提高后续定位，分割的准确率。虹膜活体检测为判断当前图像中的用户是否为假人模型、美瞳等欺骗手段。虹膜定位是指确定出图像中虹膜的位置及虹膜的内外圆信息。虹膜分割是通过定位信息，在排除睫毛、光斑等干扰基础上将虹膜区域从原整体人眼图像中分割出来。虹膜归一化是指将环状虹膜展开成矩形，将环形的虹膜按照极坐标的形式转换为直角坐标系中得到归一化图像，有利于图像进行处理。

具体的，构建特征提取网络，包括第一特征提取网络、第二特征提取网络和全连接层；其中，将人脸图像输入第一特征提取网络以提取人脸特征，将虹膜图像输入第二特征提取网络以输出虹膜特征，全连接层用于融合人脸特征和虹膜特征得到融合特征。进一步的，特征提取网络可以通过预训练调节参数，以获得更高的准确度。

在一些实施例中，步骤S106中，融合人脸特征和虹膜特征得到融合特征，计算式如下：

V_T＝αV_F+(1-α)(βV_F+λV_I)； (1)

其中，V_T为融合特征，V_F为人脸特征，V_I为虹膜特征，α为融合特征识别权重系数，β为人脸特征的单模态生物特征识别权重系数，λ为虹膜特征的单模态生物特征识别权重系数。

在一些实施例中，β和λ的计算公式如下：

其中，F_f为人脸图像的预处理得分，F_i为虹膜图像的预处理得分，F_f为对人脸图像高清晰度得分、人脸图像对比度得分、人脸分割过程得分、人脸定位过程得分和人脸归一化得分加权求和得到。F_i为对虹膜图像高清晰度得分、虹膜图像对比度得分、虹膜分割过程得分、虹膜定位过程得分和虹膜归一化得分加权求和得到。

人脸图像和虹膜凸显固定预处理过程包括质量评价、定位、分割和归一化等，本实施例中，对每个过程的效果给一个评分，然后把每个过程的评分做加权，最后得到一个总的分数，就是整个预处理过程的得分。

Q_total＝λ₁Q_clarity+λ₂Q_contrast+λ₃Q_loc+λ₄Q_seg+λ₅Q_normaliz； (4)

其中，λ_1,2,3,4,5为各预处理过程得分权重，Q_clarity图像清晰度得分，Q_contrast图像对比度得分，Q_loc定位过程得分，Q_seg分割过程得分，Q_normaliz归一化过程得分，Q_total整个预处理过程的总得分。其中，图像的清晰度得分的计算，可以以图像所有像素的灰度平均值为参考，对每个像素点的灰度值求差后求平方和，然后用像素总数标准化，它表征了图像灰度变化的平均程度，灰度变化的平均程度越大，图像越清晰，灰度变化平均程度越小，图像越模糊。图像对比度得分可以直接采用图像对比度值。定位过程得分和分割过程得分，可以以模型对人脸或虹膜定位和分割的准确性作为相应的评分。人脸归一化过程得分采用人脸对称程度(左脸与右脸面积比值)或人脸在人脸图像中的面积占比加权平均得到。虹膜归一化过程得分，可以采用有效虹膜区域在整个归一化图像中的面积占比或离群像素点数量的占比。

在一些实施例中，步骤S106中，将融合特征输入预设身份认证算法，得到对待认证用户的身份认证结果，包括：基于KNN算法获取预设身份数据库中与融合特征最接近的用户身份信息，并输出为身份认证结果。

进一步的，基于KNN算法获取预设身份数据库中与所述融合特征最接近的用户身份信息之前，还包括：

步骤S1061：获取多个预设的第二代身份证和/或电子护照的头像、虹膜图像和身份信息。

步骤S1062：采集各头像的人脸特征和各虹膜图像的虹膜特征并融合得到预设融合特征，根据预设融合特征和身份信息建立预设身份数据库。

另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述方法的步骤。

另一方面，本发明还提供一种基于多模态生物特征识别的中远距离身份认证装置，首先基于大视角可见光相机在一个预设广角范围内拍摄场景图片，通过行人检测模型对对场景图片内待认证用户的位置分析，调整深度相机、红外相机和光源组件的角度朝向所述待认证用户。基于深度相机对用户在图片中深度的检测的距离信息，调整红外相机的焦距和光源组件的光照强度，以拍摄出高清的人脸及虹膜图像，将采集到的人脸及虹膜图像输入预设身份认证算法，基于面部特征和虹膜特征两种模态进行身份认证，得到对用户的身份认证结果，极大提高了识别准确度。

如图3～6所示，所述基于多模态生物特征识别的中远距离身份认证装置包括：可见光场景相机100、生物特征采集相机模组200、显示屏300、处理器(图中未示出)和支撑组件400。

可见光场景相机100，用于采集预设区域内大视角的场景图像；生物特征采集相机模组200，至少包括双目深度相机202、红外虹膜相机203和补光灯模组；显示屏300，用于显示身份识别结果；处理器，连接可见光场景相机100、生物特征采集相机模组200和显示屏300，并执行上述基于多模态生物特征识别的中远距离身份认证方法；支撑组件400，至少包括装置底盘401、机架支撑杆402、转动组件403和相机模组调姿支架404；机架支撑杆402可旋转地连接装置地盘，并通过转动组件403驱动沿水平方向旋转；可见光场景相机100、显示屏300和处理器固定在机架支撑杆402上；生物特征采集相机模组200通过相机模组调姿支架404连接固定在机架支撑杆402，并通过相机模组调姿支架404驱动沿水平或竖直方向旋转。

在一些实施例中，如图4所示，转动组件403包括：第一旋转齿轮4031，机架支撑杆402固定连接所述第一旋转齿轮4031的中轴，第一旋转齿轮4031可旋转的连接在所述底盘上；第一旋转电机4032，通过旋转电机支撑架4033固定在底盘上，并连接驱动所述第一旋转齿轮4031。

在一些实施例中，如图5所示，所述相机模组调姿支架404包括：第二旋转齿轮4041、第二旋转电机403和三个微型伺服电动推杆4044。

第二旋转齿轮4041，固定连接在机架支撑杆402上，第二旋转齿轮4041通过旋转轴(图中未示出)连接调姿支撑架4042；

第二旋转电机403，固定在调姿支撑架4042上，连接第二旋转齿轮4041，并驱动调姿支撑架4042沿水平方向旋转；

三个微型伺服电动推杆4044呈三角结构固定在调姿支撑架4042上，各微型伺服电动推杆4044的推杆固定连接生物特征采集相机模组200，以驱动生物特征采集相机模组200变化角度。

在一些实施例中，如图6所示，生物特征采集相机模组200还包括安装板201，双目深度相机202设置在安装板201的顶部，红外虹膜相机203设置在安装板201的中部；补光灯模组包括第一补光灯模组204、第二补光灯模组205、第三补光灯模组206和第四补光灯模组207，第一补光灯模组204设置在红外虹膜相机203的左侧，第二补光灯模组205设置在红外虹膜相机203的右侧，第三补光灯模组206和第四补光灯模组207设置在红外虹膜相机203的下侧。

下面给出一具体实施例：

本实施例提供一种基于生物特征识别的中远距离图像认证方法，将以数据驱动的方式，使用多任务反馈神经网络学习单一模态的区分性特征，并通过子空间学习挖掘模态间的相关性，在特征空间实现多模态信息的有机融合。多模态生物特征图像并行输入神经网络后，通过学习机制逐层选择最优特征表达和融合方式，实现多层次深度融合，挖掘不同任务之间的共性信息，实现任务间的互惠互利、合作共赢。突破现有生物特征获取和识别方法的感知盲区，提高多模态生物特征识别系统对个人身份管理的信息维度、识别精度、鲁棒性和安全性。

根据基于生物特征识别的中远距离图像采集装置采集到的图像，将人脸及虹膜图像输入预设身份认证算法，得到对待认证用户的身份认证结果包括：获取人脸及虹膜图像中的多个面部特征点和虹膜特征点；基于多模态融合识别算法获取预设身份数据库中与所述面部特征点和所述虹膜特征点最接近的用户身份信息，并输出为身份认证结果。

首先，针对采集的人脸或虹膜图像进行预处理，图像预处理对整体图像中的生物特征图像进行重点操作，并根据每一步预处理过程对图像的输出结果进行评分(F_f-人脸预处理过程得分，F_i-虹膜预处理过程得分)，其中人脸图像预处理包括：图像质量评价、人脸图像增强、人脸检测、活体检测、人脸对齐等操作；虹膜图像预处理包括：图像质量评价、虹膜图像增强、活体检测、虹膜定位、虹膜分割、虹膜归一化等操作；

然后对特征图像送入特征提取网络中进行特征提取；如果只有一种生物特征模态的被采集时，仍然进行经典的单模态生物特征识别网络中，进行特征匹配，得出匹配结果；如果当人脸和虹膜特征图像同时存在，首先将两种生物特征进行特征融合，然后再进行特征匹配。其中，在特征匹配阶段本发明采用的特征匹配策略为：

V_T＝αV_F+(1-α)(βV_F+λV_I)； (1)

其中，V_T为融合特征，V_F为人脸特征，V_I为虹膜特征，α为融合特征识别权重系数，β为人脸特征的单模态生物特征识别权重系数，λ为虹膜特征的单模态生物特征识别权重系数。

在一些实施例中，β和λ的计算公式如下：

其中，F_f为人脸图像的预处理得分，F_i为虹膜图像的预处理得分，F_f为对人脸图像高清晰度得分、人脸图像对比度得分、人脸分割过程得分、人脸定位过程得分和人脸归一化得分加权求和得到。F_i为对虹膜图像高清晰度得分、虹膜图像对比度得分、虹膜分割过程得分、虹膜定位过程得分和虹膜归一化得分加权求和得到。

这样的融合方式，既体现了融合特特征的重要性，还考虑了图像预处理过程中图像的相关性及保留了单模态特征的有效性。单一模态特征重点考虑类间区分性，而多模态特征关注不同模态间类内的相关性，通过最大化不同模态间类内的相关性，可以挖掘出多模态之间的共性特征。

本实施例基于基于多模态生物特征识别的中远距离身份认证装置的设计及采用，可以有效的对用户的多种面部生物特征信息信息采集。装置中面部采用多相机协同采集控制：场景相机粗略估计用户的位置、运动状态及身高、面部姿态等基本信；特征采集相机模组中的深度相机及可见光相机测量用户距离采集装置的距离及精确的估计用户面部姿态，为计算近红外虹膜相机的变倍、变焦、角度参数以及补光灯光源模块强度和角度，调整补光灯模组使补光范围对准面部进行补光，然后精确有效的完成用户的面部多模态生物特征采集。本实施例还提供一种有效的多模态生物特征用户身份认证算法，相对单一的人脸或虹膜认证识别系统，具有更广泛的使用范围及更高的认证识别精度。

综上所述，所述基于多模态生物特征识别的中远距离身份认证方法及装置中，所述方法首先基于可见光场景相机拍摄场景图片检测用户，进一步通过对场景图片内待认证用户的位置调整双目深度相机、红外虹膜相机和补光灯模组的角度朝向所述待认证用户。基于双目深度相机对待认证用户的距离的检测，根据距离调整红外虹膜相机角度和焦距，根据距离调整补光灯模组的角度和亮度，以拍摄出高清的人脸图像和虹膜图像。基于人脸图像和虹膜图像分别提取人脸特征和虹膜特征并融合后用于身份认证，极大提高了识别准确度。所述装置基于可见光场景相机拍摄大视角获取待认证用户的位置，并通过双目深度相机确定待认证用户的距离，基于待认证用户的位置和距离调整红外虹膜相机角度和焦距，能够获得更清晰的人脸图像和虹膜图像。

本发明结合中远距离生物特征采集装置及及多模态认证方法，通过研究人机交互、获取装置和识别算法，增强生物识别系统对用户和环境的自适应能力，实现从人配合机器到机器主动适应人的技术进步，完成生物识别从“单一模态”到“多模态融合”的技术过渡，实现生物特征识别应用从可控环境到复杂环境的技术发展。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态生物特征识别的中远距离身份认证方法，其特征在于，包括：

接收可见光场景相机采集的场景图像，所述场景图像包含待认证用户和背景；

采用预设人脸识别模型检测所述待认证用户在所述场景图像中的位置；

根据所述待认证用户在所述场景图像中的位置调整双目深度相机、红外虹膜相机和补光灯模组的角度朝向所述待认证用户；

接收所述双目深度相机采集的三维光图像，并根据所述三维光图像计算所述待认证用户与所述双目深度相机的距离信息；

根据所述距离信息调整所述红外虹膜相机角度和焦距，根据所述距离信息调整所述补光灯模组的角度和亮度，接收所述红外虹膜相机采集的待认证用户设定分辨率的人脸图像和虹膜图像；

对所述人脸图像和所述虹膜图像进行预处理，并将所述人脸图像输入第一特征提取网络以输出人脸特征，将所述虹膜图像输入第二特征提取网络以输出虹膜特征，融合所述人脸特征和所述虹膜特征得到融合特征，将所述融合特征输入预设身份认证算法，得到对所述待认证用户的身份认证结果。

2.根据权利要求1所述的基于多模态生物特征识别的中远距离身份认证方法，其特征在于，融合所述人脸特征和所述虹膜特征得到融合特征，计算式如下：

V_T＝αV_F+(1-α)(βV_F+λV_I)；

其中，V_T为所述融合特征，V_F为所述人脸特征，V_I为所述虹膜特征，α为融合特征识别权重系数，β为所述人脸特征的单模态生物特征识别权重系数，λ为所述虹膜特征的单模态生物特征识别权重系数。

3.根据权利要求2所述的基于多模态生物特征识别的中远距离身份认证方法，其特征在于，β和λ的计算公式如下：

其中，F_f为人脸图像的预处理得分，F_i为虹膜图像的预处理得分，F_f为对人脸图像高清晰度得分、人脸图像对比度得分、人脸分割过程得分、人脸定位过程得分和人脸归一化得分加权求和得到；F_i为对虹膜图像高清晰度得分、虹膜图像对比度得分、虹膜分割过程得分、虹膜定位过程得分和虹膜归一化得分加权求和得到。

4.根据权利要求1所述的基于多模态生物特征识别的中远距离身份认证方法，其特征在于，将所述融合特征输入预设身份认证算法，得到对所述待认证用户的身份认证结果，包括：

基于KNN算法获取预设身份数据库中与所述融合特征最接近的用户身份信息，并输出为身份认证结果。

5.根据权利要求4所述的基于多模态生物特征识别的中远距离身份认证方法，其特征在于，基于KNN算法获取预设身份数据库中与所述融合特征最接近的用户身份信息之前，还包括：

获取多个预设的第二代身份证和/或电子护照的头像、虹膜图像和身份信息；

采集各头像的人脸特征和各虹膜图像的虹膜特征并融合得到预设融合特征，根据所述预设融合特征和所述身份信息建立所述预设身份数据库。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述方法的步骤。

7.一种基于多模态生物特征识别的中远距离身份认证装置，其特征在于，包括：

可见光场景相机，用于采集预设区域内大视角的场景图像；

生物特征采集相机模组，至少包括双目深度相机、红外虹膜相机和补光灯模组；

显示屏，用于显示身份识别结果；

处理器，连接所述可见光场景相机、所述生物特征采集相机模组和所述显示屏，并执行权利要求1至5任意一项所述基于多模态生物特征识别的中远距离身份认证方法；

支撑组件，至少包括装置底盘、机架支撑杆、转动组件和相机模组调姿支架；所述机架支撑杆可旋转地连接所述装置地盘，并通过所述转动组件驱动沿水平方向旋转；所述可见光场景相机、所述显示屏和所述处理器固定在所述机架支撑杆上；所述生物特征采集相机模组通过所述相机模组调姿支架连接固定在所述机架支撑杆，并通过所述相机模组调姿支架驱动沿水平或竖直方向旋转。

8.根据权利要求7所述的基于多模态生物特征识别的中远距离身份认证装置，其特征在于，所述转动组件包括：

第一旋转齿轮，所述机架支撑杆固定连接所述第一旋转齿轮的中轴，所述第一旋转齿轮可旋转的连接在所述底盘上；

第一旋转电机，通过旋转电机支撑架固定在所述底盘上，并连接驱动所述第一旋转齿轮。

9.根据权利要求8所述的基于多模态生物特征识别的中远距离身份认证装置，其特征在于，所述相机模组调姿支架包括：

第二旋转齿轮，固定连接在所述机架支撑杆上，所述第二旋转齿轮通过旋转轴连接调姿支撑架；

第二旋转电机，固定在所述调姿支撑架上，连接所述第二旋转齿轮，并驱动所述调姿支撑架沿水平方向旋转；

三个微型伺服电动推杆，呈三角结构固定在所述调姿支撑架上，各微型伺服电动推杆的推杆固定连接所述生物特征采集相机模组，以驱动所述生物特征采集相机模组变化角度。

10.根据权利要求7所述的基于多模态生物特征识别的中远距离身份认证装置，其特征在于，所述生物特征采集相机模组还包括安装板，所述双目深度相机设置在所述安装板的顶部，所述红外虹膜相机设置在所述安装板的中部；

所述补光灯模组包括第一补光灯模组、第二补光灯模组、第三补光灯模组和第四补光灯模组，所述第一补光灯模组设置在所述红外虹膜相机的左侧，所述第二补光灯模组设置在所述红外虹膜相机的右侧，所述第三补光灯模组和所述第四补光灯模组设置在所述红外虹膜相机的下侧。

Images