CN112507781A

CN112507781A - 一种多维度多模态群体生物特征识别系统以及方法

Info

Publication number: CN112507781A
Application number: CN202011133412.4A
Authority: CN
Inventors: 孙哲南; 张堃博; 谭铁牛; 申振腾
Original assignee: Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Current assignee: Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority date: 2020-10-21
Filing date: 2020-10-21
Publication date: 2021-03-16
Anticipated expiration: 2040-10-21
Also published as: CN112507781B

Abstract

本发明公开了一种多维度多模态群体生物特征识别系统以及方法，主要面向远距离场景中人脸、虹膜和步态生物特征的群体获取与识别，包括：主动式可配置光电成像元件、高分辨多维计算成像模块、自适应全向光源，机电控制交互平台、高性能数据计算平台和生物特征数据处理软件。本发明可以在现实复杂场景中针对非限定状态的用户人群实现全向多模态实时生物特征高效获取，满足复杂场景中的高通量身份识别需求，基于可动态配置的光机电算，通过时空复用的计算成像装置与机制实现远距离大景深全向360°大范围内人群的人脸、虹膜、步态多模态生物特征有效获取与融合识别，在军事国防、反恐布控、安检通关、金融支付等国计民生领域拥有广泛应用前景。

Description

一种多维度多模态群体生物特征识别系统以及方法

技术领域

本发明涉及生物特征识别、计算机视觉、计算成像等领域，尤其涉及一种面向远距离场景多目标的人脸、虹膜和步态生物信息获取和识别的多维度多模态高通量群体生物特征识别系统，具体涉及一种多维度多模态群体生物特征识别系统以及方法。

背景技术

生物特征识别是通过自动获取和分析人体的生理和行为特征，实现身份鉴别的技术，常见的生物特征模态包括指纹、虹膜、人脸、掌纹、静脉、笔迹、步态、语音等。人体模态的生物特征信息主要分布于面部(人脸、虹膜、眼周、眼纹)和手部(指纹、掌纹、静脉)。与手部生理特征相比，人体面部的人脸和虹膜特征具有信息丰富、直观可见、非接触采集、识别快速的独特优势，在涉及身份识别的国计民生众多领域已得到广泛应用。而步态生物特征具有超远采集距离、无察觉识别、动态识别、多人识别、难于伪装等优点，可以实现多人非配合状态下的获取与识别。

当前单一模态的生物特征识别装置已得到了快速发展，特别是近距离的虹膜和人脸识别设备在环境受控的情况下可以基本正确识别主动配合的用户，步态识别只需要利用现有高清摄像头，就可以达到中远距离的高精度识别。但当应用场景中光线、距离、遮挡、人数等发生变化或者目标对象出现诸如运动、眨眼、侧脸等状态参数变化时，现有生物特征采集设备无法有效采集高质量信息，生物特征识别系统的性能也会发生急剧下降，无法满足复杂真实世界中的多种应用领域对于身份识别的现实需求，严重影响生物特征识别的可靠性、准确性与鲁棒性。由于虹膜尺寸很小(直径1cm左右)，而且亚洲人虹膜信息采集需要近红外辅助光源，远距离虹膜图像获取是虹膜识别中的首要难题。人脸识别性能受很多外部环境的影响，易于收到外在伪造攻击，如何保证采集图像的真实性并且建立适应复杂环境的人脸成像技术成为制约瓶颈。步态特征受成像装置视角影响很大，如何布置多视角采集将直接影响识别精度，三维图像获取也将为步态感知提供更加丰富的深度信息。多模态生物特征识别由于其在识别精度、鲁棒性和适用场景等方面比单模态的生物识别技术具有独特优势，因此多模态生物识别装置的研发即为重要。但现有几乎所有多模态生物特征成像设备几乎一次只能获取单人信息，很难采集非配合多人运动状态下的生物特征信息，还没有针对多种模态协同的系统性成像装置与识别系统。

本发明针对远距离场景中的虹膜、人脸、步态三种生物特征模态，提出远距离、大景深、多目标、多视角的多模态融合识别系统。其中虹膜识别精度和可靠性最佳，人脸识别易用性和适用范围最广，步态识别距离和非配合性最好，三种模态各取所长融合识别。本发明借助光学、机械、电子、计算机、视觉、机器学习等多领域技术融合的成像装置实现多维度多模态的群体生物特征识别，将有效解决现有生物特征识别系统采集距离有效、只能采集单个目标、模态单一、识别过程需要人员主动配合等技术难题，增强生物识别系统对用户和环境的自适应能力，实现从人配合机器到机器主动适应人，扩大生物识别技术在现实场景的应用范围。

发明内容

本发明的目的是提供一种多维度多模态群体生物特征识别系统以及方法，该系统能够实现远距离场景中多人虹膜、人脸、步态三种生物特征模态融合的图像信息采集与身份识别，主动感知场景与目标状态进行自适应生物特征图像获取，采集二维与三维生物特征，无需目标主动配合，实时获取多人目标虹膜图像，实现行进中虹膜图像获取，实现远距离、大景深、大视场的生物特征识别，同时具有极高的鲁棒性，能够有效应对多种伪造攻击。

为实现本发明的目的，本发明提供了一种多维度多模态群体生物特征识别系统，

所述系统包括生物特征成像单元、机电控制交互平台、高性能数据计算平台、生物特征感知软件；

其中，所述生物特征成像单元用于采集预设场景中多个用户的虹膜、人脸和步态三种生物特征模态的图像与视频序列；

所述机电交互控制单元用于实现硬件与软件的交互连通，完成数据的传输与控制的执行；

所述高性能数据计算平台用于整个系统提供计算运行支持，保证多维多模态生物特征信息的运算处理与感知分析；

所述生物特征感知软件用于进行生物特征信息的感知分析，实现多模态生物特征识别核心算法，进行识别结果的人机交互控制与现实。

其中，

图像获取采用焦栈序列的方式获取时序过程中的一系列连续图像帧，取代传统的单帧图像获取方式，从而保证识别对象处于动态过程中仍能够清晰捕捉高质量图像信息，也可以从多个对焦帧序列中使用图像质量增强方法利用多帧离焦图像生成聚焦图像。

其中，

所述生物特征成像单元包括主动成像模块、计算成像模块、场景成像模块、近红外成像模块、偏振成像模块、自适应光源；

所述主动成像模块包括由液体变焦镜头和二维反射摆镜组成，其用于实现围绕远距离虹膜为主的景深和视场扩展；

其中，主动成像模块为能够根据所感知场景和目标状态主动调整成像的装置，取代传统的固定模式成像，通过可动态配置的光电机械计算执行控制指令主动配合适应目标的距离、姿态、角度、高度等关键参数，利用液体变焦镜头快速调整大范围景深，利用二维反射镜精准调整拍摄角度，主动成像模块与计算感知算法形成闭环反馈，同步调整控制自适应光源，实现传感与认知协同的生物特征成像。

所述计算成像模块由多光场相机拼接和相机阵列组成，其用于实现场景目标三维信息感知、多目标自动重聚焦和穿透式遮挡成像；

其中，使用基于时空复用的计算成像机制，充分借助成像装置与感知算法的时间调控快和空间覆盖大特点，在牺牲一定程度成像的时间和空间性能情况下，同时实现高时间和高空间分辨率下的多模态多维多人实时生物特征成像与识别。

所述场景成像模块由多个相机组成，其用于获取场景信息；

所述近红外成像模块由多个高分辨相机与自适应光源组成，其用于实现远距离多人虹膜图像采集；

所述偏振成像模块采用四角度偏振相机，其用于多人人脸图像采集，实现活体与假体的实时区分；

具体地，其可以远距离实时采集多人人脸图像，通过材质物体偏振特性稳定区分包含打印、屏显、硅胶等多种人脸假体，实现非接触式精准鉴伪。

所述自适应光源用于实现不同采集距离、不同高度目标、不同角度目标的多光谱照明投射。

其中，

所述机电交互控制平台包括信号采集获取模块、硬件驱动模块、模拟数字信号转换模块、机电执行模块、逻辑控制模块、人机交互模块；

其中，

所述高性能数据计算平台包括数据传输模块、多线程并行计算模块、图像数据预处理模块、图像数据增强模块、图像质量评价模块、图像显示模块。

其中，

所述生物特征感知软件包括场景感知算法、虹膜识别算法、人脸识别算法、步态识别算法、融合识别算法单元模块。

其中，

所述生物特征感知软件的算法流程如下：主动成像、优化成像、特征提取和融合感知，

其中，主动成像通过场景建模、检测定位、人机交互、目标分割选择成像内容；优化成像通过图像增强，三维重建，焦点扫描提高成像质量；特征提取通过特征点提取、信息编码提取生物特征知识；融合感知通过多模态生物特征和多元深度信息融合实现。

相应地，还提供了一种多维度多模态群体生物特征识别方法，

所述方法包括如下步骤：

步骤S101：用户进入采集场景区域，生物特征识别系统启动开始图像采集工作；

步骤S102：生物特征识别系统传感器进行场景信息采集，其中，采集的场景信息包括场景区域光照情况、场景内目标数量、场景内目标状态、场景环境状态、场景内目标数量、场景内目标距离和角度等；

步骤S103：利用多元图像传感器进行生物特征图像信息采集，其中，多元传感器包含二维和三维图像传感器，进行虹膜、人脸和步态三种生物特征模态的信息采集，包括主动光电成像采集、计算成像采集、偏振图像采集、近红外图像采集；

步骤S104：根据采集的多元图像数据，对获得的二维和三维多种生物特征模态信息进行预处理工作，主要包括活体检测、目标定位、目标分割等初步生物特征图像处理工作，为后续图像增强、质量评价和特征识别提供帮助；

步骤S105：根据多维度多模态预处理生物特征图像结果，进行图像信息的增强处理，提升初始获取低质量图像质量，为后续高层信息处理提供帮助，主要包括光场图像空间、图像纹理增强、图像序列质量、增强光场图像角度超分辨、光场图像高效快速重聚焦、光场图像高质量深度估计、多基线鲁棒计算成像深度重建等，从而提升原始图像的质量，提升特征识别准确性，通过变成像边计算的方式改变了传统生物特征图像获取的物理成像模式。

步骤S106：针对增强后的多维度和多种模态生物特征图像进行质量评价，基于预先设定阈值进行判断，通过质量评价则进行后续步骤的图像处理，未通过质量评价要求则针对现有场景和目标状态重新进行图像采集工作；

此步骤中，利用面向识别的生物特征质量评价方法，在特种空间中进行图像是否可识别的质量评价计算，满足质量评价标注的图像进行特征识别，如所采集图像均不满足质量要求则控制生物特征识别系统再次进行图像采集。

步骤S107：针对场景和目标情况，动态调整包含多种光谱的自适应光源控制，包含照射距离、照射角度、开关数量、积分时间；

步骤S108：根据图像质量结果，通过机电成像控制进行主动成像模块的成像调整，其中，控制主动成像单元中的液体变焦镜头成像单元的控制电流、变焦步长、扫描距离，控制二维反射摆镜成像单元的环绕两个轴向各自的转动角度、转动速度、转动步长；

步骤S109：根据通过质量评价标准要求的多维度多模态生物特征图像或图像序列，进行人脸、虹膜和步态三种生物特征信息的特征提取，对提取后特征进行编码和存储；

步骤S110：利用三种模态生物信息的特征提取结果，进行多个层次多种模态的生物特征融合识别计算；

具体地，利用虹膜、人脸和步态三种生物特征融合的信息进行身份识别，从而弥补在远距离大场景中单一模态存在的感知盲区，提升整体系统的鲁棒性和精准性，实现非配合身份识别。

步骤S111：验证所识别目标身份是否正确或能够进行识别，如果无法识别则通过人机交互进行新的图像采集过程，如果可以正常识别则将识别结果以图文形式进行展示；

步骤S112：通过生物特征识别系统所反馈识别结果，被识别目标进行一定程度的人机交互操作，改变距离、角度、姿态，同时进行光源和主动成像模块的成像控制调整，再次进行图像采集工作；

步骤S113：最终识别结果展示，通过显示屏方式以文字方式提示识别结果，以视频方式显示动态采集与识别过程。

其中，在步骤S107中，使用模块化自适应光源进行多光谱照明，单个模块采用单独控制开关，覆盖正面180°，可扩展为全向360°，共三层架构能够覆盖不同身高和不同角度，根据需要覆盖距离范围调整单个灯珠功率与聚焦透镜的角度，从而实现由窄视角到360°全向视角的扩展。

本发明提出了一种远距离非接触一种多人多模态生物特征高通量计算成像与身份识别系统以及方法，通过多元成像模块分别采集虹膜、人脸和步态三种生物特征图像，二维和三维成像模块采集场景与目标的多维图像信息，基于液体透镜和反射摆镜的主动式成像模式实现非配合自适应图像采集，自适应光源实现目标场景内可控光照，集成于成像芯片的偏振呈现实现多人实时活体检测，快速光电控制模块实现高速动态响应的信息获取，高速并行数据传输实现多种模高分辨率传感信息的传递，多线程并行计算实现多个功能模块的并行处理，图像预处理进行包含人脸姿态、活体检测、人脸定位、虹膜定位与分割等预处理工作，图像质量增强利用空间和角度超分辨、自适应重聚焦、图像序列质量增强等方法实现原始图像的质量提升，图像质量评价在图像预处理流程中完成面向识别目标的任务的快速准确质量判断和图像筛选，生物特征识别算法针对虹膜、人脸和步态预处理结果进行特征提取与编码，最终利用三种模态融合实现精准、鲁棒、高效的复杂场景中群体生物特征识别。

本发明可以实现复杂场景中非配合状态下多人目标的二维和三维虹膜、人脸、步态生物特征信息的获取与身份识别，在模态种类、采集距离、识别景深、观测视角、目标数量、通过速度、安全防伪等关键指标上具有重要指导价值和实践意义。

与现有技术相比，本发明具有如下优势：

1、本发明可以实现远距离场景中的虹膜、人脸、步态三种模态的采集与融合识别，有效采集距离为1-15米，其中虹膜有效采集为1-10米，在识别范围内无视野盲区，保证同时有一种及以上模态能够被有效获取与识别。

2、本系统具有能够实现全向360°视场的生物特征图像采集能力，覆盖有效采集距离内的全向区域，目标对象身高覆盖范围为0.8-2.2米，可以适应不同身高对象。

3、多元成像模块能够采集二维彩色和近红外图像以及三维图像，其中虹膜为二维近红外图像，人脸和步态均为二维彩色和三维图像，。

4、本发明可以实现有效采集区域内三人及以上的目标对象群体多模态生物特征采集与识别，实时获取群体虹膜、人脸和步态生物特征信息，目标对象可以为静止和运动状态(中低速行走)。

5、整个识别过程无需主动配合，多个目标对象可以在有效识别区域内随意走动，主动成像单元依据所采集场景信息自适应调整控制成像单元，对于目标生物特征进行主动采集与感知。

6、虹膜成像可以达到10米远距离3人及以上实时成像、5米处景深达到4米，双眼虹膜所采集图像中虹膜直径达到180像素以上，视场范围不小于60°。

7、基于偏振的人脸活体检测装置可以实现真实人脸与伪造人脸的精准鉴别，快速检测群体目标对象，能够在室内外的白天和夜晚环境中检测打印纸张、照片打印、屏幕显示、硅胶人脸等多种人脸伪造攻击。

8、通过多相机阵列设计，本系统实现远距离人脸遮挡最高50％面积情况下的穿透式图像获取与有效识别。

9、本发明适用于对身份识别的安全性、可靠性、准确性、鲁棒性具有一定要求的各种复杂现实场景，特别是不限定目标对象的状态与采集配合以及单一生物特征模态无法保证稳定获取的情景，包括安检通关、监控管制、卫生应急、金融服务等各种领域。

附图说明

图1为本发明提供的一种多维度多模态群体生物特征识别方法的流程图；

图2为本发明提供的一种多维度多模态群体生物特征识别系统结构示意图；

图3为本发明中自适应光源的结构示意图；

图4为本发明中主动成像模块的结构和控制示意图；

图5为本发明提供的一种多维度多模态群体生物特征识别系统在实际应用中的场景示意图；

图6为本发明提供的一种多维度多模态群体生物特征识别系统中生物特征感知软件算法流程示意图；

图7为本发明提供的一种多维度多模态群体生物特征识别系统采集区域示意图；

图8为本发明提供的一种多维度多模态群体生物特征识别系统的结构设计示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图2-4所示，本发明提供的一种多维度多模态群体生物特征识别系统，包括：生物特征成像单元601，机电控制交互平台602，高性能数据计算平台603和生物特征感知软件算法604。

具体地，所述生物特征成像单元601由包含主动光电成像模块6011，计算成像模块6012，用于场景信息感知的场景成像模块6013，用于采集虹膜图像的近红外成像模块6014，用于进行人脸活体检测的偏振成像模块6015和进行补光的近红外自适应光源6016组成。

所述机电交互控制平台602包括信号采集获取模块6021、硬件驱动模块6022、模拟数字信号转换模块6023、机电执行模块6024、逻辑控制模块6025、人机交互模块6026；

所述高性能数据计算平台603包括数据传输模块6031、多线程并行计算模块6032、图像数据预处理模块6033、图像数据增强模块6034、图像质量评价模块6035、图像显示模块6036。

所述生物特征感知软件604包括场景感知算法6041、虹膜识别算法6042、人脸识别算法6043、步态识别算法6044、融合识别算法单元模块6045。

图8所示为本发明提供的一种多维多模态群体生物特征识别系统结构设计示意图，该系统包含位人机交互显示屏801，高分辨率近红外虹膜和人脸图像相机802(2500万像素)，场景感知相机803，自适应模块化近红外光源804，计算成像拼接式光场相机805，双目三维人脸和步态相机806，由液体镜头和反射摆镜组成的主动成像模块807，高性能数据计算平台808和设备可移动支架809。

参见图6，为基于上述本发明提供的生物特征感知软件算法流程示意图；按照如下步骤运行，

S801、主动成像，用来根据场景反馈信息控制硬件成像单元进行主动成像和通过软件算法进行感兴趣有效生物特征信息的选择处理；

S802、生物特征优化成像，通过二维增强、三维重建、穿透成像、焦点扫描、时空复用、超分辨等方法提升原始图像的成像质量；

S803、特征参数提取，实现对于虹膜、人脸和步态三种生物特征的提取与编码；

S804、系统融合感知，实现多模态生物特征信息融合以及多元深度信息融合感知。

基于上述的系统，本发明还提供了一种多维度多模态群体生物特征识别方法，如图1、图5、图7所示，包括以下步骤：

步骤S101：系统触发控制准备开始图像采集工作；

在本发明中，在步骤S101中，系统控制进行图像采集的准备工作，包括相机、光源、机电装置的初始化与归零，各个硬件模块状态信号的检验，人机交互界面的显示，软件算法的准备。

步骤S102：采集当前场景中的多维多源信息，其中包含场景的光线状态、人物目标的有无、目标对象的数量、目标对象的距离与角度、目标对象的头部姿态、目标对象的运动状态、目标对象的身高等多种场景信息；

在本发明中，在步骤S102中，多源多维信息采集主要通过相机阵列、光场相机、高分辨相机、三维相机、大视场相机等传感元件进行感知。

在步骤S102中，具体实现上，可以通过多个相机组成矩阵式或单排式相机阵列从而提供多视角图像信息，光场相机可以采用微透镜阵列结构方式从而缩减装置体积提供四维光场数据，高分辨相机在能够保证有效采集距离内场景信息高质量采集前提下维持实时性，三维相机在深度方向上保证不高于±1％的误差(可以根据采集距离和精度要求选用ToF或双目相机)，大视场相机能够保证至少

以上的水平观测视角。

步骤S103：通过多元传感器采集目标的多维多种模态生物特征信息，其中包含目标的人脸信息、虹膜信息和步态信息等；

在本发明中，在步骤S103中，多元生物特征信息采集主要通过近红外相机、高分辨相机、三维相机、偏振相机、可变焦相机、相机阵列等实现感知；

在步骤S103中，具体实现上，近红外相机采集850nm或900nm的近红外图像从而保证虹膜纹理信息的清晰获得，变焦相机用来快速跟踪场景中多个不同位置和处于运动状态中的目标从而获得虹膜图像，高分辨相机用来获取二维人脸和二维步态图像，三维相机用来获取三维人脸和三维步态图像，偏振相机通过传感器芯片嵌入偏振元件用来获取人脸的偏振信息(采用

和

四种角度的偏振图像)进行实施多目标活体检测，相机阵列采用单行排列用来实现多视角的穿透式成像(本发明采用10个高分辨相机单排等间距放置，总体拼接像素超过1亿，可以实现人脸被遮挡50％面积情况下的穿透式成像与身份识别)。

步骤S104：通过生物特征信息处理算法进行多模态图像预处理，其中包含目标的人脸信息、虹膜信息和步态信息等；

在本发明中，在步骤S104中，多模态生物特征信息预处理主要包括人脸检测、人脸定位、人脸姿态估计、虹膜定位、虹膜分割、步态分割、活体检测等处理算法；

在步骤S104中，具体实现上，生物特征预处理算法能够解决三人及以上的同步处理，其中人脸检测与定位、虹膜定位与分割、活体检测等均使用二维信息进行加工预处理，人脸姿态估计和步态分割均使用二维和三维信息进行加工预处理，人脸检测定位采用轻量化深度学习网络结构实现群体实时多人检测，人脸姿态估计利用二维和三维信息融合实现不同距离范围的人脸状态测算，虹膜定位和分割采用不依赖于人脸检测的虹膜单独定位方法、通过注意力机制和基于深度学习的分割方法实现非配合及部分遮挡下的虹膜内外圆有效定位，活体检测通过深度学习网络基于人脸偏振信息进行真实人脸与假体攻击的区分，可以有效抵御包括打印、照片、屏显、硅胶等伪造攻击手段，实现多目标室内外白天和夜晚的实时活体检测。

步骤S105：通过多模态生物特征图像增强方法对于所采集的低质量图像进行增强，其中包含图像空间分辨率增强、图像角度分辨率增强、图像重聚焦、序列图像质量增强等处理；

在本发明中，在步骤S105中，具体实现上，针对空间分辨率通过因双向循环光场网络实现增强，挖掘地分辨光场相邻子图的空间相关性生成高分辨子图阵列，针对角度分辨率通过2D微步卷积和3D容积卷积，实现高效端到端稠密角分辨4D光场，通过计算成像方法实现多目标人脸深度方向自动重聚焦，针对感兴趣区域进行目标对象分割，回归预测计算最优深度偏移，针对连续低质量图像序列，通过具有时序关联顺序的图片内容联合增强解决对焦模糊、运动模糊、反光等噪声干扰。

步骤S106：针对所采集的经过预处理后的生物特征图像进行图像质量评价，通过质量评价的图像则进行后续特征提取工作，未通过质量评价则控制生物特征获取装置再次进行多模态生物特征图像采集；

在本发明中，在步骤S106中，多模态生物特征图像质量评价采用面向识别的评价方法，取代常用的单纯参数模型图像质量分数绝对评估；

在步骤S106中，具体实现上，充分考虑生物特征识别方法的能力，通过自动的神经网络学习在特征空间建立新的图像质量评价指标，利用图像数据空间与特征空间的映射关系，度量受噪声干扰图像与标准图像的距离进行图像质量定量计算评估，该方法可以在图像预处理阶段进行有效的图像筛选工作，保证通过质量评价的图像能够可靠识别，避免了对于非可识别图像的重复系统处理耗时，提升了生物特征识别整体的运行效率和人机交互效果。

步骤S107：当所采集的图像经过预处理增强后仍未通过质量评价，自适应光源基于场景感知反馈结果进行调整控制；

在本发明中，在步骤S107中，参见图3，自适应光源采用模块化设置为上、中、下三层，每层灯珠的照射角度和聚焦角度均不同，提供近红外波段850nm波长光源用于虹膜图像采集补光，覆盖1-10米内不同的区域，其中第一层对应远距离区域，第二层对应中间区域，第三层对应近距离区域，整个光源模块实现正面

全面覆盖，身高覆盖范围达到0.8-2.2米，单个光源模块由3w功率灯珠组成，所有模块均采用独立控制开关，可根据场景感知结果进行精准控制。

步骤S108：当所采集的图像经过预处理增强后仍未通过质量评价，自适应光源调整补光设置后，通过主动成像单元重新进行多模态生物特征图像的采集；

在本发明中，在步骤S108中，参见图4，主动成像单元采用液体变焦镜头和反射摆镜的实现三维采集空间的扩展，长焦变焦镜头进行倒置安装，液体镜头通过电流驱动控制对焦点，反射摆镜通过电机控制在两个自由度的摆动角度，从而实现将远距离目标大景深和大视场的生物特征图像获取；

在步骤S108中，具体实现上，参见图8，整个采集系统采用倒置设计从而避免对大尺寸光学变焦镜头的操控，液体变焦镜头通过专用定制的后截距转接环安装在高分辨近红外相机(1200万像素)和长焦变焦镜头(F、4.8，70-350mm)的中间，双自由度反射摆镜(镀金)置于镜头正下方用于反射目标图像进入成像光路，其中液体镜头实现景深扩展(在5米处景深扩展可达到4米)，反射摆镜实现水平和垂直视场扩展(理论上可是实现全向

水平视场)，本发明充分利用主动成像元件的快速响应、精准控制和可配置特性(液体透镜2.5ms响应时间，反射摆镜精度arc sec±10)，基于时空复用成像主动获取目标对象的多模态生物特征图像。

步骤S109：当所采集的生物特征图像通过质量评价后，进行虹膜、人脸、步态三种模态的特征提取；

在本发明中，在步骤S109中，虹膜图像通过精准分割预识别实现远距离非配合状态下的虹膜识别，通过二维与三维的多维联合实现人脸定位与识别，通过多目多基线实现遮挡下人脸穿透式成像与识别，利用深度学习方法实现多视角下步态精准分割预识别；

在步骤S109中，具体实现上，利用巩膜眼吗与内外圆边界参数联合高效学习实现主动多任务的虹膜分割，可有效解决人员非配合状态下复杂场景的噪声干扰，提升跨平台(远距离和移动端)的虹膜识别精度，解决不同噪声干扰下的降质问题，通过基于对抗体素和坐标回归框架的二维与三维联合人脸定位方法，面向真实场景人脸识别任务，有效解决精准三维人脸定位标注数据不足的难题，提高运算速度并降低空间占用，多基线精准鲁棒深度感知达到亚像素视差精度，实现50％人脸面积遮挡下穿透式成像身份识别，光场遮挡检测不受材质影响可重建光滑表面与精确几何形状，针对跨世纪奥和跨行走状态的复杂场景，使用基于步态能量图的深度学习方法自动学习大视角变化情况下

步态特征的可区分变化，单独识别率达到98％以上。

步骤S110：利用虹膜、人脸和步态三种模态图像的特征提取结果以及编码信息，进行三种模态融合生物特征识别；

在本发明中，在步骤S110中，采用基于深度神经网络的多模态融合识别方法，通过自动学习虹膜、人脸和步态三种不同模态的高层次特征、充分挖掘其互补性，在模型参数建模时利用单个模态训练子网络，然后融合网络在此基础进行全局微调，减少计算复杂度，充分实现各个模态的动态融合与实时更新优化，即使在有一个或两个模态缺失状态下，神经网络也可利用现有数据进行融合，本系统可以解决现有单模态生物特征识别技术在采集范围、综合识别性能和安全防卫能力方面存在的瓶颈。

步骤S111：在数据库中与已有用户进行身份比对与验证，同时将所采集和处理图像保存在数据库中，用来进行算法的训练优化和历史查询，如果识别结果正确则进行后续步骤的结果显示，如果无法识别则重新开启生物特征图像采集流程。

步骤S112：当本生物特征识别系统无法进行身份识别或身份识别结果错误时，则再次重新开启图像采集过程，通过用户人机交互模式利用已有反馈信息控制自适应光源和主动成像模块进行多模态生物特征信息采集。

步骤S113：本生物特征识别系统的识别结果通过显示屏向用户对象进行展示，在后端控制通过交互软件与操作控制人员进行交互。

参见图5为本发明的一种应用场景，本发明所提供的装置可以获取群体目标的虹膜、人脸和步态图像信息，实现远距离、大景深、大视场、高通量的多模态生物特征采集。

本发明所提供的装置具有1-15米内的多模态生物特征信息采集能力，其中虹膜有效采集识别区域为1-10米，人脸和不太有效采集识别区域为1-15米，有效视场为

全向水平视场，在有效采集区域内无论用户群体的数量、采集距离、位置角度、运动状态、身高范围(0.8-2.2米)均不影响本装置的有效采集与身份识别，用户对象在1-10米内可以实现虹膜、人脸和步态三种模态的融合识别，用户在1-15米内可以实现人脸和步态两种模态的融合识别。

此外，本发明突破了传统生物特征获取设备对于用户数量、景深范围、场景覆盖、用户身高、配合程度、运动状态等场景和用户的限制要求，提出了高通量群体身份识别的新方案，可以实时获取3人以上虹膜图像，基于时空复用成像的液体透镜可以提供5米处虹膜成像4米景深范围，通过二维反射摆镜和自适应光源能够实现全向

无视野盲区感知，用户自适应身高覆盖达到0.8-2.2米，多用户非配合状态下实现高速精准识别，多人行进中虹膜图像高质量采集，人脸活体检测保证了系统获取信息的真实性，相机阵列穿透式成像能够应对50％人脸遮挡场景，实现了远距离场景中虹膜、人脸、步态三种模态的多维度的群体融合感知与身份识别。

综上所述，与现有生物特征识别技术相比，本发明提供了一一种多人多模态生物特征高通量计算成像与身份识别系统，其可以实现远距离复杂场景中的大景深、宽视场、多目标、高通量、变身高、行进中的虹膜、人脸、步态三种模态融合的身份识别，主动式成像获取二维和三维生物特征信息，无需识别对象主动配合，活体检测保证识别目标真实可靠，相机阵列成像大面积遮挡下穿透式识别，多种模态无缝切换融合识别，全向视场范围覆盖，自适应光源可依据场景和目标状态反馈自适应调整，提高了现有多模态生物特征识别系统的准确性、可靠性、实时性、分辨率、交互性和适用性，对于科学研究和应用部署具有重要价值意义。

需要说明的是，本申请中未详述的技术方案，采用公知技术。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种多维度多模态群体生物特征识别系统，其特征在于，

2.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，

所述场景成像模块由多个相机组成，其用于获取场景信息；

3.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，

所述机电交互控制平台包括信号采集获取模块、硬件驱动模块、模拟数字信号转换模块、机电执行模块、逻辑控制模块、人机交互模块。

4.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，

5.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，

6.根据权利要求1所述的一种多维度多模态群体生物特征识别系统，其特征在于，

7.一种多维度多模态群体生物特征识别方法，其特征在于，

所述方法包括如下步骤：

步骤S102：生物特征识别系统传感器进行场景信息采集；

步骤S104：根据采集的多元图像数据，对获得的二维和三维多种生物特征模态信息进行预处理工作；

步骤S105：根据多维度多模态预处理生物特征图像结果，进行图像信息的增强处理，提升初始获取低质量图像质量，为后续高层信息处理提供帮助，包括图像超分辨、图像纹理增强、图像序列质量增强；

8.如权利要求7所述的一种多维度多模态群体生物特征识别方法，其特征在于，

在步骤S107中，使用模块化自适应光源进行多光谱照明，单个模块采用单独控制开关，覆盖正面180°，可扩展为全向360°，共三层架构能够覆盖不同身高和不同角度，根据需要覆盖距离范围调整单个灯珠功率与聚焦透镜的角度，从而实现由窄视角到360°全向视角的扩展。

9.如权利要求7所述的一种多维度多模态群体生物特征识别方法，其特征在于，

在步骤S102中，采集的场景信息包括场景区域光照情况、场景内目标数量、场景内目标状态、场景环境状态、场景内目标数量、场景内目标距离和角度。

10.如权利要求7所述的一种多维度多模态群体生物特征识别方法，其特征在于，

在步骤S104中，预处理工作包括目标检测、目标定位、活体检测。