CN111914646A - 一种基于光场图像序列的双流融合网络虹膜活体检测方法 - Google Patents

Abstract

本发明公开了一种基于光场图像序列的双流融合网络虹膜活体检测方法，包括人体视频图像采集模块、人脸检测模块、眼睛和嘴巴检测模块、疲劳参数提取模块以及疲劳判断报警模块，其中，人脸检测模块与人体视频图像采集模块相连接，眼睛和嘴巴检测模块与人脸检测模块相连接，疲劳参数提取模块与眼睛和嘴巴检测模块相连接，疲劳判断报警模块与疲劳参数提取模块相连接。本发明公开的一种基于光场图像序列的双流融合网络虹膜活体检测方法，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障，满足人们对安全驾驶的迫切要求，提高人们的生活品质，具有重大的生产实践意义。

Description

一种基于光场图像序列的双流融合网络虹膜活体检测方法

技术领域

本发明涉及生物特征识别和虹膜活体检测技术领域，特别是涉及一种基于光场图像序列的双流融合网络虹膜活体检测方法。

背景技术

光场成像技术，可以记录空间中自由传播的光线的方向和辐照度信息，应用于生物特征识别领域，可以为生物特征安全性等难点重点问题带来新的解题思路和显著的性能提升。

由于虹膜识别系统易受到各种伪造样本(义眼虹膜、合成虹膜、打印虹膜、隐形眼睛虹膜、屏显虹膜等)的攻击，存在着难以有效阻截假体攻击等实际问题，会产生巨大的安全隐患，造成用户的隐私和财产安全等方面的损失，而活体检测技术，是有效应对假体攻击的技术手段，通过挖掘真假体在生理特征、动作行为、结构形状、材质等方面的差异，判断虹膜验证或识别的对象是真实个体，还是伪造样本。

目前，对于现有的虹膜活体检测方法，通常使用二维灰度相机在近红外光照条件下拍摄2D虹膜图像，使用局部二值特征、局部相位量化等人为设计的函数和算法抽取虹膜活体特征，由于这些函数和算子都是经过人工设计而成，并不能表达真假体虹膜之间的空间立体结构差异，因此活体检测的准确性和可靠程度一般较低。

另外，对于现有的虹膜活体检测方法，这些函数和算子仅仅是针对特定的使用场景、数据库采集条件、单一假体攻击类型下对纹理特征差异进行加工处理和特征提取，因此相应算法的泛化能力有限，且通常只能应对一种假体攻击方式，如只可以对打印在纸上的假体虹膜图像进行鉴别，但是对义眼虹膜的攻击方式就无能为力。

发明内容

本发明的目的是针对现有技术存在的技术缺陷，提供一种基于光场图像序列的双流融合网络虹膜活体检测方法。

为此，本发明提供了一种基于光场图像序列的双流融合网络虹膜活体检测方法，包括以下步骤：

步骤S1，通过光场相机，采集拍摄具有活体虹膜图像的光场图像；

步骤S2，对光场相机所采集的光场图像，经过解码和重聚焦计算后，获得聚焦在不同深度层面的焦栈图像序列；

步骤S3，对焦栈图像序列进行活体虹膜图像区域的检测和分割，裁剪掉焦栈图像序列中的背景部分，只保留每一幅焦栈图像中的活体虹膜图像区域；

步骤S4，将只保留活体虹膜图像区域的焦栈图像序列，分别输入到训练好的空间立体结构特征提取网络和训练好的虹膜纹理特征提取网络中，从焦栈图像序列中同时提取活体虹膜空间立体结构特征和活体虹膜纹理特征；

步骤S5，对所提取的活体虹膜空间立体结构特征和活体虹膜纹理特征进行并联拼接操作，即实行双流融合，获得活体虹膜检测整体特征；

步骤S6，根据活体虹膜检测整体特征，建立虹膜活体检测网络，对输入的待识别的虹膜图像进行真假识别，判断待识别的虹膜图像中的虹膜是真实的活体虹膜还是伪造的假体虹膜。

其中，在步骤S1中，所述光场相机优选为微透镜型光场相机。

其中，在步骤S2中，光场相机拍摄的光场图像为I_LF，经过对光场图像进行解码和重聚焦计算，得到聚焦在不同深度层面的焦栈图像序列，焦栈图像序列表示为：{I₁，I₂...I_n}；

在步骤S2中，还包括以下步骤：

使用对焦能量函数，对焦栈图像序列中的每一张焦栈图像进行聚焦程度评价，从中选择出最佳对焦的图像，表示为I_clear；

对应地，在步骤S4中，将只保留活体虹膜图像区域的最佳对焦图像，输入到训练好的虹膜纹理特征提取网络N₂中，从中提取活体虹膜纹理特征F_t；

F_t＝N₂(I_clear)。

其中，活体虹膜空间立体结构特征F_s＝N₁(I₁，I₂...I_n)；

其中，N₁为空间立体结构特征提取网络。

其中，步骤S5具体为：将获取到的活体虹膜空间立体结构特征F_s和活体虹膜纹理特征F_t进行并联拼接操作，即实现双流融合，获得活体虹膜检测整体特征F：

其中，所述步骤S6具体包括以下步骤：

首先，根据活体虹膜检测整体特征F，建立虹膜活体检测网络，该虹膜活体检测网络包括全连接层F′和全连接层F″；

然后，将待识别的虹膜图像，输入虹膜活体检测网络中，最终输出虹膜活体检测结果Ans；

F′＝FC(F)；

F″＝FC(F′)；

Ans＝F″＝FC(FC(F))。

由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种基于光场图像序列的双流融合网络虹膜活体检测方法，其通过光场相机，来拍摄待识别对象具有的包括虹膜区域在内的光场图像，然后通过解码和重聚焦计算，获取聚焦在不同空间深度层面的焦栈图像序列，再通过预设的深度神经网络模型从焦栈图像序列中提取活体虹膜空间立体结构特征和活体虹膜纹理特征，并将二者进行双流融合，获得鲁棒准确的活体虹膜检测整体特征，来对识别对象进行活体虹膜识别，最终精准判别进行身份认证的待识别对象是否为真实个体，具有重大的实践意义。

附图说明

图1为本发明提供的一种基于光场图像序列的双流融合网络虹膜活体检测方法的流程图；

图2为本发明提供的一种基于光场图像序列的双流融合网络虹膜活体检测方法的基本流程图；

图3为本发明提供的一种基于光场图像序列的双流融合网络虹膜活体检测方法的工作原理框架图；

图4为本发明提供的一种基于光场图像序列的双流融合网络虹膜活体检测方法中，空间立体结构特征提取网络的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。

参见图1至图4，本发明提供的一种基于光场图像序列的双流融合网络虹膜活体检测方法，包括以下步骤：

步骤S1，通过光场相机，采集拍摄具有活体虹膜图像的光场图像(即具有活体虹膜图像的真人光场图像)；

步骤S2，对光场相机所采集的光场图像，经过解码和重聚焦计算后，获得聚焦在不同深度层面的焦栈图像序列；

需要说明的是，对于本发明，可以通过现有的光场成像重聚焦算法，来进行重聚焦计算。

步骤S3，对焦栈图像序列进行活体虹膜图像区域的检测和分割，裁剪掉焦栈图像序列中的背景部分，只保留每一幅焦栈图像(即重聚焦图像)中的活体虹膜图像区域；

步骤S4，将只保留活体虹膜图像区域的焦栈图像序列，分别输入到训练好的空间立体结构特征提取网络和训练好的虹膜纹理特征提取网络中(即预设深度神经网络中)，从焦栈图像序列中同时提取活体虹膜空间立体结构特征和活体虹膜纹理特征；

步骤S5，对所提取的活体虹膜空间立体结构特征和活体虹膜纹理特征进行并联拼接操作，即实行双流融合，获得活体虹膜检测整体特征(即融合特征)；

步骤S6，根据活体虹膜检测整体特征，建立虹膜活体检测网络，对输入的待识别的虹膜图像进行真假识别，判断待识别的虹膜图像中的虹膜是真实的活体虹膜还是伪造的假体虹膜。

在本发明中，具体实现上，在步骤S1中，所述光场相机优选为微透镜型光场相机。

在本发明中，具体实现上，在步骤S2中，光场相机拍摄的光场图像为I_LF，经过对光场图像进行解码和重聚焦计算，得到聚焦在不同深度层面的焦栈图像序列，焦栈图像序列可以表示为：{I₁，I₂...I_n}。

在本发明中，具体实现上，在步骤S2中，还包括以下步骤：

使用对焦能量函数，对焦栈图像序列中的每一张焦栈图像进行聚焦程度评价(即清晰度评价)，从中选择出最佳对焦(即最为清晰)的图像，表示为I_clear；

对应地，在步骤S4中，将只保留活体虹膜图像区域的最佳对焦图像(即最清晰虹膜图像)，输入到训练好的虹膜纹理特征提取网络N₂中，从中提取活体虹膜纹理特征F_t。

需要说明的是，焦栈图像序列可以认为是活体虹膜在不同深度平面聚焦成像的图像序列，因此其中包含了空间三维立体结构信息，这些信息是平面打印或屏显的伪造假体虹膜所不具备的。在本发明中，具体实现上，在步骤S4中，本发明经过训练好的空间立体结构特征提取网络N₁，可以提取焦栈图像序列中的这些具备区分能力的活体虹膜空间立体结构特征F_s。

活体虹膜空间立体结构特征F_s＝N₁(I₁，I₂...I_n)，公式(1)；

还需要说明的是，清晰的虹膜图像中蕴含丰富的虹膜纹理信息，而每个个体独有的随机虹膜纹理特征是用于虹膜识别的主要区分信息；同时义眼、美瞳等具备与真实人眼相近的三维立体结构的虹膜假体样本，则在虹膜纹理细节上与真实活体虹膜存在较大差异，因此，本发明通过训练好的虹膜纹理特征提取网络N₂，可以提取清晰的虹膜图像(优选为最清晰虹膜图像)中的这些具备区分活体检测能力的活体虹膜纹理特征F_t。

F_t＝N₂(I_clear)，公式(2)；

图4为本发明提供的一种基于光场图像序列的双流融合网络虹膜活体检测方法中，空间立体结构特征提取网络的结构示意图。

需要说明的是，参见图4所示，对于空间立体结构特征提取网络N₁包括对所输入的焦栈图像序列进行处理的八个3D卷积层8个、五个平均池化层(pool)，以及两个全连接层(FC)和一个Dropout层，空间立体结构特征提取网络N₁采用基于C3D的现有公知的网络架构，通过输入焦栈图像序列，使用该网络提取不同聚焦位置中所蕴含的空间立体结构特征。人眼具备空间三维结构，可以在不同的焦距图像上成像的清晰度和纹理细节各有差异，通过基于C3D的网络架构，可以通过建模图像序列，抽取各个图像上所蕴含的整体空间结构特征(即活体虹膜空间立体结构特征)。

需要说明的是，参见下表1所示的虹膜纹理特征提取网络N₂，在本发明中，虹膜纹理特征提取网络N₂使用基于现有公知网络ResNet50的特征提取网络，ResNet网络是目前较为成熟优秀的特征提取网络，通过将最清晰的虹膜图像(即最佳对焦图像)输入网络，清晰虹膜中含有较多的虹膜纹理，这些纹理是各异的、随机的。与人工仿造的假体虹膜之间存在较大差异。因此，通过ResNet50特征提取网络，可以得到清晰的虹膜纹理特征(即活体虹膜纹理特征)。

表1：虹膜纹理特征提取网络包含各层的示意表。

在本发明中，上述的空间立体结构特征提取网络N₁以及虹膜纹理特征提取网络N₂这两个网络，通过在真实样本(即真实的活体虹膜样本)和伪造虹膜样本(即伪造的虹膜假体样本)上进行训练，可以充分学习到具有区分能力的空间立体结构特征和虹膜纹理特征。并且这两种特征具备互补性，因此，本发明的技术方案，可以并联两者特征为最终的检测特征，最终得到准确的虹膜活体检测结果。

在本发明中，具体实现上，步骤S5具体为：将获取到的活体虹膜空间立体结构特征F_s和活体虹膜纹理特征F_t进行并联拼接操作，即实现双流融合，获得活体虹膜检测整体特征(即融合特征)F：

在本发明中，具体实现上，所述步骤S6具体包括以下步骤：

首先，根据活体虹膜检测整体特征(即融合特征)F，建立虹膜活体检测网络(即一个深度神经网络)，该虹膜活体检测网络包括全连接层(FC)F′和全连接层F″；

然后，将待识别的虹膜图像，输入虹膜活体检测网络中，最终输出虹膜活体检测结果Ans；

F′＝FC(F)；

F″＝FC(F′)；

Ans＝F″＝FC(FC(F))；

需要说明的是，虹膜活体检测网络(即一个深度神经网络)输出的，可以是判别为真实的活体虹膜或者伪造的假体虹膜的得分或者概率值，这作为虹膜活体检测结果。

需要说明的是，在本发明中，全连接层(FC)F′和全连接层F″这两个全连接层，它们的作用是降维，最终检测是个二分类问题，因此需要将得到的1024维特征降成最后的1维二分类结果，本发明的方法采用串联两个全连接层的方案。通过在训练数据上进行学习，获取两个全连接层的参数，以得到准确的检测结果。

需要说明的是，对于本发明，针对传统基于二维灰度虹膜图像的虹膜活体检测方法对空间立体结构信息的利用不充分，通常只能应对一种假体攻击方式的问题，使用微透镜型光场相机来拍摄光场图像，通过重聚焦计算获取聚焦在不同空间深度层面的焦栈图像序列，从焦栈图像序列中同时提取活体虹膜空间立体结构特征和活体虹膜纹理特征，然后将这两种存在互补性的特征进行双流融合，提取更加鲁棒准确的活体虹膜检测整体特征(即融合特征)，从而可以同时应对打印、屏显、义眼、美瞳等多种不同的假体伪造攻击方式；

此外，针对人工设计算子提取的特征表示能力弱和区分度差的问题，本发明通过使用深度神经网络(即练好的空间立体结构特征提取网络和训练好的虹膜纹理特征提取网络)，从活体虹膜检测数据库(通过光场相机预先采集获得)中自动学习到活体虹膜与伪造假体虹膜之间的空间立体结构和纹理细节上的差异，无需进行复杂的人工设计，即可完成准确鲁棒的活体检测。

对于本发明，通过使用空间立体结构特征提取网络和纹理特征提取网络，可以自动学习到活体虹膜与伪造假体虹膜之间的差异。通过将这两种网络模型提取的存在互补性的特征进行双流融合，得到更加鲁棒准确的活体虹膜检测整体特征。

与现有技术相比较，本发明具有以下的有益技术效果：

1、使用光场相机拍摄光场图像，通过解码和重聚焦计算获取聚焦在不同深度层面的焦栈图像序列，从焦栈图像序列中同时提取空间立体结构特征和虹膜纹理特征，然后把这两种存在互补性的特征进行双流融合，获取更加准确鲁棒的活体虹膜检测整体特征，可以同时应对打印、屏显、义眼、美瞳等多种不同的假体伪造攻击方式，与传统基于二维灰度图像的虹膜活体检测相比，具有巨大的优势；

2、针对人工设计算子提取的特征表示能力弱和区分度差的问题，本发明可以通过使用深度神经网络模型，从活体虹膜检测数据库中自动学习到活体虹膜与伪造假体模型之间的空间立体结构和纹理细节的差异，无需进行复杂的人工设计即可完成准确鲁棒的活体检测；

因此，基于以上技术方案可知，本发明是一种通过光场相机拍摄光场图像，使用深度神经网络模型挖掘活体虹膜空间立体结构特征和活体虹膜纹理特征，以进行活体检测的新方法，准确性更高，能同时应对多种假体攻击方式，泛化能力更好，适用范围更广。

综上所述，与现有技术相比较，本发明提供了一种基于光场图像序列的双流融合网络虹膜活体检测方法，其通过光场相机，来拍摄待识别对象具有的包括虹膜区域在内的光场图像，然后通过解码和重聚焦计算，获取聚焦在不同空间深度层面的焦栈图像序列，再通过预设的深度神经网络模型从焦栈图像序列中提取活体虹膜空间立体结构特征和活体虹膜纹理特征，并将二者进行双流融合，获得鲁棒准确的活体虹膜检测整体特征，来对识别对象进行活体虹膜识别，最终精准判别进行身份认证的待识别对象是否为真实个体，具有重大的实践意义。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于光场图像序列的双流融合网络虹膜活体检测方法，其特征在于，包括以下步骤：

步骤S1，通过光场相机，采集拍摄具有活体虹膜图像的光场图像；

步骤S2，对光场相机所采集的光场图像，经过解码和重聚焦计算后，获得聚焦在不同深度层面的焦栈图像序列；

步骤S3，对焦栈图像序列进行活体虹膜图像区域的检测和分割，裁剪掉焦栈图像序列中的背景部分，只保留每一幅焦栈图像中的活体虹膜图像区域；

步骤S4，将只保留活体虹膜图像区域的焦栈图像序列，分别输入到训练好的空间立体结构特征提取网络和训练好的虹膜纹理特征提取网络中，从焦栈图像序列中同时提取活体虹膜空间立体结构特征和活体虹膜纹理特征；

步骤S5，对所提取的活体虹膜空间立体结构特征和活体虹膜纹理特征进行并联拼接操作，即实行双流融合，获得活体虹膜检测整体特征；

步骤S6，根据活体虹膜检测整体特征，建立虹膜活体检测网络，对输入的待识别的虹膜图像进行真假识别，判断待识别的虹膜图像中的虹膜是真实的活体虹膜还是伪造的假体虹膜。

2.如权利要求1所述的双流融合网络虹膜活体检测方法，其特征在于，在步骤S1中，所述光场相机优选为微透镜型光场相机。

3.如权利要求1所述的双流融合网络虹膜活体检测方法，其特征在于，在步骤S2中，光场相机拍摄的光场图像为I_LF，经过对光场图像进行解码和重聚焦计算，得到聚焦在不同深度层面的焦栈图像序列，焦栈图像序列表示为：{I₁，I₂...I_n}；

在步骤S2中，还包括以下步骤：

使用对焦能量函数，对焦栈图像序列中的每一张焦栈图像进行聚焦程度评价，从中选择出最佳对焦的图像，表示为I_clear；

对应地，在步骤S4中，将只保留活体虹膜图像区域的最佳对焦图像，输入到训练好的虹膜纹理特征提取网络N₂中，从中提取活体虹膜纹理特征F_t；

F_t＝N₂(I_clear)。

4.如权利要求3所述的双流融合网络虹膜活体检测方法，其特征在于，活体虹膜空间立体结构特征F_s＝N₁(I₁，I₂...I_n)；

其中，N₁为空间立体结构特征提取网络。

5.如权利要求4所述的双流融合网络虹膜活体检测方法，其特征在于，步骤S5具体为：将获取到的活体虹膜空间立体结构特征F_s和活体虹膜纹理特征F_t进行并联拼接操作，即实现双流融合，获得活体虹膜检测整体特征F：

6.如权利要求5所述的双流融合网络虹膜活体检测方法，其特征在于，所述步骤S6具体包括以下步骤：

首先，根据活体虹膜检测整体特征F，建立虹膜活体检测网络，该虹膜活体检测网络包括全连接层F′和全连接层F″；

然后，将待识别的虹膜图像，输入虹膜活体检测网络中，最终输出虹膜活体检测结果Ans；

F′＝FC(F)；

F″＝FC(F′)；

Ans＝F″＝FC(FC(F))。

Images