CN117351579B - 基于多源信息融合的虹膜活体检测方法及装置 - Google Patents

基于多源信息融合的虹膜活体检测方法及装置 Download PDF

Info

Publication number
CN117351579B
CN117351579B CN202311350902.3A CN202311350902A CN117351579B CN 117351579 B CN117351579 B CN 117351579B CN 202311350902 A CN202311350902 A CN 202311350902A CN 117351579 B CN117351579 B CN 117351579B
Authority
CN
China
Prior art keywords
iris
feature
features
image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311350902.3A
Other languages
English (en)
Other versions
CN117351579A (zh
Inventor
王财勇
刘星雨
郭茂祖
赵光哲
田启川
王雪平
闫飞虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202311350902.3A priority Critical patent/CN117351579B/zh
Publication of CN117351579A publication Critical patent/CN117351579A/zh
Application granted granted Critical
Publication of CN117351579B publication Critical patent/CN117351579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本公开提供了一种基于多源信息融合的虹膜活体检测方法及装置，该方法包括：获取训练样本集，所述训练样本集包括多个类型的假体虹膜图像；基于所述训练样本集训练活体检测模型；其中，所述活体检测模型用于提取输入图像的全局虹膜特征和局部虹膜特征，对所述全局虹膜特征和所述局部虹膜特征进行特征融合得到融合特征，对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类判断，将所述分类判断进行融合得到所述输入图像的活体检测结果；基于训练完成的活体检测模型对待测虹膜图像进行虹膜活体检测。本公开能够解决相关技术难以检测多种攻击类型的问题。

Description

基于多源信息融合的虹膜活体检测方法及装置
技术领域
本公开属于数据处理技术领域，更具体地说，是涉及一种基于多源信息融合的虹膜活体检测方法及装置。
背景技术
虹膜识别技术因其唯一性、稳定性、非接触性、防伪性等特性，被认为是最具有潜力的生物特征识别技术，然而虹膜识别在应用过程中仍然可能遭遇假体攻击的威胁。针对虹膜假体攻击带来的安全隐患，虹膜活体检测技术应运而生，它旨在判别输入系统的虹膜图像是来自正常采集的活体虹膜，还是来自某种假体虹膜，以排除假体虹膜对于系统的攻击和阻碍。常见的虹膜假体攻击类型包含打印虹膜、美瞳、屏显虹膜、义眼、合成虹膜等。一种实用的虹膜活体检测技术应该具备同时精准检测多种攻击类型的能力，然而很多相关技术仅能检测单一类型（如美瞳）或者少量类型，存在难以检测多种攻击类型的问题。
发明内容
本公开的目的在于提供一种基于多源信息融合的虹膜活体检测方法及装置，以解决相关技术难以检测多种攻击类型的问题。
本公开实施例的第一方面，提供了一种基于多源信息融合的虹膜活体检测方法，包括：
获取训练样本集，所述训练样本集包括多个类型的假体虹膜图像；
基于所述训练样本集训练活体检测模型；其中，所述活体检测模型用于提取输入图像的全局虹膜特征和局部虹膜特征，对所述全局虹膜特征和所述局部虹膜特征进行特征融合得到融合特征，对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类判断，将所述分类判断进行融合得到所述输入图像的活体检测结果；
基于训练完成的活体检测模型对待测虹膜图像进行虹膜活体检测。
在本公开的一种示例性实施例中，所述对所述全局虹膜特征和所述局部虹膜特征进行特征融合得到融合特征，包括：
对所述全局虹膜特征和局部虹膜特征进行特征拼接，得到第一拼接特征；
将所述拼接特征输入至预设的第一多层感知机中，得到注意力权重；
基于所述注意力权重对所述全局虹膜特征和局部虹膜特征进行特征加权，对加权后的特征进行拼接，得到融合特征。
在本公开的一种示例性实施例中，所述对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类判断，将所述分类判断进行融合得到所述输入图像的活体检测结果，包括：
基于预设的分类器对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类，得到所述全局虹膜特征、所述局部虹膜特征以及所述融合特征对应的分类检测结果；
融合所述全局虹膜特征、所述局部虹膜特征以及所述融合特征对应的分类检测结果，将融合得到的结果输入至预设的第二多层感知机中，得到所述输入图像的活体检测结果。
在本公开的一种示例性实施例中，所述提取输入图像的全局虹膜特征和局部虹膜特征，包括：
对所述输入图像进行预处理，获取全局虹膜图像和局部虹膜图像；
将所述全局虹膜图像输入至预设的神经网络模型中，提取得到所述输入图像的全局虹膜特征；
对所述局部虹膜图像进行图像切割，得到多个图像块；
对所述多个图像块进行线性映射，得到每个图像块对应的特征向量；
将每个图像块对应的特征向量输入至预设的编码器中，提取得到所述输入图像的局部虹膜特征。
在本公开的一种示例性实施例中，所述预设的神经网络模型包括：
第一卷积层和第一池化层，用于将所述全局虹膜图像进行降维，获得包含多个特征的图像降维数据；
多个特征处理模块，用于提取所述图像降维数据的多个输出特征；其中，所述多个输出特征维数相同，每个特征处理模块包含卷积层、空间注意力模块和下采样层；
第一特征拼接层，用于将所述多个输出特征进行拼接，得到第二拼接特征；
第二卷积层和第一平均池化层，用于对所述第二拼接特征进行细化，获取第一细化特征；
第一归一化层，用于将所述第一细化特征进行归一化处理，获得所述全局虹膜特征。
在本公开的一种示例性实施例中，所述空间注意力模块包括：
最大池化层和第二平均池化层，用于分别获取输入特征的最大池化特征和平均池化特征；其中，所述输入特征为经过所述特征处理模块中卷积层的图像降维数据；
第二特征拼接层，用于将所述最大池化特征和所述平均池化特征进行拼接，获得第三拼接特征；
第三卷积层，用于获取所述第三拼接特征进行降维，获得降维特征；
点积层，用于对所述降维特征与所述输入特征进行点积操作，获得所述空间注意力模块的输出特征。
在本公开的一种示例性实施例中，所述预设的编码器包括：
第二归一化层，用于对所述特征向量进行归一化处理，获得第一归一特征；
多头注意力模块，用于对所述第一归一特征进行依赖关系建模，获得局部纹理特征；
第三特征拼接层，用于将所述特征向量与所述局部纹理特征进行特征相加，获得第四拼接特征；
第三归一化层和第三多层感知机，用于对所述第四拼接特征进行细化，获得第二细化特征；
第四特征拼接层，用于将所述第二细化特征与所述第四拼接特征进行特征拼接并进行特征维度调整，获得第五拼接特征；
第四卷积层、第二池化层和第四归一化层，用于对所述第五拼接特征进行处理，获得所述局部虹膜特征。
本公开实施例的第二方面，提供了一种基于多源信息融合的虹膜活体检测装置，包括：
数据构建模块，用于获取训练样本集，所述训练样本集包括多个类型的假体虹膜图像；
模型训练模块，用于基于所述训练样本集训练活体检测模型；其中，所述活体检测模型用于提取输入图像的全局虹膜特征和局部虹膜特征，对所述全局虹膜特征和所述局部虹膜特征进行特征融合得到融合特征，对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类判断，将所述分类判断进行融合得到所述输入图像的活体检测结果；
检测模块，用于基于训练完成的活体检测模型对待测虹膜图像进行虹膜活体检测。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述的基于多源信息融合的虹膜活体检测方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上第一方面所述的基于多源信息融合的虹膜活体检测方法的步骤。
本公开实施例提供的一种基于多源信息融合的虹膜活体检测方法及装置的有益效果在于：
相关技术仅能检测单一类型（如美瞳）或者少量类型，存在难以检测多种攻击类型的问题。而本公开实施例结合真实虹膜的先验知识，并考虑假体特征分布的差异性，将全局虹膜特征和局部虹膜特征进行特征融合，挖掘了多条假体线索，提高了活体检测模型的泛化能力，解决了相关技术难以检测多种攻击类型的问题。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一实施例提供的基于多源信息融合的虹膜活体检测方法的流程示意图；
图2为本公开一实施例提供的特征融合流程图；
图3为本公开一实施例提供的获取活体检测结果的流程图；
图4为本公开一实施例提供的提取全局虹膜特征和局部虹膜特征的流程图；
图5为本公开一实施例提供的对输入图像进行预处理的流程图；
图6为本公开一实施例提供的对虹膜区域图像归一化操作的流程图；
图7为本公开一实施例提供的神经网络模型的结构框图；
图8为本公开一实施例提供的空间注意力模块的结构框图；
图9为本公开一实施例提供的编码器的结构框图；
图10为本公开一实施例提供的基于多源信息融合的虹膜活体检测装置的结构框图；
图11为本公开一示例性实施例提供的电子设备的示意框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
请参考图1，图1为本公开一实施例提供的基于多源信息融合的虹膜活体检测方法的流程示意图，该方法包括：
S101：获取训练样本集，训练样本集包括多个类型的假体虹膜图像。
其中，训练样本集还包括活体虹膜图像，有利于活体检测模型结合真实虹膜的先验知识和假体特征分布的差异性。
S102：基于训练样本集训练活体检测模型。其中，活体检测模型用于提取输入图像的全局虹膜特征和局部虹膜特征，对全局虹膜特征和局部虹膜特征进行特征融合得到融合特征，对全局虹膜特征、局部虹膜特征以及融合特征进行分类判断，将所述分类判断进行融合得到输入图像的活体检测结果。
其中，输入图像指的是输入至活体检测模型中的图像，训练活体检测模型时输入图像来源于训练样本集，应用活体检测模型时输入图像指待测虹膜图像。将全局虹膜特征和局部虹膜特征进行特征融合，并将全局虹膜特征、局部虹膜特征以及融合特征的分类判断再次进行融合，使得活体检测模型挖掘了全局虹膜假体线索和局部虹膜假体线索，提高了活体检测模型的泛化能力，解决了相关技术难以检测多种攻击类型的问题。
S103：基于训练完成的活体检测模型对待测虹膜图像进行虹膜活体检测。
将待测虹膜图像输入至训练完成的活体检测模型得到虹膜活体检测结果，虹膜活体检测结果即待测虹膜图像中的虹膜是活体虹膜还是假体虹膜。
一个实用的虹膜活体检测模型应该具备同时精准检测多种攻击类型的能力，然而相关技术仅能检测单一类型（如美瞳）或者少量类型，难以把握多种已知攻击类型的假体线索。相关技术使用单一的深度学习检测框架，将虹膜活体检测视为简单的二分类学习任务，对不同类型的假体虹膜归为一类进行统一的训练，会使得网络忽视一部分不同种类假体虹膜中自身独特的假体特征，导致模型难以有效检测所有已知攻击类型。此外，相关技术中纯数据驱动的深度学习方法容易过拟合于某些攻击类型，使得这类方法难以捕获真实虹膜与假体虹膜之间的内在本质差异。
而本实施例发现打印虹膜、合成虹膜、美瞳、屏显虹膜等不同攻击类型的假体特征分布是有差异的。在打印虹膜中，整张图像都是打印得到的，因此假体特征来自于整张图像。而在佩戴美瞳的虹膜图像中，仅有虹膜部分的特征产生假体，其他部分均来自于活体。因此，本实施例提出一种基于多源信息融合的虹膜活体检测方法，结合真实虹膜的先验知识和假体特征分布的差异性，将全局虹膜特征和局部虹膜特征进行特征融合，挖掘了多条假体线索，能够一次性精准鲁棒地检测多种假体攻击类型以及提高了活体检测模型的泛化能力，解决了相关技术难以检测多种攻击类型的问题。
在本公开的一种示例性实施例中，参考图2，对全局虹膜特征和局部虹膜特征进行特征融合得到融合特征，包括：
对全局虹膜特征和局部虹膜特征进行特征拼接，得到第一拼接特征。
特征拼接是一种常用的特征处理方法，它通过将不同特征进行拼接组合，从而得到更加丰富、全面的特征表示，增加模型的判别能力，提升模型的表达能力和泛化能力。特征拼接有很多种方式，例如将多个特征矩阵按照列的方式进行拼接的特征矩阵拼接、将多个特征通过哈希函数映射到同一个特征空间再进行拼接的特征哈希拼接、将多个特征进行交叉组合形成新的特征的特征交叉拼接等。
因此，对全局虹膜特征和局部虹膜特征进行特征拼接能够提高虹膜活体检测模型的判别能力、表达能力和泛化能力。
将第一拼接特征输入至预设的第一多层感知机中，得到注意力权重。
其中，第一多层感知机由一个全连接层与一个激活层组成。全连接层用于获取输入数据第一拼接特征的注意力权重，激活层用于将前一层即全连接层的线性输出，通过非线性的激活函数进行处理，用以模拟任意函数，从而增强虹膜活体检测模型的表征能力。常用的激活函数有Sigmoid（Sigmoid function，S型函数）、Tanh（hyperbolic tangentfunction，双曲正切函数）、Relu（Linear rectification function，线性整流函数）、Maxout（Maxout function，最大输出激活函数）等。例如第一多层感知机由一个全连接层与Sigmoid激活层组成，增强虹膜活体检测模型的表征能力。
基于注意力权重对全局虹膜特征和局部虹膜特征进行特征加权，对加权后的特征进行拼接，得到融合特征。
其中，注意力权重由第一拼接特征输入至第一多层感知机得到，其包括全局虹膜特征对应的权重和局部虹膜特征对应的权重。特征加权指全局虹膜特征和局部虹膜特征分别与对应的权重相乘。融合特征是由加权后的全局虹膜特征和局部虹膜特征进行特征拼接得到的。例如将加权后的全局虹膜特征和局部虹膜特征进行特征矩阵拼接，得到融合特征。
在本示例性实施例中，融合特征的表达式为：
其中，是全局虹膜特征，/>是局部虹膜特征，/>和/>是第一多层感知机学习到的注意力权重，/>是融合特征。
由于简单地特征拼接不能深入探索来自不同源特征的信息互补，本示例性实施例引入注意力机制来自适应地融合这两种特征，通过学习注意力权重并对全局虹膜特征与局部虹膜特征加权再拼接的方式，得到一种有判别力且能够应对多种攻击类型的融合特征。
在本公开的一种示例性实施例中，参考图3，对全局虹膜特征、局部虹膜特征以及融合特征进行分类判断，将分类判断进行融合得到输入图像的活体检测结果，包括：
基于预设的分类器对全局虹膜特征、局部虹膜特征以及融合特征进行分类，得到全局虹膜特征、局部虹膜特征以及融合特征对应的分类检测结果。
其中，分类指的是预设的分类器对三个特征进行分别虹膜活体、虹膜假体分类，分类检测结果即特征属于虹膜活体还是虹膜假体。例如预设的分类器对三个特征分别进行虹膜活体打分和虹膜假体打分，根据分数判断三个特征分别属于虹膜活体还是虹膜假体。
融合全局虹膜特征、局部虹膜特征以及融合特征对应的分类检测结果，将融合得到的结果输入至预设的第二多层感知机中，得到输入图像的活体检测结果。
其中，融合全局虹膜特征、局部虹膜特征以及融合特征对应的分类检测结果，指的是将全局虹膜特征、局部虹膜特征和融合特征的三个分类检测结果串联起来。例如将预设的分类器对三个特征分别进行打分得到的三个预测分数串联起来。
第二多层感知机由多个全连接层和激活层组成，用于根据融合得到的结果输出输入图像的活体检测结果。例如第二多层感知机由多个全连接层和Tanh激活层组成，多个全连接层用于获取融合得到的结果中串联起来的三个分类检测结果的权重并进行加权，根据加权后的融合得到的结果输出输入图像的活体检测结果，Tanh激活层用于增强虹膜活体检测模型的表征能力。例如第二多层感知机将串联起来的三个预测分数进行分数融合（获取对应权重并加权），进而产生一个统一的真假判别结果，即输入图像的活体检测结果。特征融合后再进行分数融合，使得活体检测模型从特征层、分数层挖掘多条假体线索，有利于提高活体检测模型的泛化能力。
在本示例性实施例中，为了进一步优化活体检测模型，在得到三个分类检测结果融合的分类检测结果后，分别计算四个分类检测结果（三个分类检测结果和融合后的分类检测结果）对应的训练误差，并且为每个训练误差设置一个平衡系数，为了强化融合后的分类检测结果，可设置融合后的分类检测结果对应的平衡系数高于前三个平衡系数。其中，平衡系数用于权衡模型整体训练误差中四个训练误差的大小。四个分类检测结果对应的训练误差均由损失函数计算得到，例如Focal函数（Focal loss，焦点损失函数）。
活体检测模型计算整体训练误差使用的损失函数公式如下：
其中，、/>、/>、/>为平衡系数，/>，/>为全局虹膜特征对应的分类检测结果的训练误差，/>为局部虹膜特征对应的分类检测结果的训练误差，/>代表融合特征对应的分类检测结果的训练误差，/>代表三个分类检测结果融合的分类检测结果对应的训练误差。
本示例性实施例不仅对融合特征进行分类，对融合前的全局虹膜特征和局部虹膜特征同时进行分类，并将三个分类检测结果送入第二多层感知机中再次进行融合，最终获得输入图像的活体检测结果，使得活体检测模型从特征层和分类检测结果中挖掘了多条假体线索，并进行了有效汇总，提升了活体检测模型的泛化能力。因此，本示例性实施例中的活体检测模型具备同时精准检测多种攻击类型的能力。
在本公开的一种示例性实施例中，参考图4，提取输入图像的全局虹膜特征和局部虹膜特征，包括：
对输入图像进行预处理，获取全局虹膜图像和局部虹膜图像。
其中，对输入图像进行预处理包括：将输入图像作为第一全局图像；对输入图像进行虹膜内外圆定位操作，获取虹膜区域图像；对虹膜区域图像进行归一化操作获得第一局部图像；对第一全局图像和第一局部图像进行数据增强操作，获取全局虹膜图像和局部虹膜图像。
对虹膜区域图像进行归一化操作包括：将虹膜区域图像按照极坐标展开得到矩形图像，并按照第一方向将矩形图像从中间分割成两个半张图像，最后按垂直第一方向将两个半张图像拼接成第一局部图像，以便于将全局虹膜图像和局部虹膜图像分别送入不同的网络中训练。第一方向指矩形图像的水平方向或者垂直方向。例如，如图6所示，以虹膜的中心为两坐标系的共同原点，将原直角坐标系转化为极坐标系，用以将圆环状的局部虹膜图像展开为矩形图像，这样既可以去除虹膜以外不需要的图像像素，又便于后续的特征提取。并按照矩形图像的水平方向将矩形图像从中间分割成两个半张图像，最后将两个半张图像沿行拼接成一张分辨率为224*224的图像。
数据增强操作包括使用对比度受限自适应直方图均衡算法对第一全局图像和第一局部图像进行纹理增强，减少了环境噪声，以此凸显虹膜的外观特征；并对第一全局图像和第一局部图像随机进行平移、旋转等处理，用以扩充数据与提升模型的泛化能力。
将全局虹膜图像输入至预设的神经网络模型中，提取得到输入图像的全局虹膜特征。
其中，对全局虹膜图像利用预设的神经网络模型进行分层特征提取，可以很好地分析出图像质量、真实感、拓扑结构等方面的假体线索。
对局部虹膜图像进行图像切割，得到多个图像块。
对多个图像块进行线性映射，得到每个图像块对应的特征向量。
例如，将分辨率为224×224的局部虹膜图像按照每块为16×16的分辨率切割成196个图像块；将每个图像块按行展开成一个一维向量，并线性映射到一个固定维数，得到图像块对应的特征向量：，其中/>为每个图像块的大小，/>为图像块的通道数，/>，(H,W)为原始图像的分辨率。
将每个图像块对应的特征向量输入至预设的编码器中，提取得到输入图像的局部虹膜特征。
其中，利用预设的编码器提取的局部虹膜特征可以获得虹膜纹理的本质特征，有助于活体检测模型从虹膜的先验知识上区分活体与假体，提高活体检测模型对变化场景的泛化能力。
由上述分析可知，本示例性实施例对全局虹膜图像利用预设的神经网络模型进行分层特征提取，可以很好地分析出图像质量、真实感、拓扑结构等方面的假体线索。同时，本示例性实施例对于局部虹膜图像利用预设的编码器可以提取到虹膜纹理的本质特征，有助于活体检测模型从虹膜的先验知识上区分活体与假体，提高活体检测模型对变化场景的泛化能力。
在本公开的一种示例性实施例中，参考图7，预设的神经网络模型包括：
第一卷积层和第一池化层，用于将全局虹膜图像进行降维，获得包含多个特征的图像降维数据。
例如，利用卷积核为7*7的第一卷积层和卷积核为3*3的最大池化层对全局虹膜图像进行降维。
多个特征处理模块，用于提取图像降维数据的多个输出特征。其中，多个输出特征维数相同，每个特征处理模块包含卷积层、空间注意力模块和下采样层。
其中，空间注意力模块用于对不同特征处理模块的有用特征进行自适应增强，同时抑制噪声特征的干扰，下采样层确保不同特征处理模块的输出特征的大小相同。
第一特征拼接层，用于将多个输出特征进行拼接，得到第二拼接特征。
第二卷积层和第一平均池化层，用于对第二拼接特征进行细化，获取第一细化特征。
第一归一化层，用于将第一细化特征进行归一化处理，获得全局虹膜特征。
其中，对特征进行归一化处理可以使得数据分布更加平稳，有利于网络训练的稳定性和泛化能力。例如，对第一细化特征进行L2范数归一化处理，L2范数可以防止过拟合，提升预设的神经网络模型的泛化能力。
本示例性实施例发现对全局虹膜图像进行分层特征提取，可以很好地分析出图像质量、真实感、拓扑结构等方面的假体线索。因此，对于全局虹膜图像，本示例性实施例通过预设的神经网络模型获取包含上述信息的全局虹膜特征。预设的神经网络模型包含多个特征处理模块，每个特征处理模块包含卷积层、空间注意力模块和下采样层。空间注意力模块利用特征的空间依赖关系，自适应地帮助模型强化对于决策贡献大的特征区域，同时抑制噪声区域。下采样层确保多个特征处理模块的输出特征维数相同。对于预设的神经网络模型，不同层提取的特征性质不同，从底层到高层分别涵盖了如图像边缘等底层细节信息到更抽象的语义特征信息。为了同时利用这些有用的特征提高模型对于假体虹膜检测的鲁棒性和泛化性，本方法将各层特征进行进一步的拼接和融合细化，并经过归一化操作，得到更具判别力、区分性的全局特征。
例如，如图7所示，预设的神经网络模型采用CNN网络（Convolutional NeuralNetworks，卷积神经网络），CNN网络的主干网络使用ResNet18网络，ResNet18网络模型共有四个残差模块作为特征处理模块，每个残差模块包含四个卷积层，在每个残差模块后连接了一个空间注意力模块与下采样层。其中，四个空间注意力模块中卷积层的卷积核大小分别为7*7、5*5、5*5与3*3。
在本公开的一种示例性实施例中，参考图8，空间注意力模块包括：
最大池化层和第二平均池化层，用于分别获取输入特征的最大池化特征和平均池化特征。其中，输入特征为经过特征处理模块中卷积层的图像降维数据。
其中，最大池化层通过选取每个区域内的最大值来实现特征提取和降维的功能，可以保留输入数据中最显著的特征，同时减少计算量。平均池化层通过选取区域内的平均值来实现特征提取和降维的功能，与最大池化层相比，平均池化层更加平滑，可以在一定程度上减少噪声。
第二特征拼接层，用于将最大池化特征和平均池化特征进行拼接，获得第三拼接特征。
其中，将最大池化特征和平均池化特征进行拼接可以得到更加丰富、全面的特征表示，提升模型的泛化能力。
第三卷积层，用于获取第三拼接特征进行降维，获得降维特征。
点积层，用于对降维特征与输入特征进行点积操作，获得空间注意力模块的输出特征。
其中，点积操作指将降维特征与输入特征相位位置的数据相乘然后求和。
由上述分析可知，空间注意力模块可以利用特征的空间依赖关系，自适应地帮助模型强化对于决策贡献大的特征区域，同时抑制噪声区域。
在本公开的一种示例性实施例中，参考图9，预设的编码器包括：
第二归一化层，用于对特征向量进行归一化处理，获得第一归一特征。
例如，对特征向量进行Layer归一化处理。
多头注意力模块，用于对第一归一特征进行依赖关系建模，获得局部纹理特征。
其中，标准的自注意力机制公式为：
其中，z为输入序列的一个元素，，N为输入序列个数，D为维数，/>代表查询矩阵，/>代表键矩阵，/>代表值矩阵。根据序列中两个元素之间的成对相似度以及每个元素对应的/>与/>来计算注意力权重/>，由此计算序列中所有值/>的加权和。多头自注意力是自注意力的扩展，将上述过程重复k次，并将每次的结果拼接后映射到一个固定的维数。多头自注意力公式为：
第一归一特征通过多头注意力模块可以在不同的表示子空间里进行依赖关系建模，从而学习到空间关联的有区分性的局部纹理特征。
第三特征拼接层，用于将特征向量与局部纹理特征进行特征相加，获得第四拼接特征。
第三归一化层和第三多层感知机，用于对第四拼接特征进行细化，获得第二细化特征。
其中，对特征进行细化可以过滤冲突信息，防止微小物体的特征直接被淹没在冲突信息中。例如，利用Layer归一化操作（Layer Normalization，层归一化）对第四拼接特征进行细化。第三多层感知机由两个全连接层、一个GELU激活层与两个dropout层组成，其中dropout是一种常用的正则化方法，用于减少神经网络的过拟合现象。
第四特征拼接层，用于将第二细化特征与第四拼接特征进行特征拼接并进行特征维度调整，获得第五拼接特征。
第四卷积层、第二池化层和第四归一化层，用于对第五拼接特征进行处理，获得局部虹膜特征。
其中，第四归一化层对第五拼接特征进行归一化操作，可以防止过拟合。例如对第五拼接特征进行L2范数归一化操作可以防止过拟合，提升模型的泛化能力。
在本示例性实施例中，首先将输入的特征向量进行归一化操作，再通过多头注意力模块在不同的表示子空间里进行依赖关系建模，从而学习到空间关联的有区分性的局部纹理特征。然后，将局部纹理特征结果与特征向量进行相加，之后进行第二次归一化操作，归一化后的特征送入到第三多层感知机中进行细化，经过细化后的特征与第二次归一化之前的特征进行相加，调整相加后的特征维度并经过一个卷积层与一个平均池化层处理，确保输出特征的大小与预设的神经网络模型的输出特征保持一致，以进行特征层的融合。最后，将得到的结果进行归一化操作，输出局部虹膜特征。
本示例性实施例通过对纹理隐形眼镜以及合成虹膜等大量假体样本的观察分析发现，真实虹膜的纹理和假体虹膜的纹理具有明显的差异。真实虹膜纹理一般比较细腻规则，而假体虹膜纹理通常比较粗糙杂乱。更进一步地，真实虹膜纹理微结构的分布还表现出一定的规律性，如环向相关性和径向延展性。环向相关性是指虹膜在不同角度的扇形区域上的纹理分布从大的尺度分析具有一定的相似性，或具有较强的相关性；径向延展性是指虹膜纹理微结构通常沿着虹膜的半径延展，靠近瞳孔边界处的虹膜纹理微结构尺度较小，而靠近虹膜边界处的纹理微结构尺度较大。
真实虹膜纹理的环向相关性和径向延展性可以说明整个虹膜区域的纹理不是毫无规则，在分块分区后具有一定的关联性。而预设的编码器中使用多头自注意力机制，可以建模图像块之间的空间依赖关系，从而从这些关联特征中挖掘假体线索。例如，对于局部虹膜图像，本示例性实施例的编码器采用 Transformer编码器，设计基于VisionTransformer的检测网络，不同于预设的神经网络模型可以提取虹膜纹理的本质特征，有助于活体检测模型从虹膜的先验知识上区分活体与假体，提高活体检测模型对变化场景的泛化能力。
对应于上文实施例的基于多源信息融合的虹膜活体检测方法，图10为本公开一实施例提供的基于多源信息融合的虹膜活体检测装置的结构框图。为了便于说明，仅示出了与本公开实施例相关的部分。参考图10，该虹膜活体检测装置100包括：
数据构建模块101，用于获取训练样本集，训练样本集包括多个类型的假体虹膜图像。
模型训练模块102，用于基于训练样本集训练活体检测模型。其中，活体检测模型用于提取输入图像的全局虹膜特征和局部虹膜特征，对全局虹膜特征和局部虹膜特征进行特征融合得到融合特征，对全局虹膜特征、局部虹膜特征以及融合特征进行分类判断，得到输入图像的活体检测结果。
检测模块103，用于基于训练完成的活体检测模型对待测虹膜图像进行虹膜活体检测。
在本公开的一种示例性实施例中，模型训练模块102具体用于：
对全局虹膜特征和局部虹膜特征进行特征拼接，得到第一拼接特征。
将拼接特征输入至预设的第一多层感知机中，得到注意力权重。
基于注意力权重对全局虹膜特征和局部虹膜特征进行特征加权，对加权后的特征进行拼接，得到融合特征。
在本公开的一种示例性实施例中，模型训练模块102具体还用于：
基于预设的分类器对全局虹膜特征、局部虹膜特征以及融合特征进行分类，得到全局虹膜特征、局部虹膜特征以及融合特征对应的分类检测结果。
融合全局虹膜特征、局部虹膜特征以及融合特征对应的分类检测结果，将融合得到的结果输入至预设的第二多层感知机中，得到输入图像的活体检测结果。
在本公开的一种示例性实施例中，模型训练模块102具体还用于：
对输入图像进行预处理，获取全局虹膜图像和局部虹膜图像。
将全局虹膜图像输入至预设的神经网络模型中，提取得到输入图像的全局虹膜特征。
对局部虹膜图像进行图像切割，得到多个图像块。
对多个图像块进行线性映射，得到每个图像块对应的特征向量。
将每个图像块对应的特征向量输入至预设的编码器中，提取得到输入图像的局部虹膜特征。
在本公开的一种示例性实施例中，模型训练模块102具体包括预设的神经网络模型，预设的神经网络模型包括：
第一卷积层和第一池化层，用于将全局虹膜图像进行降维，获得包含多个特征的图像降维数据。
多个特征处理模块，用于提取图像降维数据的多个输出特征；其中，多个输出特征维数相同，每个特征处理模块包含卷积层、空间注意力模块和下采样层。
第一特征拼接层，用于将多个输出特征进行拼接，得到第二拼接特征。
第二卷积层和第一平均池化层，用于对第二拼接特征进行细化，获取第一细化特征。
第一归一化层，用于将第一细化特征进行归一化处理，获得全局虹膜特征。
在本公开的一种示例性实施例中，模型训练模块102中的空间注意力模块包括：
最大池化层和第二平均池化层，用于分别获取输入特征的最大池化特征和平均池化特征。其中，输入特征为经过特征处理模块中卷积层的图像降维数据。
第二特征拼接层，用于将最大池化特征和平均池化特征进行拼接，获得第三拼接特征。
第三卷积层，用于获取第三拼接特征进行降维，获得降维特征。
点积层，用于对降维特征与输入特征进行点积操作，获得空间注意力模块的输出特征。
在本公开的一种示例性实施例中，模型训练模块102具体包括预设的编码器，预设的编码器包括：
第二归一化层，用于对特征向量进行归一化处理，获得第一归一特征。
多头注意力模块，用于对第一归一特征进行依赖关系建模，获得局部纹理特征。
第三特征拼接层，用于将特征向量与局部纹理特征进行特征相加，获得第四拼接特征。
第三归一化层和第三多层感知机，用于对第四拼接特征进行细化，获得第二细化特征。
第四特征拼接层，用于将第二细化特征与第四拼接特征进行特征拼接并进行特征维度调整，获得第五拼接特征。
第四卷积层、第二池化层和第四归一化层，用于对第五拼接特征进行处理，获得局部虹膜特征。
参见图11，图11为本公开一示例性实施例提供的电子设备的示意框图。如图11所示的本实施例中的终端可以包括：一个或多个处理器111、一个或多个输入设备112、一个或多个输出设备113及一个或多个存储器114。上述处理器111、输入设备112、输出设备113及存储器114通过通信总线115完成相互间的通信。存储器114用于存储计算机程序，计算机程序包括程序指令。处理器111用于执行存储器114存储的程序指令。其中，处理器111被配置用于调用程序指令执行以下操作上述各装置实施例中各模块/单元的功能，例如图10所示模块101至103的功能。
应当理解，在本公开实施例中，所称处理器111可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (DigitalSignal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备112可以包括触控板、指纹采传感器（用于采集用户的指纹信息和指纹的方向信息）、麦克风等，输出设备113可以包括显示器（LCD等）、扬声器等。
该存储器114可以包括只读存储器和随机存取存储器，并向处理器301 提供指令和数据。存储器114的一部分还可以包括非易失性随机存取存储器。例如，存储器114还可以存储设备类型的信息。
具体实现中，本公开实施例中所描述的处理器111、输入设备112、输出设备113可执行本公开实施例提供的基于多源信息融合的虹膜活体检测方法的多个实施例中所描述的实现方式，也可执行本公开实施例所描述的终端的实现方式，在此不再赘述。
在本公开的另一实施例中提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
计算机可读存储介质可以是前述任一实施例的终端的内部存储单元，例如终端的硬盘或内存。计算机可读存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及终端所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于多源信息融合的虹膜活体检测方法，其特征在于，包括：
获取训练样本集，所述训练样本集包括多个类型的假体虹膜图像；
基于所述训练样本集训练活体检测模型；其中，所述活体检测模型用于提取输入图像的全局虹膜特征和局部虹膜特征，对所述全局虹膜特征和所述局部虹膜特征进行特征融合得到融合特征，对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类判断，将所述分类判断进行融合得到所述输入图像的活体检测结果；
基于训练完成的活体检测模型对待测虹膜图像进行虹膜活体检测；
所述提取输入图像的全局虹膜特征和局部虹膜特征，包括：
对所述输入图像进行预处理，获取全局虹膜图像和局部虹膜图像；
将所述全局虹膜图像输入至预设的神经网络模型中，提取得到所述输入图像的全局虹膜特征；
对所述局部虹膜图像进行图像切割，得到多个图像块；
对所述多个图像块进行线性映射，得到每个图像块对应的特征向量；
将每个图像块对应的特征向量输入至预设的编码器中，提取得到所述输入图像的局部虹膜特征；
所述预设的神经网络模型包括：
第一卷积层和第一池化层，用于将所述全局虹膜图像进行降维，获得包含多个特征的图像降维数据；
多个特征处理模块，用于提取所述图像降维数据的多个输出特征；其中，所述多个输出特征维数相同，每个特征处理模块包含卷积层、空间注意力模块和下采样层；
第一特征拼接层，用于将所述多个输出特征进行拼接，得到第二拼接特征；
第二卷积层和第一平均池化层，用于对所述第二拼接特征进行细化，获取第一细化特征；
第一归一化层，用于将所述第一细化特征进行归一化处理，获得所述全局虹膜特征。
2.如权利要求1所述的基于多源信息融合的虹膜活体检测方法，其特征在于，所述对所述全局虹膜特征和所述局部虹膜特征进行特征融合得到融合特征，包括：
对所述全局虹膜特征和局部虹膜特征进行特征拼接，得到第一拼接特征；
将所述拼接特征输入至预设的第一多层感知机中，得到注意力权重；
基于所述注意力权重对所述全局虹膜特征和局部虹膜特征进行特征加权，对加权后的特征进行拼接，得到融合特征。
3.如权利要求1所述的基于多源信息融合的虹膜活体检测方法，其特征在于，所述对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类判断，将所述分类判断进行融合得到所述输入图像的活体检测结果，包括：
基于预设的分类器对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类，得到所述全局虹膜特征、所述局部虹膜特征以及所述融合特征对应的分类检测结果；
融合所述全局虹膜特征、所述局部虹膜特征以及所述融合特征对应的分类检测结果，将融合得到的结果输入至预设的第二多层感知机中，得到所述输入图像的活体检测结果。
4.如权利要求1所述的基于多源信息融合的虹膜活体检测方法，其特征在于，所述空间注意力模块包括：
最大池化层和第二平均池化层，用于分别获取输入特征的最大池化特征和平均池化特征；其中，所述输入特征为经过所述特征处理模块中卷积层的图像降维数据；
第二特征拼接层，用于将所述最大池化特征和所述平均池化特征进行拼接，获得第三拼接特征；
第三卷积层，用于获取所述第三拼接特征进行降维，获得降维特征；
点积层，用于对所述降维特征与所述输入特征进行点积操作，获得所述空间注意力模块的输出特征。
5.如权利要求1所述的基于多源信息融合的虹膜活体检测方法，其特征在于，所述预设的编码器包括：
第二归一化层，用于对所述特征向量进行归一化处理，获得第一归一特征；
多头注意力模块，用于对所述第一归一特征进行依赖关系建模，获得局部纹理特征；
第三特征拼接层，用于将所述特征向量与所述局部纹理特征进行特征相加，获得第四拼接特征；
第三归一化层和第三多层感知机，用于对所述第四拼接特征进行细化，获得第二细化特征；
第四特征拼接层，用于将所述第二细化特征与所述第四拼接特征进行特征拼接并进行特征维度调整，获得第五拼接特征；
第四卷积层、第二池化层和第四归一化层，用于对所述第五拼接特征进行处理，获得所述局部虹膜特征。
6.一种基于多源信息融合的虹膜活体检测装置，其特征在于，包括：
数据构建模块，用于获取训练样本集，所述训练样本集包括多个类型的假体虹膜图像；
模型训练模块，用于基于所述训练样本集训练活体检测模型；其中，所述活体检测模型用于提取输入图像的全局虹膜特征和局部虹膜特征，对所述全局虹膜特征和所述局部虹膜特征进行特征融合得到融合特征，对所述全局虹膜特征、所述局部虹膜特征以及所述融合特征进行分类判断，将所述分类判断进行融合得到所述输入图像的活体检测结果；
检测模块，用于基于训练完成的活体检测模型对待测虹膜图像进行虹膜活体检测；
模型训练模块具体还用于：
对输入图像进行预处理，获取全局虹膜图像和局部虹膜图像；
将全局虹膜图像输入至预设的神经网络模型中，提取得到输入图像的全局虹膜特征；
对局部虹膜图像进行图像切割，得到多个图像块；
对多个图像块进行线性映射，得到每个图像块对应的特征向量；
将每个图像块对应的特征向量输入至预设的编码器中，提取得到输入图像的局部虹膜特征；
预设的神经网络模型包括：
第一卷积层和第一池化层，用于将全局虹膜图像进行降维，获得包含多个特征的图像降维数据；
多个特征处理模块，用于提取图像降维数据的多个输出特征；其中，多个输出特征维数相同，每个特征处理模块包含卷积层、空间注意力模块和下采样层；
第一特征拼接层，用于将多个输出特征进行拼接，得到第二拼接特征；
第二卷积层和第一平均池化层，用于对第二拼接特征进行细化，获取第一细化特征；
第一归一化层，用于将第一细化特征进行归一化处理，获得全局虹膜特征。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN202311350902.3A 2023-10-18 2023-10-18 基于多源信息融合的虹膜活体检测方法及装置 Active CN117351579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311350902.3A CN117351579B (zh) 2023-10-18 2023-10-18 基于多源信息融合的虹膜活体检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311350902.3A CN117351579B (zh) 2023-10-18 2023-10-18 基于多源信息融合的虹膜活体检测方法及装置

Publications (2)

Publication Number Publication Date
CN117351579A CN117351579A (zh) 2024-01-05
CN117351579B true CN117351579B (zh) 2024-04-16

Family

ID=89357106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311350902.3A Active CN117351579B (zh) 2023-10-18 2023-10-18 基于多源信息融合的虹膜活体检测方法及装置

Country Status (1)

Country Link
CN (1) CN117351579B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674800A (zh) * 2019-12-04 2020-01-10 图谱未来(南京)人工智能研究院有限公司 一种人脸活体检测方法、装置、电子设备及存储介质
CN111401145A (zh) * 2020-02-26 2020-07-10 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN112084917A (zh) * 2020-08-31 2020-12-15 腾讯科技（深圳）有限公司 一种活体检测方法及装置
CN115830694A (zh) * 2022-11-29 2023-03-21 北京理工大学 基于循环注意力机制的虹膜图像防伪检测方法
CN115830720A (zh) * 2021-09-17 2023-03-21 腾讯科技（上海）有限公司 活体检测方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674800A (zh) * 2019-12-04 2020-01-10 图谱未来(南京)人工智能研究院有限公司 一种人脸活体检测方法、装置、电子设备及存储介质
CN111401145A (zh) * 2020-02-26 2020-07-10 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN112084917A (zh) * 2020-08-31 2020-12-15 腾讯科技（深圳）有限公司 一种活体检测方法及装置
CN115830720A (zh) * 2021-09-17 2023-03-21 腾讯科技（上海）有限公司 活体检测方法、装置、计算机设备和存储介质
CN115830694A (zh) * 2022-11-29 2023-03-21 北京理工大学 基于循环注意力机制的虹膜图像防伪检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IrisGuideNet: Guided Localization and Segmentation Network for Unconstrained Iris Biometrics;Jawad Muhammad et al.;IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY;20230419;第18卷;第2723-2736页 *
虹膜身份识别技术;程宇奇 等;中国光学与应用光学;20090815(第04期);全文 *

Also Published As

Publication number Publication date
CN117351579A (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
Yang et al. MTD-Net: Learning to detect deepfakes images by multi-scale texture difference
CN112215180B (zh) 一种活体检测方法及装置
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN112801057B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN114333078A (zh) 活体检测方法、装置、电子设备及存储介质
CN113312965B (zh) 一种人脸未知欺骗攻击活体检测方法及系统
CN109255319A (zh) 针对静态照片的人脸识别支付信息防伪方法
CN111767879A (zh) 一种活体检测方法
CN116958637A (zh) 图像检测模型的训练方法、装置、设备及存储介质
Purnapatra et al. Presentation attack detection with advanced cnn models for noncontact-based fingerprint systems
CN112861743B (zh) 一种掌静脉图像防伪方法、装置和设备
Hassan et al. SIPFormer: Segmentation of multiocular biometric traits with transformers
CN112949353B (zh) 虹膜静默活体检测方法、装置、可读存储介质及设备
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching
CN112818774A (zh) 一种活体检测方法及装置
CN117351579B (zh) 基于多源信息融合的虹膜活体检测方法及装置
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN115147705B (zh) 人脸翻拍检测方法、装置、电子设备及存储介质
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
CN111898400A (zh) 一种基于多模态特征融合的指纹活性检测方法
CN112183357B (zh) 一种基于深度学习的多尺度活体检测方法及系统
CN115116092A (zh) 基于人眼立体视觉的真伪行人智能识别方法及仿生模型
CN110991223B (zh) 一种基于迁移学习的美瞳识别方法及系统
CN114663930A (zh) 一种活体检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant