CN113191260B - 一种基于虹膜外接矩形图的虹膜验证方法和系统 - Google Patents

一种基于虹膜外接矩形图的虹膜验证方法和系统 Download PDF

Info

Publication number
CN113191260B
CN113191260B CN202110474297.5A CN202110474297A CN113191260B CN 113191260 B CN113191260 B CN 113191260B CN 202110474297 A CN202110474297 A CN 202110474297A CN 113191260 B CN113191260 B CN 113191260B
Authority
CN
China
Prior art keywords
iris
module
external rectangular
residual
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110474297.5A
Other languages
English (en)
Other versions
CN113191260A (zh
Inventor
熊蔡华
罗志鹏
张昊
陈名欢
邓地梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110474297.5A priority Critical patent/CN113191260B/zh
Publication of CN113191260A publication Critical patent/CN113191260A/zh
Application granted granted Critical
Publication of CN113191260B publication Critical patent/CN113191260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于虹膜外接矩形图的虹膜验证方法和系统，属于虹膜验证领域。包括：训练阶段：采用不同个体的虹膜外接矩形图构成的训练样本集训练虹膜特征提取网络；虹膜验证阶段：对待验证用户，采集身份标识和虹膜图像，对其虹膜图像定位，得到虹膜外接矩形图，输入至训练好的虹膜特征提取网络，得到待验证虹膜嵌入向量；根据待验证用户身份标识确定其录入虹膜嵌入向量；将待验证虹膜嵌入向量和录入虹膜嵌入向量进行比对，判断是否属于同一个体。本发明将虹膜分割的鲁棒性问题转换为神经网络特征提取问题，而神经网络特征提取的鲁棒性问题通过神经网络训练来解决，因此采用虹膜外圆的外接矩形定位，降低虹膜预处理复杂度，提高虹膜验证的精度。

Description

一种基于虹膜外接矩形图的虹膜验证方法和系统
技术领域
本发明属于虹膜验证领域，更具体地，涉及一种基于虹膜外接矩形图的虹膜验证方法和系统。
背景技术
随着全球信息化、数字化技术的不断发展，科技给社会带来便利的同时也带来了信息安全的问题。为了保护信息的安全可靠，需要更为可靠的身份验证方法，传统的身份验证方法利用特殊物品(如个人证件)或特殊口令(如用户ID和密码)来验证用户的合法性，这些方法简单易实现，因而得到广泛的应用。然而这些方法具有很多局限性，特殊物品容易丢失与伪造，特殊口令容易被盗，因此传统的身份识别技术已经不能满足生活中需求。为了解决这些问题，生物特殊识别技术应运而生，即采用指纹、虹膜、人脸等个人独有的信息进行身份的验证。相比于传统的身份识别技术，将生物特征信息应用于身份的识别具有更高的便携性与安全性。
虹膜识别是一种基于计算机视觉的生物识别技术的身份识别方法，具有稳定、唯一、非接触与可活体识别的特点，通过获取人眼虹膜区域的纹理特征，与数据库中的纹理特征进行对比，可以确定两个纹理特征是否属于同一个人，从而达到身份识别的目的。随着深度学习技术的突破，虹膜识别能有有效应用到虹膜验证上面，与传统方法不同，深度学习技术能够更有效的提取特征，减轻人工特征提取的负担。同时能够实现非约束场景的虹膜验证，具有较高的鲁棒性与准确性。
然而不像其他基于深度学习的计算机视觉任务，特别是人脸识别，充分利用深度学习来做虹膜的特征度量的工作并不多.近几年也有人提出采用深度神经网络来做虹膜识别，比如DeepIrisNet模型，但是这些模型都是需要对原虹膜区域做精细化的分割，并且大多采用分类模型而不是采用深度度量模型，这需要大量的数据集做支撑而且容易过拟合，训练难度大，并且对于复杂常见场景不具备足够的鲁棒性。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于虹膜外接矩形图的虹膜验证方法和系统，其目的在于通过采用虹膜外接矩形的定位方法以及深度度量学习的方式，能够方便地获得具有辨别性的嵌入向量，具有更好的识别效果与泛化能力，可广泛应用与生产实践中。
为实现上述目的，按照本发明的第一方面，提供了一种基于虹膜外接矩形图的虹膜验证方法，该方法包括以下步骤：
训练阶段：采用训练样本集训练虹膜特征提取网络，所述训练样本集包括不同个体的虹膜外接矩形图；
应用阶段包括：虹膜录入阶段和虹膜验证阶段；
虹膜录入阶段：对用户端上传的虹膜图像进行定位，得到虹膜外接矩形图，并将其输入至训练好的虹膜特征提取网络，得到虹膜嵌入向量，并以身份标识-虹膜嵌入向量方式存储；
虹膜验证阶段：对待验证用户，采集其身份标识和虹膜图像，对待验证用户的虹膜图像进行定位，得到虹膜外接矩形图，并将其输入至训练好的虹膜特征提取网络，得到待验证的虹膜嵌入向量；根据待验证用户的身份标识确定其录入虹膜嵌入向量；将待验证虹膜嵌入向量和录入虹膜嵌入向量进行相似度比对，通过相似度阈值判断是否属于同一个体，从而实现身份验证。
优选地，采用最小外接矩形定位方式在虹膜图像定位出虹膜外圆的外接矩形图像。
优选地，所述虹膜特征提取网络依次串联，包括：尺寸调整模块、下采样模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块、双池化层、第一全连接层和第二全连接层；
所述尺寸调整模块，用于将虹膜外接矩形图调整为统一尺寸的虹膜张量；
所述下采样模块包括三个串联的卷积层，卷积核大小均为3*3，前两个卷积步幅为1，第三个卷积步幅为2，每个卷积层输出通道数为64，并后接一个BN层和ReLu激活层；
所述第一残差模块包括：串联的池化窗口为3*3的最大池化层和三个第一类型SE残差块，所述第一类型SE残差块由Full Pre-activation残差块与SE模块组成；针对FullPre-activation残差块，在进入该模块时，先接批量归一化层与激活层，再接卷积层，卷积层的输出通道数为64；针对SE模块，其Scale参数为16；
第二残差模块包括：串联的4个第二类型SE残差块，所述第二类型SE残差块由FullPre-activation残差块与SE模块组成；针对Full Pre-activation残差块，其中卷积层的输出通道数为128；针对SE模块，其Scale参数为16；
第三残差模块包括：串联的6个第三类型SE残差块，所述第三类型SE残差块由FullPre-activation残差块与SE模块组成；针对Full Pre-activation残差块，其中卷积层的输出通道数为256；针对SE模块，其Scale参数为16；
第四残差模块包括；串联的3个第四类型SE残差块，所述第四类型SE残差块由FullPre-activation残差块与SE模块组成；针对Full Pre-activation残差块，其中卷积层的输出通道数为512；针对SE模块，其Scale参数为16；
所述双池化层，用于线性叠加使得获取的特征更为丰富；
所述第一全连接层，用于在通道的维度上对叠加后的特征进行降维；
所述第二全连接层，用于获取虹膜嵌入向量。
有益效果：相对于现有其他神经网络，本发明在ResNet34基础作出改进，提出一种新的神经网络，引入Full Pre-activation残差块，即再进入残差模块时，先接批量归一化层与激活层，再接卷积层，将ReLu激活层都放在残差块的内部，从而使得模型更容易训练，增强网络模型对浅层细节的提取能力，提高了虹膜验证的精度。
优选地，训练阶段采用基于三元组损失函数的深度度量学习的方式，包括以下步骤：
(1)构建虹膜三元组数据集，所述虹膜三元组包括：锚点虹膜外接矩形图、正样本虹膜外接矩形图、负样本虹膜外接矩形图；所述锚点虹膜外接矩形图和正样本虹膜外接矩形图属于同一个体，所述负样本虹膜外接矩形图与锚点虹膜外接矩形图属于不同个体；
(2)使用该虹膜三元组数据集，采用基于三元组损失函数的深度度量学习的方式训练虹膜特征提取网络，直至深度度量学习的三元组损失函数值收敛，得到训练好的虹膜特征提取网络。
有益效果：相对于现有技术，本发明采用基于三元组损失函数的深度度量学习的方式，可以缩小类内的差异、同时扩大类间的差异，从而提高了虹膜特征嵌入向量的辨别性，提高了虹膜验证的精度。
优选地，所述损失函数如下：
Figure GDA0003576293850000051
其中，
Figure GDA0003576293850000052
表示锚点的虹膜嵌入向量，
Figure GDA0003576293850000053
表示正样本的虹膜嵌入向量，
Figure GDA0003576293850000054
表示负样本的虹膜嵌入向量，margin表示嵌入向量之间距离的设定阈值。
优选地，所述嵌入向量之间距离为欧式距离。
为实现上述目的，按照本发明的第二方面，提供了一种基于虹膜外接矩形图的虹膜验证系统，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的基于虹膜外接矩形图的虹膜验证方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
本发明采用虹膜外圆的外接矩形定位，得到虹膜区域的外接矩形图，将其作为直接特征提取对象，考虑到神经网络的特征提取的优势，直接采用特征提取网络对该外接矩形图进行特征提取，这样做是可以将虹膜分割的鲁棒性的问题转换为神经网络的特征提取的问题，而神经网络的特征提取的鲁棒性问题可以通过神经网络的训练来解决，因此采用虹膜外圆的外接矩形定位可以降低了虹膜预处理的复杂度，而避免使用鲁棒性差的虹膜分割。于是前期的预处理过程可以减少很多负担，并且由于定位的鲁棒性更高，后续基于深度神经网络的特征编码过程也可以得到更好虹膜特征的描述，进一步提高虹膜验证的精度。
附图说明
图1为本发明提供的虹膜识别流程图；
图2为本发明提供的虹膜矩形区域定位示意图；
图3为本发明提供的虹膜图像增广效果；
图4为本发明提供的三元组示意图；
图5为本发明提供的下采样模块的流程示意图；
图6为本发明提供的残差块的调整，其中，(a)为original残差块，(b)为Full Pre-activation残差块；
图7为本发明提供的残差模块中使用平均池化层(Ave-Pool)进行下采样；
图8为本发明提供的SE模块；
图9为本发明提供的基于Triplet Loss的度量学习；
图10为本发明提供的Triplet Loss的距离度量；
图11为本发明提供的虹膜识别的训练过程；
图12为本发明提供的测试分类的4种情况；
图13为各个模型的ROC曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明在利用深度度量学习算法实现虹膜的识别，在更简便的虹膜外圆的外接矩形定位的基础上，使用深度度量学习的方法对虹膜的特征信息进行提取，最后使用欧式距离对虹膜的嵌入向量之间相似度进行衡量，从而实现虹膜的相似度识别。本文提出的方法将人眼的虹膜信息应用于身份识别中，通过提高虹膜识别的准确性，可应用于人们的日常生活与工作中，保障用户身份的验证，具有重要的意义与价值。
如图1所示，本发明实施例的基于虹膜外接矩形图与深度度量学习的虹膜识别方法，具体步骤如下：
步骤S10，获取一张虹膜外接矩形图。
步骤S20，将虹膜外接矩形图输入经过训练好的特征提取网络中，得到得虹膜嵌入向量。
步骤S30，将不同的虹膜的嵌入向量(Iris Embeddings)进行距离比对，通过阈值判断不同虹膜之间是否属于同一个体，从而实现身份识别的功能。
所述训练好的神经网络模型，其获取方式为：
步骤S21，在原有的训练数据集上，基于虹膜外接矩形的定位方式，获得每张虹膜图片的虹膜外接矩形图，以此图构建用深度度量学习的数据集；
步骤S22，构建基于Triplet-Loss损失函数与深度神经网络的深度度量学习网络模型；
步骤S23，使用Adam优化器在训练数据集对特征提取网络进行优化。
步骤S21包括以下子步骤：
步骤S211，构建虹膜外接矩形图数据集：
(1)使用中科院的开源数据集CASIA-Iris-Thousand，遍历2000类虹膜图像，将每一类虹膜图像放入以数字命名的文件夹中，每个文件夹存放10张图片，构成原始的虹膜数据集。
(2)为了得到如图2所示的虹膜外接矩形图，需要使用虹膜检测器，将原图中的虹膜区域进行裁剪，本发明使用的虹膜检测器来自于开源虹膜识别软件OSIRIS4.1，通过修改其中源代码，得到虹膜的中心与半径，然后进行裁剪，如此得到紧密裁剪的虹膜区域。这样裁剪处理应用到每张原图，并且排除掉一些检测错误的样本点。如此就得到大约2000类虹膜ROI区域图，和原图的存储方式一样，每类图片存储于某个文件夹，文件夹包含10张图片，文件夹的命名是按顺序以数字的方式命名。
(3)为了提高模型的鲁棒性，以及得到合适大小的虹膜外接矩形图，需要对第(2)步得到的虹膜外接矩形图进行数据的增广操作。相应的数据增广操作为：上下，左右的随机翻转，以某种比例(缩放比例[0.4,1]，长宽比例[0.5,2])的随机裁剪，亮度以[0.5,1]范围随机变化，对比度以[0.5,1]范围随机变化，图片的随机旋转，最后将图片缩放为256*256大小的缩略图。数据的增广效果如图3所示。
(4)本发明使用了pytorch深度学习平台，利用数据类的方式组织训练数据集，首先构建一个dataset1，包含每一张虹膜图像和类别，并进行第(3)步的数据增广操作。在dataset1的基础上构建dataset2，使得其能遍历整个dataset1，每次并返回一个三元组(如图4所示)，三元组的含义是指：锚点(随机一个样本)、正样本、负样本，其中，正样本和锚点的类型一样，负样本则相反。每个三元组样本的概率是一样的，保证取样的随机性。具体的取样方法为：锚点是随机选择的，正样本是在锚点类别的所有样本中随机选取一个(同时保证和锚点不是同一张图片)，而负样本则是在其他类别的所有样本中随机选取的。
步骤S221，构建神经网络模型，构建基于ResNet34模型的特征提取网络模型SE-ResNet34-Iris。改进后模型的网络结构如表1所示，
表1
Figure GDA0003576293850000101
其中包括了8个网络模块，分别为下采样模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块、双池化层、第一全连接层和第二全连接层。网络模型具体结构如下：
(1)下采样模块，如图5所示，由三层卷积层组成，采用3*3的小卷积核，前两个卷积的步幅为1，第3个卷积的步幅为2，填充为1，使得输出的特征图尺寸变为原来的二分之一，该模块的输入尺寸为3*224*224，经过模块1后输出的尺寸为3*112*112。
(2)第一残差模块、第二残差模块、第三残差模块、第四残差模块由SE残差块组成，如表1所示，分别包含3、4、6、3个SE残差块，所述SE残差块由Full Pre-activation残差块与SE模块组成。
(3)针对Full Pre-activation残差块(如图6中的(b)所示，其相对于图6中的(a)所示的original残差块做了部分调整)，第一至第四残差模块中卷积层的输出通道数分别为64、128、256、512。针对第二残差模块、第三残差模块、第四残差模块，第一个Full Pre-activation残差块中需要进行下采样，其中第一个卷积层使用3*3的卷积核，步幅为2，padding为1，输出的特征图的长宽减半，并且通道数是原来的两倍，如图7所示，这时在直连(short-connection)的过程中也需要将特征图的长宽减半，并将通道变为原来的两倍，并引入了平均池化层，池化层的窗口大小为3*3，步幅为2，因此可以达到下采样的目的。下采样通常会采用步幅为2的卷积操作来完成，但是会丢失一半的特征信息，相比之下平均池化可以保留更多的信息。而通道的增加则是采用1*1的卷积核，步幅为1，padding为0的卷积层，经过该卷积层后，然后接批量归一化层，有利于特征的稳定以及梯度的反向传播，最后直连过程的输出与残差部分的输出直接相加。
(4)针对SE模块(如图8所示)它是一种关注特征图的通道之间的联系网络结构，使用学习到的权值在各个通道上对输入特征图进行加权。如图8所示，由残差模块输出的H×W×C的特征图，经过全局池化层后输出的特征图形状为1×1×C，然后通过一个全连接层将特征的通道由C变为C/r，接着使用ReLu层进行非线性激活，这一步将通道数降低，有利于减少参数与运算量。通常压缩参数r的取值为16，这个压缩参数可以有效的平衡运算量与模块的最终效果。再降低通道数之后，再一次使用一个全连接层将特征通道数还原到C通道，接着使用一个Sigmoid函数进行激活，以此得到每个通道的权重参数，最后使用得到的权重在每个通道上对原大小为H×W×C的特征图进行拉伸。
(5)对于双池化层，考虑到全局平均池化层与全局最大池化层的各有优势，全局平均池化层可以获得全局的特征，最大池化层可以获得更重要的局部信息。因此SE-ResNet34-Iris模型使用这两种池化层的线性叠加，使获取的特征更为丰富。
(6)随后采用第一全连接层(reduce_layer)在通道的维度上对叠加后的特征进行降维，由原来的1024维变为512维。最后接入用于获取嵌入特征的第二全连接层(embeding_layer)，从而输出128维的嵌入向量。
步骤222，构建基于Triplet-Loss损失函数的深度神经网络度量模型，其步骤如下：
(1)构建度量学习网络Triplet-network，由步骤S221得到的特征提取网络，可以方便地构建出Triplet-network，如图9所示，整体网络结构主要包含三组权重共享特征提取网络(SE-ResNet34-Iris)。
(2)构建度量学习的损失函数，本发明引入了三元组损失函数(Triplet-Loss)。
Triplet-Loss包括一个锚点(Anchor)、一个正样本和一个负样本，它的目的是使得锚点和正样本的距离尽可能小，与负样本的距离尽可能大。计算公式如下所示：
Figure GDA0003576293850000131
Figure GDA0003576293850000132
Figure GDA0003576293850000133
其中，
Figure GDA0003576293850000134
表示锚点(Anchor)的Embedding(向量嵌入)，
Figure GDA0003576293850000135
表示正样本(Positive)的Embedding，
Figure GDA0003576293850000136
表示负样本的Embedding。
最小化该损失函数L3的期望方向为：d(a,p)趋于0，而d(a,n)>margin，如图10所示。
步骤S231，使用Adam优化器在训练数据集对度量模型进行优化，即进行深度度量学习，设置合适的超参数，使得网络在训练集与测试集上达到良好的拟合效果，其流程如图11所示：
(1)本发明采用的优化方式为Adam优化算法，由于模型会自动构建计算图，每次迭代时，利用图算法的拓扑排序以及链式求导法则对计算图进行反向遍历，计算出每个节点对目标函数的梯度。然后调用参数优化器对模型的梯度进行更新。
(2)为了有效地训练网络，需要设置合适超参数(根据经验人工调整的参数)，比如学习率(lr)、Batch size(Mini-batch的大小)，以及Triplet-Loss的阈值。本发明学习率的设置为0.001，Batch size的大小为192，选择这个Batch size的大小需要合适，在考虑GPU的显存的情况下不能太大了，太大会导致训练效率变慢，而且有一个更不好的影响，太大会导致训练没有随机误差，目标函数的Loss可能会停在一个不好的局部最低点或者鞍点而无法跳出。Batch size小一点会使得模型训练更快，但是如果Batch size太小也不是好事，它会导致训练的不稳定，而无法收敛。
(3)模型的早停机制，以及模型参数的保存。因为模型迭代次数无法准确预估，所以需要早停机制，当模型的训练Loss和识别Loss低于设定的值时，此时认为模型达到了训练的目标。为了模型参数能够重复利用，模型的参数以字典的形式保存下来。
步骤S31，将不同的虹膜的嵌入特征(Iris Embeddings)进行距离比对，通过阈值判断不同虹膜之间是否属于同一个体，从而实现身份识别的功能。其具体步骤如下：
(1)由步骤S20，虹膜缩略图经过训练好的深度神经网络中，得到嵌入向量。
(2)嵌入向量之间的距离度量：
通过特征度量得到的嵌入向量可以通过欧式距离(L2 Norm)度量来衡量向量间的相似度。
Figure GDA0003576293850000141
X、Y为一对虹膜的嵌入向量(EmbeddingVector)，X＝(xi,x2,x3,…xn),Y＝(y1,y2,y3,…yn)。dist1(X,Y)的值越小，两者在度量空间中的距离就越近，表示这对虹膜的嵌入特征越相似。
(3)通过阈值判断一对嵌入向量是否来自同一类：
当dist1(X,Y)<margin，认为两个样本是属于同一类，否则为不同类。
实验验证模型的有效性。
在得到训练后的特征提取网络后，通过相关指标验证了本发明的有效性，具体做法如下：
(1)需要构建测试数据集，它是同过随机选择正样本和负样本来获取的，在保证均匀遍历了整个测试数据集的同时，并保证了正样本和负样本一样多。
(2)通过计算模型的FPR与TPR指标，计算模型的识别效果。
虹膜匹配效果的好坏通过相关指标来度量，包含了TPR(True Positive Rate)和FPR(False Positive Rate)。FPR指的是，在生物识别技术中安全系统的实例错误地识别或识别未经授权的(非法的)人数占所有负样本对的比例，而TPR表示系统正确识别的人数站所以正样本数量的比例。所以在固定的FPR值(比如FPR＝0.001)的情况下来比较TPR的值，此时TPR值越高，说明识别的效果越好。
FPR＝FP/(TP+TN)
TPR＝TP/(TP+FN)
如图12所示，其中TP表示真实的类别与匹配的结果都为正样本，FN则相反，它表示真实的结果为正样本，然而匹配的结果是负样本；FP表示真实的结果为负样本，而匹配的结果为正样本，TN表示真实类别与匹配的结果都为负样本。
此外EER(Equal Error Rate)也是评价识别效果的重要指标，即FPR与(1-TPR)相等时的指标，这个数值越低表明模型的效果越好。表2为实验所用的模型，表3为不同模型在测试集的效果。
表2
模型 模型的具体形式
传统模型 OsIrisv4.1
本发明模型 Resnet34_Iris+Triplet-Network+Triplet-Loss
表3
Figure GDA0003576293850000161
图13为ROC曲线图表示本发明与OSIRISV4.1直观的效果比较，另外从表3可以看出，当TPR与FPR相等时，本文提出的模型值大约为0.993，在FPR＝0.001时，TPR＝0.912，超过了传统的基准模型。可以看出本发明的基于Triplet-Loss深度度量模型具有更好的效果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于虹膜外接矩形图的虹膜验证方法，其特征在于，该方法包括以下步骤：
训练阶段：采用训练样本集训练虹膜特征提取网络，所述训练样本集包括不同个体的虹膜外接矩形图；
应用阶段包括：虹膜录入阶段和虹膜验证阶段；
虹膜录入阶段：对用户端上传的虹膜图像进行定位，得到虹膜外接矩形图，并将其输入至训练好的虹膜特征提取网络，得到虹膜嵌入向量，并以身份标识-虹膜嵌入向量方式存储；
虹膜验证阶段：对待验证用户，采集其身份标识和虹膜图像，对待验证用户的虹膜图像进行定位，得到虹膜外接矩形图，并将其输入至训练好的虹膜特征提取网络，得到待验证虹膜嵌入向量；根据待验证用户的身份标识确定其录入虹膜嵌入向量；将待验证虹膜嵌入向量和录入虹膜嵌入向量进行相似度比对，通过相似度阈值判断是否属于同一个体，从而实现身份验证；
所述虹膜特征提取网络依次串联包括：尺寸调整模块、下采样模块、第一残差模块、第二残差模块、第三残差模块、第四残差模块、双池化层、第一全连接层和第二全连接层；
所述尺寸调整模块，用于将虹膜外接矩形图调整为统一尺寸的虹膜张量；
所述下采样模块包括三个串联的卷积层，卷积核大小均为3*3，前两个卷积步幅为1，第三个卷积步幅为2，每个卷积层输出通道数为64，并后接一个BN层和ReLu激活层；
所述第一残差模块包括：串联的池化窗口为3*3的最大池化层和三个第一类型SE残差块，所述第一类型SE残差块由Full Pre-activation残差块与SE模块组成；针对Full Pre-activation残差块，在进入该模块时，先接批量归一化层与激活层，再接卷积层，卷积层的输出通道数为64；针对SE模块，其Scale参数为16；
第二残差模块包括：串联的4个第二类型SE残差块，所述第二类型SE残差块由FullPre-activation残差块与SE模块组成；针对Full Pre-activation残差块，其中卷积层的输出通道数为128；针对SE模块，其Scale参数为16；
第三残差模块包括：串联的6个第三类型SE残差块，所述第三类型SE残差块由FullPre-activation残差块与SE模块组成；针对Full Pre-activation残差块，其中卷积层的输出通道数为256；针对SE模块，其Scale参数为16；
第四残差模块包括；串联的3个第四类型SE残差块，所述第四类型SE残差块由FullPre-activation残差块与SE模块组成；针对Full Pre-activation残差块，其中卷积层的输出通道数为512；针对SE模块，其Scale参数为16；
所述双池化层，用于线性叠加使得获取的特征更为丰富；
所述第一全连接层，用于在通道的维度上对叠加后的特征进行降维；
所述第二全连接层，用于获取虹膜嵌入向量。
2.如权利要求1所述的方法，其特征在于，采用最小外接矩形定位方式在虹膜图像定位出虹膜外圆的外接矩形图像。
3.权利要求1所述的方法，其特征在于，训练阶段采用基于三元组损失函数的深度度量学习的方式，包括以下步骤：
(1)构建虹膜三元组数据集，所述虹膜三元组包括：锚点虹膜外接矩形图、正样本虹膜外接矩形图、负样本虹膜外接矩形图；所述锚点虹膜外接矩形图和正样本虹膜外接矩形图属于同一个体，所述负样本虹膜外接矩形图与锚点虹膜外接矩形图属于不同个体；
(2)使用该虹膜三元组数据集，采用基于三元组损失函数的深度度量学习的方式训练虹膜特征提取网络，直至深度度量学习的三元组损失函数值收敛，得到训练好的虹膜特征提取网络。
4.如权利要求3所述的方法，其特征在于，所述损失函数如下：
Figure FDA0003576293840000031
其中，
Figure FDA0003576293840000032
表示锚点的虹膜嵌入向量，
Figure FDA0003576293840000033
表示正样本的虹膜嵌入向量，
Figure FDA0003576293840000034
表示负样本的虹膜嵌入向量，margin表示嵌入向量之间距离的设定阈值。
5.如权利要求4所述的方法，其特征在于，所述嵌入向量之间距离为欧式距离。
6.一种基于虹膜外接矩形图的虹膜验证系统，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至5任一项所述的基于虹膜外接矩形图的虹膜验证方法。
CN202110474297.5A 2021-04-29 2021-04-29 一种基于虹膜外接矩形图的虹膜验证方法和系统 Active CN113191260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110474297.5A CN113191260B (zh) 2021-04-29 2021-04-29 一种基于虹膜外接矩形图的虹膜验证方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110474297.5A CN113191260B (zh) 2021-04-29 2021-04-29 一种基于虹膜外接矩形图的虹膜验证方法和系统

Publications (2)

Publication Number Publication Date
CN113191260A CN113191260A (zh) 2021-07-30
CN113191260B true CN113191260B (zh) 2022-05-27

Family

ID=76980665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110474297.5A Active CN113191260B (zh) 2021-04-29 2021-04-29 一种基于虹膜外接矩形图的虹膜验证方法和系统

Country Status (1)

Country Link
CN (1) CN113191260B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591747B (zh) * 2021-08-06 2024-02-23 合肥工业大学 一种基于深度学习的多场景虹膜识别方法
CN115659225A (zh) * 2022-11-11 2023-01-31 河北农业大学 基于深度学习的蛋鸡舍噪声应激源识别分类方法
CN116343320B (zh) * 2023-03-31 2024-06-07 西南大学 一种虹膜识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852755A (zh) * 2019-11-06 2020-02-28 支付宝(杭州)信息技术有限公司 针对交易场景的用户身份识别方法和装置
CN111145087A (zh) * 2019-12-30 2020-05-12 维沃移动通信有限公司 一种图像处理方法及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019086135A1 (en) * 2017-11-03 2019-05-09 Veridas Digital Authentication Solutions, S.L. Methods and devices for biometric verification
US10825227B2 (en) * 2018-04-03 2020-11-03 Sri International Artificial intelligence for generating structured descriptions of scenes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852755A (zh) * 2019-11-06 2020-02-28 支付宝(杭州)信息技术有限公司 针对交易场景的用户身份识别方法和装置
CN111145087A (zh) * 2019-12-30 2020-05-12 维沃移动通信有限公司 一种图像处理方法及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《LiSHT:Non-Parametric Linearly Scaled Hyperbolic Tangent Activation Function for Neural Networks》;Swalpa Kumar Roy等;《arXiv》;20200806;全文 *
《基于非线性降维的虹膜识别方法》;刘爱林 等;《计算机工程与设计》;20090530;第30卷(第10期);全文 *

Also Published As

Publication number Publication date
CN113191260A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN113191260B (zh) 一种基于虹膜外接矩形图的虹膜验证方法和系统
WO2020211339A1 (zh) 指静脉识别方法、装置、计算机设备及存储介质
US8184914B2 (en) Method and system of person identification by facial image
CN111160313B (zh) 一种基于lbp-vae异常检测模型的人脸表示攻击检测方法
CN108563999A (zh) 一种面向低质量视频图像的人物身份识别方法与装置
CN112437926B (zh) 使用前馈卷积神经网络的快速鲁棒摩擦脊印痕细节提取
US20100202669A1 (en) Iris recognition using consistency information
CN111639558A (zh) 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法
CN112560710B (zh) 一种用于构建指静脉识别系统的方法及指静脉识别系统
CN109948467A (zh) 人脸识别的方法、装置、计算机设备和存储介质
CN107871107A (zh) 人脸认证方法和装置
CN113657498B (zh) 生物特征提取方法、训练方法、认证方法、装置和设备
CN116110113A (zh) 一种基于深度学习的虹膜识别方法
Murugan et al. Fragmented iris recognition system using BPNN
Pathak et al. Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching
CN116342968B (zh) 一种双通道人脸识别方法及装置
CN111325162A (zh) 基于虚拟样本和残差融合的权重稀疏表示的人脸识别方法
Saleh et al. An improved face recognition method using Local Binary Pattern method
Pryor et al. Deepfake detection analyzing hybrid dataset utilizing CNN and SVM
CN111062338B (zh) 一种证照人像一致性比对方法及其系统
TWI632509B (zh) 人臉辨識裝置及方法、提升影像辨識率的方法、及電腦可讀儲存介質
CN112241680A (zh) 基于静脉相似图像知识迁移网络的多模态身份认证方法
CN117912086B (zh) 基于撒切尔效应驱动的人脸识别方法、系统、设备及介质
CN115035052B (zh) 一种基于身份差异量化的伪造换脸图像检测方法和系统
Yang et al. A New Approach for Iris Segmentation Based on U-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant