CN107220598B - 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 - Google Patents
基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 Download PDFInfo
- Publication number
- CN107220598B CN107220598B CN201710333852.6A CN201710333852A CN107220598B CN 107220598 B CN107220598 B CN 107220598B CN 201710333852 A CN201710333852 A CN 201710333852A CN 107220598 B CN107220598 B CN 107220598B
- Authority
- CN
- China
- Prior art keywords
- iris
- iris image
- classification
- gaussian mixture
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000013598 vector Substances 0.000 title claims description 70
- 238000013135 deep learning Methods 0.000 title abstract description 11
- 238000012706 support-vector machine Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 239000000203 mixture Substances 0.000 claims description 39
- 210000001747 pupil Anatomy 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 17
- 238000013461 design Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 210000000554 iris Anatomy 0.000 description 251
- 230000006870 function Effects 0.000 description 18
- 238000009826 distribution Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供了一种虹膜图像分类方法，包括：在虹膜纹理基元的构建阶段对样本虹膜图像进行处理，得到虹膜纹理基元；在虹膜分类器的构建阶段基于所述的纹理基元和支持向量机来构造虹膜分类器；在判别阶段使用所述虹膜分类器来对目标虹膜图像进行分类。本发明虹膜图像分类方法可以有效地完成虹膜图像的分类问题，提高了虹膜识别的高效性和安全性。本发明利用深度学习得到的特征来代替传统手工设计的特征来提取虹膜的纹理基元，具有高精度、高鲁棒性和高可靠性的优点，适用于活体检测、人种识别、性别识别等多种应用需求的虹膜图像分类问题。本发明有效解决了虹膜系统在产品化的过程中遇到的系统安全问题和大规模数据检索等问题。
Description
技术领域
本发明涉及计算机视觉、模式识别和机器学习技术领域，尤其涉及一种基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法。
背景技术
随着互联网的快速发展，人与人之间的关系更加密切，互动更加频繁，基于生物特征的身份识别受到了人们的重视，已经渗透到人们日常生活的每一个方面。在众多生物特征中，虹膜具有唯一性高、稳定性强、非侵犯性等优点。这些优点使得虹膜特别适合用于人的身份认证和识别，在过去的十几年间受到越来越多的关注，相关研究和技术也得到了迅速的发展。虹膜识别不仅可以应用于电子商务、金融证券、信息安全、交通、公安和司法，而且已经上升到了国家战略国防的高度。
随着虹膜识别从实验走向实用，在众多安全防控领域得到应用，虹膜识别系统本身也面临着很多问题。一方面，随着应用范围的扩大，使用人数的增多，虹膜数据库的规模也越来越大。数据库的扩大不仅给数据存储带来了考验，同时也导致了从数据库里搜索某一个虹膜特征的时间增加，系统的反应时间增大，反应变慢。另一方面，虹膜识别系统的安全性问题成为备受关注的焦点，出现了各种不同形式的系统攻击方式。主要包括：在摄像机端使用伪造虹膜攻击，篡改拍摄到的虹膜图像，篡改特征提取和表达，篡改注册模板等。其中，伪造虹膜对系统是很大的威胁，伪造虹膜攻击系统的方法有很多种，比如打印在纸上的虹膜图像、显示屏显示的虹膜图像、彩色印花隐形眼镜、具有丰富虹膜纹理的人造眼球等。伪造虹膜可能造成虹膜识别系统的错误识别，例如在某公司的考勤识别系统中，系统工作于识别工作模式，包含该公司员工的虹膜数据库，打印在纸上的虹膜可能导致没有来考勤的员工完成考勤，导致考勤系统没有起到应有的作用。因此，有效的伪造虹膜判别方法是提高虹膜识别系统可靠性的重要部分。
面对上述问题，研究虹膜图像分类方法变得很有必要。虹膜图像分类指的是将虹膜图像根据应用需求分成几大类，主要包括：活体检测，人种分类、性别分类等。虹膜分类方法可以在节约硬件开支的条件下，完成不同的分类任务，大幅度地提高了搜索速度，提高虹膜识别系统的安全性。
现有的虹膜图像分类方法，基本上根据先验知识来手工设计一些特征。谭铁牛等(CN101540000B)通过选择感兴趣区域ROI，对ROI区域进行特征提取，对提取的纹理特征进行训练并建模，实现了对虹膜图像的粗分类。解梅等(CN101556646B)使用小波分解对归一化的虹膜图像进行处理得到特征向量，然后将特征向量进行基于核方法的聚类，得到聚类结果，然后在用支持向量机进行分类。
随着硬件和软件地不断发展，虹膜识别系统向用户友好、方便使用的方向发展，对用户的配合度要求减低，会导致虹膜图像质量下降等问题，这使得在实际的应用系统中，很难找到最优的最有区分性的特征。随着分类类别的增加，现有的虹膜分类方法仍有改进的空间，如何快速有效地在虹膜识别系统中的进行分类仍然是一个难题。
发明内容
(一)要解决的技术问题
鉴于上述技术问题，本发明提供了一种基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法，包括活体检测，人种分类和性别分类，以改进现有的虹膜图像分类方法，提高虹膜图像分类的精度，进而提高虹膜识别系统的安全性和快速性。
(二)技术方案
根据本发明的一个方面，提供了一种虹膜图像分类方法，包括以下步骤：
对样本虹膜图像进行处理，得到虹膜纹理基元；其中，所述虹膜纹理基元是通过高斯混合模型构建得到；
基于所述的纹理基元和支持向量机来构造虹膜分类器；以及
使用所述虹膜分类器来对目标虹膜图像进行分类。
优选地，对样本虹膜图像进行处理，得到虹膜纹理基元包括：
建立分类样本虹膜图像库，使其包含多个分类的正样本和多个分类的负样本；
对所述样本虹膜图像库中的正、负样本虹膜图像进行预处理，得到归一化的虹膜图像；
用预处理好的虹膜图像对深度卷积神经网络进行训练，然后用深度网络模型对归一化虹膜图像抽取卷积神经网络(Convolutional Neural Network， CNN)卷积层的特征，作为底层特征；以及
采用高斯混合模型聚类方法构建纹理基元，对底层特征的生成过程进行建模，并求解得到高斯混合模型参数。
优选地，基于所述的纹理基元和支持向量机来构造虹膜分类器包括：
在得到高斯混合模型参数的基础上，再用Fisher vector对底层特征进行编码，得到Fisher向量，作为虹膜图像分类的特征向量；
用正、负样本的虹膜图像的特征向量来训练支持向量机，得到虹膜分类器。
优选地，使用所述虹膜分类器来对目标虹膜图像进行分类包括：
将待分类的虹膜图像进行预处理，得到归一化后的虹膜图像；
采用训练好的所述卷积神经网络对归一化虹膜图像抽取CNN卷积层特征，作为底层特征；
采用得到的所述高斯混合模型参数，对底层特征进行Fisher vector编码，得到Fisher向量，作为虹膜图像分类的特征向量；
将得到的特征向量输入到训练好的虹膜分类器中，根据分类器输出的结果对目标虹膜图像进行分类。
优选地，所述分类样本虹膜图像库包含活体检测、种族分类及性别分类中的多个正样本和多个负样本。
优选地，所述预处理过程包括：从虹膜图像中把虹膜分离出来，得到虹膜区域，通过拟合瞳孔和虹膜边界的圆的坐标和半径，然后将得到的虹膜区域变换到极坐标下，完成对虹膜图像的归一化。
优选地，抽取卷积神经网络的最后一层卷积层特征，作为底层特征。
优选地，采用高斯混合模型聚类方法构建纹理基元，对底层特征的生成过程进行建模，并求解得到高斯混合模型参数包括：将所述抽取的底层特征用含有K个高斯分量的高斯混合模型来聚类，用期望最大化算法来估计高斯混合模型参数。
优选地，所述的编码过程包括：对底层特征的生成过程建模后的得到概率密度函数，将其对数似然函数对高斯混合模型参数中的均值向量和协方差矩阵的求梯度，并进行归一化，得到Fisher向量。
优选地，该方法用于虹膜活体检测、人种分类及性别分类。
(三)有益效果
从上述技术方案可以看出，本发明基于深度学习特征和Fisher Vector 编码模型的虹膜图像分类方法至少具有以下有益效果其中之一：
(1)使用高斯混合模型完成对虹膜纹理基元的聚类，利用生成式模型的优势，模拟虹膜纹理特征的分布，能够更好地描述虹膜的纹理基元。
(2)通过训练深度卷积网络来提取深度特征来代替传统的手工设计的特征，通过提取卷积层特征得到表达虹膜纹理信息的特征表达，从而避免了由于用手工预先定义好的特征来表示纹理基元所带来的缺陷。
(3)使用Fisher vector编码不仅可以体现出每个视觉单词的出现频率，又能对特征向量在视觉单词上分布的差异信息进行编码。经过Fisher vector编码后融合了局部纹理特征和全局虹膜结构信息，可以更加丰富地表达虹膜图像特征，更好地进行种族分类。
(4)虹膜图像分类方法采用支持向量机做分类器，可自动训练分类器。采用支持向量机训练分类器和Fisher vector编码特征作为分类特征，有较好的泛化能力，适用于不同的虹膜图像分类问题。
(5)虹膜图像分类方法应用范围广，其可用于判别真实虹膜和伪造虹膜，亚洲人和非亚洲人的虹膜，以及不同性别的虹膜，还可与各种虹膜识别系统配合工作用在国防、金融、公安刑侦等场合，以及在其他需要进行身份确认的领域应用。
(6)虹膜图像分类方法可以有效地完成虹膜图像的分类问题，提高虹膜识别的高效性和安全性，对硬件没有特殊的要求，可用于多种虹膜图像分类的问题，而且不需要进行复杂的计算，易于在各系统中使用。
附图说明
通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的装置。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1为依据本发明实施例基于深度学习特征和Fisher Vector编码模型的虹膜图像分类流程框图。
图2a为依据本发明实施例真实虹膜图像示例。
图2b为依据本发明实施例伪造虹膜图像示例。
图3a为依据本发明实施例亚洲人虹膜图像示例。
图3b为依据本发明实施例非亚洲人虹膜图像示例。
图4a为依据本发明实施例女性虹膜图像示例。
图4b为依据本发明实施例男性虹膜图像示例。
图5a至5c为依据本发明实施例虹膜图像预处理步骤的示意图。
图6为依据本发明实施例深度卷积网络模型结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明的保护范围。
在通常情况下，虹膜识别系统主要包括：虹膜图像获取装置和虹膜图像识别方法。虹膜图像识别方法主要包括3个步骤：图像预处理、特征提取和模式匹配。本发明提出的虹膜图像分类方法应用于虹膜识别模块的识别部分之前，完成对虹膜图像的粗分类，提高虹膜识别系统的高效性和安全性和用户体验。
本发明实施例提供了一种虹膜图像分类方法。具体来说，本发明提出了一种基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法，其基于虹膜纹理基元和Fisher vector编码实现。
本发明的虹膜图像分类方法包括构建阶段和判别阶段，所述构建阶段包括虹膜纹理基元的构建阶段和虹膜分类器的构建阶段，其中，所述虹膜图像分类方法包括以下步骤：
S1、在虹膜纹理基元的构建阶段对样本虹膜图像进行处理，得到纹理基元；
S2、在虹膜分类器的构建阶段基于所述的纹理基元和支持向量机来构造虹膜分类器；
S3、在判别阶段使用所述虹膜分类器来对目标虹膜图像进行分类。
更具体而言，所述虹膜纹理基元的构建阶段包括如下子步骤：
S11、建立分类样本虹膜图像库，使其包含多个分类的正样本和多个分类的负样本；
S12、对所述样本库中的正负样本虹膜图像进行预处理，得到归一化的虹膜图像；
S13、用预处理好的虹膜图像对预设深度卷积神经网络进行训练，然后用深度网络模型(VGG-M)对归一化虹膜图像抽取CNN卷积层特征，作为底层特征；
S14、采用高斯混合模型聚类方法构建纹理基元，对底层特征的生成过程进行建模，并求解得到高斯混合模型参数。
所述虹膜分类器的构建阶段包括如下子步骤：
S21、在得到高斯混合模型(GMM)参数的基础上，再用Fisher vector 对底层特征进行编码，得到Fisher向量，作为虹膜分类的特征向量；
S22、用正负样本的虹膜图像的特征向量来训练支持向量机，得到虹膜分类器。
所述判别阶段包括如下子步骤：
S31、将待分类的虹膜图像进行预处理，得到归一化后的虹膜图像；
S32、采用子步骤S13训练好的卷积神经网络对归一化虹膜图像抽取 CNN卷积层特征，作为底层特征；
S33、采用子步骤S14中得到的高斯混合模型参数，对底层特征进行 Fishervector编码，得到Fisher向量，作为虹膜分类的特征向量；
S34、将子步骤S33中得到的特征向量输入到训练好的虹膜分类器中，根据分类器输出的结果对目标虹膜图像进行分类。根据虹膜分类的结果，将输入样本和对应类中的样本进行一一匹配，得到最终的识别效果。
下面对本发明涉及的关键步骤进行逐一说明。所述方法中各个基本步骤的具体描述如下：
首先，构建阶段是基于提取纹理基元和Fisher vector编码的特征描述以及基于统计学习的支持向量的构建。为了能够找到一种合适的特征，不仅可以保留不同种类虹膜的差异，而且可以容纳相同种类虹膜之间的类内差异，提取深度特征作为底层特征，基于高斯混合模型对纹理基元进行聚类，基于Fisher vector对底层特征进行编码，作为特征向量；最后使用支持向量机训练构建分类器用于虹膜图像分类的判别。
具体的，子步骤S11：建立分类样本虹膜图像库，使其包含多个分类的正样本和多个分类的负样本。常见的虹膜分类的应用包括：活体检测、种族分类、性别分类等。所述活体检测是包括真实虹膜图像和伪造虹膜图像的分类；其中，正样本为真实虹膜图像，负样本为伪造虹膜图像；请参照图2所示，图2a为真实虹膜图像示例，图2b为伪造虹膜图像示例。所述种族分类通常指的是包括亚洲人和非亚洲人的分类；其中，正样本为亚洲人的虹膜图像，负样本为非亚洲人的虹膜图像；请参照图3所示，图3a为亚洲人虹膜图像示例，图3b为非亚洲人虹膜图像示例。所述性别分类：男女分类；其中，正样本为女性的虹膜图像，负样本为男性的虹膜图像；请参照图4所示，图4a为女性虹膜图像示例，图4b为男性虹膜图像示例。
子步骤S12：对样本库中的正、负样本虹膜图像进行预处理，得到归一化的虹膜图像，请参照图1所示。预处理阶段和特征提取阶段对正样本虹膜图像和负样本虹膜图像的操作是相同的，因此子步骤S12、S13和S14 中统称为虹膜图像。图5a示出的虹膜图像中不仅包括虹膜，还包括瞳孔、眼白、眼皮和睫毛等。虹膜图像预处理的第一步是从虹膜图像中把虹膜分离出来，瞳孔和虹膜的外轮廓都很接近圆形，任务是找到拟合瞳孔和虹膜边界的圆的坐标和半径，然后将虹膜区域变换到极坐标下对虹膜进行归一化。人眼瞳孔的灰度远低于周围区域，所以可以使用阈值法分离出瞳孔区域，然后将该区域的重心作为初步的瞳孔中心，在该点附近用可变尺寸的模板去拟合瞳孔的边缘，最佳的拟合结果就是瞳孔定位的结果。虹膜的中心接近瞳孔的中心，所以可以使用同样的方法找到虹膜的中心和半径。图5b是对图5a中虹膜图像的虹膜定位之后的示例，其中的圆圈表示拟合后瞳孔和虹膜的外边界。以瞳孔圆心为原点将所述的真实虹膜图像和伪造虹膜图像从直角坐标系变换到极坐标系；在极坐标系下将所述的虹膜图像缩放到统一的大小，实现虹膜图像的归一化，选取整个虹膜圆环区域作为感兴趣区域。转换到极坐标下的归一化后的虹膜图像称为归一化虹膜图像。图5c是图5a中虹膜图像的归一化虹膜图像。
子步骤S13：提取深度学习特征。采用CNN结构深度网络模型 (VGG-M)，该网络包括5个卷积层和2个全连接层和一个softmax层。将归一化虹膜图像送入卷积神经网络，提取网络Conv5的feature maps作为输出，按通道提取卷积层特征，得到卷积层的特征为512维，提取特征的模型结构参见图6。
子步骤S14：将所有的从虹膜图片中提取的卷积层特征放在一起，构成特征空间，学习一个含有K个分量的高斯混合模型，同时也得到了虹膜纹理基元。高斯混合模型是一系列高斯分布的加权组合。一个由K个高斯分量组成的高斯混合密度函数是K个高斯密度函数的线性加权和。
pλ(x)表示用高斯混合模型对底层特征x建模后的概率密度函数。Pλ经过混合高斯模型表达之后为：
其中，pk表示第k个高斯单元：
上式中的ωk是权重，表示的是第k个高斯分布被选中的概率，满足
每个高斯分量的概率密度函数满足pk(x)～N(μk,Σk)。GMM模型参数λ＝(ωk,μk,Σk)，其中k＝1,2,...,K，μk是第个高斯分量的均值矢量，Σk为相应的协方差矩阵，D表示特征矢量的维度。
用x＝{xt,t＝1,...,T}表示从一幅虹膜图像中提取的卷积层的特征集合，假设每个卷积层特征xt都服从独立同分布。xt的维度D＝512。用高斯混合模型来模拟X的分布Pλ(x)，通过学习一个含有K个分量的高斯混合模型来对卷积层特征的分布进行建模，也就得到了K个聚类，对应为K个纹理基元。pk(x)对应一个纹理基元，对于一个特征向量xt它属于第k个纹理基元的可能性ωk是一个属于0到1的概率值，也就是说，xt可以看作是由多个纹理基元联合生成的。选用EM算法求解高斯混合模型得到参数模型λ，用于后面的Fisher vector编码，此时的K＝64。
子步骤S21：自子S14学习得到的高斯函数混合函数的参数模型，对卷积层特征进行Fisher vector编码。X＝{xt,t＝1...T}表示从一幅图像中提取的卷积层的特征集合。假设每个卷积层特征xt都服从独立同分布。X的 Fisher向量为归一化的梯度向量即为：
其中，X＝[x1,x2,...,xT]∈RD×T是从一幅虹膜图片中抽取的T个D维特征，此时D＝512，pλ是一个概率密度函数，λ＝[λ1,λ2,...λM]∈RM表示pλ的M 个参数向量，Lλ是Fisher核的逆
经过乔里斯基分解(Cholesky decomposition)
得到的。pλ(x)表示用高斯混合模型对底层特征x 建模后的概率密度函数。
只考虑均值和方差导数，单个局部特征xt关于GMM参数集λ＝{ωk,μk,Σk,k＝1,...,K}的梯度表示如下：
其中：
γt(k)表示卷积层特征xt软分配给第k个高斯单元的概率。
则整张图像的全部局部特征关于μk,σk的Fisher向量可以表示为：
为了避免对局部特征集合大小的依赖
所以最后得到的Fisher向量为：
将得到的Fisher向量作为最后送入分类器的特征。
子步骤S22：虹膜判别是一个二类问题，是正样本的虹膜图像与负样本的虹膜图像的二分模式分类，采用单个支持向量机即可。支持向量机的判决函数为：
其中，xi为训练样本，yi为训练样本类标记；i为训练样本的标号；n 为训练样本个数；x为待分类样本；K(xi,x)是满足Mercer条件的核函数，它对应某一变换空中的内积；sign(x)为一个示性函数，当x≥0时输出为1，否则为0。对应支持向量的αi不为0，而非支持向量对应的αi为0。把S21 步骤提取的特征作为训练样本，将负样本像提取的特征类标记为0，正样本虹膜图像提取的特征类标记为1，训练分类器。
经过构建阶段训练后，如果某个样本的分类器的输出值为0，那么表明该样本为负样本虹膜图像，否则为正样本虹膜图像。
其次，虹膜图像的判别步骤是基于构建阶段学习到的分类器对一张测试虹膜图像进行判别，判断该测试虹膜图像的类别。
测试虹膜图像包含正、负样本虹膜图像，首先进行预处理，得到归一化虹膜图像，在归一化虹膜图像上抽取构建阶段相同的特征提取方式，并利用相同的高斯混合模型聚类以及Fisher vector编码得到特征向量，最后利用构建阶段训练得到的虹膜分类器判断该测试虹膜图像的类别具体过程如下：
子步骤S31：对目标虹膜图像进行预处理，图5a至图5c是对虹膜图像预处理的步骤示意图。图5a示出的虹膜图像中不仅包括虹膜，还包括瞳孔、眼白、眼皮和睫毛等。虹膜图像预处理的第一步是从虹膜图像中把虹膜分离出来，瞳孔和虹膜的外轮廓都很接近圆形，任务是找到拟合瞳孔和虹膜边界的圆的坐标和半径，然后将虹膜区域变换到极坐标下对虹膜进行归一化。人眼瞳孔的灰度远低于周围区域，所以可以使用阈值法分离出瞳孔区域，然后将该区域的重心作为初步的瞳孔中心，在该点附近用可变尺寸的模板去拟合瞳孔的边缘，最佳的拟合结果就是瞳孔定位的结果。虹膜的中心接近瞳孔的中心，所以可以使用同样的方法找到虹膜的中心和半径。图5b是对图5a中虹膜图像的虹膜定位之后的例子，其中的圆圈表示拟合后瞳孔和虹膜的外边界。以瞳孔圆心为原点将所述的真实虹膜图像和伪造虹膜图像从直角坐标系变换到极坐标系；在极坐标系下将所述的虹膜图像缩放到统一的大小，实现虹膜图像的归一化，取整个虹膜圆环区域作为感兴趣区域。转换到极坐标下的归一化后的虹膜图像称为归一化虹膜图像。图5c是图5a中虹膜图像的归一化虹膜图像。
子步骤S32：在归一化虹膜图像中提取深度学习特征。采用CNN结构VGG-M模型，该网络由5个卷积层和2个全连接层和一个softmax层组成。将归一化虹膜图像送入卷积神经网络，提取网络Conv5的feature maps作为输出，按通道提取卷积层特征，得到卷积层的特征为512维，提取特征的模型结构参见图6。
子步骤S33：采用子步骤S14相同的高斯函数混合函数的参数模型，对卷积层特征进行Fisher vector编码。X＝{xt,t＝1...T}表示从一幅图像中提取的卷积层的特征集合。假设每个卷积层特征xt都服从独立同分布。X的 Fisher向量为归一化的梯度向量即为：
其中，X＝[x1,x2,...,xT]∈RD×T是从一幅图片中抽取的T个D维特征，pλ是一个概率密度函数，λ＝[λ1,λ2,...λM]∈RM表示pλ的M个参数向量。Lλ是Fisher 核的逆
经过乔里斯基分解(Cholesky decomposition)
得到的。 pλ(x)表示用高斯混合模型对底层特征x建模后的概率密度函数。
只考虑均值和方差导数，单个局部特征xt关于GMM参数λ＝{ωk,μk,Σk}的梯度表示如下：
其中:
γt(k)表示卷积层特征xt软分配给第k个高斯单元的概率。
则整张图像的全部局部特征关于μk,σk的Fisher向量可以表示为：
为了避免对局部特征集合大小的依赖
所以最后得到的Fisher向量为：
将得到的Fisher向量，作为最后送入分类器的特征。
子步骤S34：将S33得到的特征向量输入到构建阶段训练学习到支持向量机分类器中，根据分类器输出的结果对目标虹膜图像进行分类。根据虹膜图像分类的结果，将输入样本和对应类中的样本进行一一匹配，得到最终的识别效果。
上述虹膜图像分类方法的具体应用实例如下：
在一示意性实例中，上述虹膜图像分类方法应用于大规模的虹膜识别系统中。在某些场合，数据库的规模会比较大(比如一个城市、一个省甚至是一个国家的虹膜数据库)，在这种情况下，虹膜匹配是一个很耗时的过程。为了减少搜索时间，可以将虹膜分为几个子类(男女、亚洲人和非亚洲人等)。这样在识别的时候，只要找到数据库的同一类模板进行比较即可，大大地降低了搜索速度。
在另一示意性实例中，上述虹膜图像分类方法应用于虹膜识别考勤系统中，系统工作于识别工作模式，包含该公司员工的虹膜数据库。一名员工将自己的虹膜打印在纸上，企图让同事那这张打印在纸上的虹膜来代替自己考勤。这时系统自动判断出改虹膜是伪造虹膜，不予识别。这样考勤系统依然能够发挥应有的作用。
本发明实施例基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法能够在安全性和稳定性等方面有效提高虹膜识别系统的整体性能，是下一代虹膜识别中的关键技术。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种虹膜图像分类方法，包括以下步骤：
对样本虹膜图像进行处理，得到虹膜纹理基元；其中，所述虹膜纹理基元是通过高斯混合模型构建得到；
基于所述的纹理基元和支持向量机来构造虹膜分类器，其中包括：
在得到高斯混合模型参数的基础上，再用Fisher vector对底层特征进行编码，得到Fisher向量，作为虹膜图像分类的特征向量，其中，所述的编码过程包括：对底层特征的生成过程建模后的得到概率密度函数，将其对数似然函数对高斯混合模型参数中的均值向量和协方差矩阵求梯度，并进行归一化，得到Fisher向量；
用正、负样本的虹膜图像的特征向量来训练支持向量机，得到虹膜分类器；以及
使用所述虹膜分类器来对目标虹膜图像进行分类，其中包括：
将待分类的虹膜图像进行预处理，得到归一化后的虹膜图像；
采用训练好的卷积神经网络对归一化虹膜图像抽取CNN卷积层特征，作为底层特征；
采用得到的所述高斯混合模型参数，对底层特征进行Fisher vector编码，得到Fisher向量，作为虹膜图像分类的特征向量；
将得到的特征向量输入到训练好的虹膜分类器中，根据分类器输出的结果对目标虹膜图像进行分类；
其中，对样本虹膜图像进行处理，得到虹膜纹理基元包括：
建立分类样本虹膜图像库，使其包含多个分类的正样本和多个分类的负样本，其中，所述分类样本虹膜图像库包含活体检测、种族分类及性别分类中的多个正样本和多个负样本；
对所述样本虹膜图像库中的正、负样本虹膜图像进行预处理，得到归一化的虹膜图像；
用预处理好的虹膜图像对深度卷积神经网络进行训练，然后用深度网络模型对归一化虹膜图像抽取卷积神经网络卷积层的特征，作为底层特征；其中，抽取卷积神经网络的最后一层卷积层特征，作为底层特征；以及
采用高斯混合模型聚类方法构建纹理基元，对底层特征的生成过程进行建模，并求解得到高斯混合模型参数。
2.根据权利要求1所述的虹膜图像分类方法，其中，所述预处理过程包括：从虹膜图像中把虹膜分离出来，得到虹膜区域，通过拟合瞳孔和虹膜边界的圆的坐标和半径，然后将得到的虹膜区域变换到极坐标下，完成对虹膜图像的归一化。
3.根据权利要求1所述的虹膜图像分类方法，其中，采用高斯混合模型聚类方法构建纹
理基元，对底层特征的生成过程进行建模，并求解得到高斯混合模型参数包括：将所述抽取
的底层特征用含有
个高斯分量的高斯混合模型来聚类，用期望最大化法来估计高斯混合
模型参数。
4.根据权利要求1至3中任一项所述的虹膜图像分类方法，其中，该方法用于虹膜活体检测、人种分类及性别分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710333852.6A CN107220598B (zh) | 2017-05-12 | 2017-05-12 | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710333852.6A CN107220598B (zh) | 2017-05-12 | 2017-05-12 | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107220598A CN107220598A (zh) | 2017-09-29 |
| CN107220598B true CN107220598B (zh) | 2020-11-10 |
Family
ID=59943958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710333852.6A Active CN107220598B (zh) | 2017-05-12 | 2017-05-12 | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107220598B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171173A (zh) * | 2017-12-29 | 2018-06-15 | 北京中科虹霸科技有限公司 | 一种虹膜图像美瞳生成与去除方法 |
| CN110335269A (zh) | 2018-05-16 | 2019-10-15 | 腾讯医疗健康(深圳)有限公司 | 眼底图像的类别识别方法和装置 |
| CN109409342A (zh) * | 2018-12-11 | 2019-03-01 | 北京万里红科技股份有限公司 | 一种基于轻量卷积神经网络的虹膜活体检测方法 |
| CN110046588B (zh) * | 2019-04-22 | 2019-11-01 | 吉林大学 | 一种具有盗取攻击应对机制的异质虹膜认证方法 |
| CN111401145B (zh) * | 2020-02-26 | 2022-05-03 | 三峡大学 | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 |
| CN112308034A (zh) * | 2020-11-25 | 2021-02-02 | 中国科学院深圳先进技术研究院 | 一种性别分类的方法、设备、终端及计算机存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540000A (zh) * | 2008-03-20 | 2009-09-23 | 中国科学院自动化研究所 | 基于纹理基元统计特性分析的虹膜分类方法 |
| CN102436591A (zh) * | 2011-11-15 | 2012-05-02 | 中国科学院自动化研究所 | 伪造虹膜图像的判别方法 |
| CN106326841A (zh) * | 2016-08-12 | 2017-01-11 | 合肥虹视信息工程有限公司 | 一种快速虹膜识别算法 |
-
2017
- 2017-05-12 CN CN201710333852.6A patent/CN107220598B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101540000A (zh) * | 2008-03-20 | 2009-09-23 | 中国科学院自动化研究所 | 基于纹理基元统计特性分析的虹膜分类方法 |
| CN102436591A (zh) * | 2011-11-15 | 2012-05-02 | 中国科学院自动化研究所 | 伪造虹膜图像的判别方法 |
| CN106326841A (zh) * | 2016-08-12 | 2017-01-11 | 合肥虹视信息工程有限公司 | 一种快速虹膜识别算法 |
Non-Patent Citations (2)
| Title |
|---|
| Yan Song等.《Image classification with CNN-based Fisher vector coding》.《2016 Visual Communications and Image Processing (VCIP)》.2016,摘要，第2节第1-3段. * |
| Zhenan Sun等.《Iris Image Classification Based on Hierarchical Visual Codebook》.《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》.2014,第36卷(第6期),第2节第1段以及图1，第2.1节，第2.2节第1段第1-3行，第3.1节第1段. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107220598A (zh) | 2017-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107220598B (zh) | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 | |
| Torralba | Contextual priming for object detection | |
| Lin | Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network | |
| Perez et al. | Methodological improvement on local Gabor face recognition based on feature selection and enhanced Borda count | |
| CN103984915B (zh) | 一种监控视频中行人重识别方法 | |
| CN113221655B (zh) | 基于特征空间约束的人脸欺骗检测方法 | |
| CN103605972A (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
| Wati et al. | Security of facial biometric authentication for attendance system | |
| CN107977439A (zh) | 一种人脸图像库构建方法 | |
| Liu et al. | Facial attractiveness computation by label distribution learning with deep CNN and geometric features | |
| Bhattacharyya et al. | Recognizing gender from human facial regions using genetic algorithm | |
| Qiu et al. | Coarse iris classification by learned visual dictionary | |
| Li et al. | Foldover features for dynamic object behaviour description in microscopic videos | |
| Depuru et al. | Hybrid CNNLBP using facial emotion recognition based on deep learning approach | |
| Curran et al. | The use of neural networks in real-time face detection | |
| Kadhim et al. | A multimodal biometric database and case study for face recognition based deep learning | |
| Hiremani et al. | Human and Machine Vision Based Indian Race Classification Using Modified-Convolutional Neural Network. | |
| CN102436591B (zh) | 伪造虹膜图像的判别方法 | |
| Narlagiri et al. | Biometric authentication system based on face recognition | |
| Santosh et al. | Recent Trends in Image Processing and Pattern Recognition: Third International Conference, RTIP2R 2020, Aurangabad, India, January 3–4, 2020, Revised Selected Papers, Part I | |
| Praseeda Lekshmi et al. | Analysis of facial expressions from video images using PCA | |
| Ibrahem et al. | Age face invariant recognition model based on VGG face based DNN and support vector classifier | |
| Araujo et al. | Facial landmarks detection based on correlation filters | |
| Gupta et al. | Design and Analysis of an Expert System for the Detection and Recognition of Criminal Faces | |
| Dubey et al. | A review of face recognition using SIFT feature extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |