CN113591747B - 一种基于深度学习的多场景虹膜识别方法 - Google Patents
一种基于深度学习的多场景虹膜识别方法 Download PDFInfo
- Publication number
- CN113591747B CN113591747B CN202110898852.7A CN202110898852A CN113591747B CN 113591747 B CN113591747 B CN 113591747B CN 202110898852 A CN202110898852 A CN 202110898852A CN 113591747 B CN113591747 B CN 113591747B
- Authority
- CN
- China
- Prior art keywords
- iris
- image
- identified
- network
- feature matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 47
- 210000001508 eye Anatomy 0.000 claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 210000000744 eyelid Anatomy 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 241000282414 Homo sapiens Species 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 230000006872 improvement Effects 0.000 claims description 8
- 210000001747 pupil Anatomy 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 210000003786 sclera Anatomy 0.000 claims description 5
- 229910000831 Steel Inorganic materials 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000010959 steel Substances 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 abstract description 4
- 210000000554 iris Anatomy 0.000 description 117
- 238000005516 engineering process Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于深度学习的多场景虹膜识别方法，解决当下虹膜识别算法的鲁棒性差，开发虹膜识别在复杂场景、非理想成像条件下的识别能力低的技术问题。所述识别方法包括：对人的整个眼部进行拍摄取像得到待识别的人眼部图像；再进行虹膜定位分割得到待识别的虹膜图像；再进行虹膜特征提取得到由元素为虹膜特征构成的待识别的特征矩阵；再进行虹膜特征匹配，若匹配成功则身份识别通过。本发明在虹膜定位分割阶段采用加入了跳跃连接并使用空洞卷积的UNet语义分割模型来得到分离好的虹膜图像，提高了虹膜定位分割的鲁棒性，省去了一些繁琐的需要大量实验来确定参数的预处理步骤，同时可直接去除上下眼睑，无需分两步处理，算法的泛化性强。
Description
技术领域
本发明涉及一种识别方法，尤其涉及一种基于深度学习的多场景虹膜识别方法。
背景技术
生物识别技术的应用在如今信息化趋势愈演愈烈的情况下已经渗入到每个人生活的方方面面，这种利用一些人类本身具有的能够区分不同个体的生理特征进行身份认证的一种技术极大的方便了我们的生活的同时，也保护了我们的隐私和财产安全，常见的生物识别技术有：指纹、人脸、虹膜、静脉、声纹、掌纹等。其中虹膜识别技术以其安全性强、稳定性好、精确度高的特点，在生物识别领域应用广泛。
虹膜是一种成型于人体胚胎发育时期，位于瞳孔和巩膜之间的含色素的结缔组织，其表面具有数量众多的，结构复杂的纹理，有研究表明每只眼睛的虹膜纹理都是有区别的，同一个人不同眼睛的虹膜纹理也会有很大的区别，一般认为自然界出现两只纹理相同的虹膜的概率非常非常小，可以说是基本不可能。此外虹膜独特的纹理结构在人的一生中自成型后基本不会发生变化。虹膜的这两个最主要的特点是它能够成为生物识别特征的先决条件。
同绝大多数生物识别技术相似，虹膜识别的流程主要由以下步骤组成：第一步是虹膜图像的采集，接着对采集到的虹膜图像进行处理，并定位分割虹膜，然后就是对分割后的图像进行特征提取，以提取有效的可区别特征，并将提取的特征处理成易于比对的特征模板存储起来，至此就完成了身份登记的流程，在进行身份识别时，只需要把存储模板的操作替换成用待识别的虹膜图像特征与特征模板库的样本进行比对即可，如果有相似度极高的样本视为比对通过，反之则拒绝。
可见在识别的流程中，识别算法的地位举足轻重，极大程度上决定了识别的准确度和速度。虹膜识别算法主要由虹膜图像的定位分割和特征提取两个步骤。一般硬件采集到的图像是人整个眼睛甚至整个眼眶的图像，包含像眼周、上下眼睑、巩膜等噪声，因此为保证接下来的特征提取效果，首先应把用来识别的虹膜部分从原图像分离开来，分离之后再进行特征提取。
传统的虹膜识别算法主要是通过人工分析抽取图像可利用的特点来实现的，以经典的几种算法为例，Daugman的算法先利用圆形检测微分算子定位虹膜，对虹膜归一化之后利用Gabor滤波器提取特征信息，最后利用海明距离来评估特征之间相似度；Wildes先利用拉普拉斯提取图像边缘，利用霍夫圆检测来检测虹膜边界，用高斯拉普拉斯金字塔多分辨率技术来提取特征，最后用Fisher分类器进行分类。这些算法在虹膜分割定位上多是利用瞳孔近似圆形的形状和二者之间的灰度差的特点，一些参数需要反复实验才能得到，识别的准确率严重依赖于特定的成像条件和图片质量，自适应能力差，鲁棒性弱。在虹膜特征提取方面，传统方法高度依赖手工提取的特征，需要利用人类的先验知识对原始数据进行特征处理，然后对特征进行分类，分类结果对特征的依赖性较大，鲁棒性差。
发明内容
为了提高虹膜识别算法的鲁棒性，开发虹膜识别在复杂场景、非理想成像条件下的识别能力，本发明提出了一种基于深度学习的多场景虹膜识别方法。
本发明采用以下技术方案实现：一种基于深度学习的多场景虹膜识别方法，包括以下步骤：
步骤一、对人的整个眼部进行拍摄取像，得到待识别的人眼部图像；
步骤二、对所述待识别的人眼部图像进行虹膜定位分割，得到待识别的虹膜图像；
步骤三、对所述待识别的虹膜图像进行虹膜特征提取，得到由元素为虹膜特征构成的待识别的特征矩阵；
步骤四、对所述待识别的特征矩阵进行虹膜特征匹配，若匹配成功，则身份识别通过；
其中，在步骤二中，利用预训练好的语义分割网络对所述待识别的人眼部图像进行分割，所述语义分割网络的输入为所述待识别的人眼部图像，输出为分离瞳孔、巩膜以及眼睑的虹膜图像；所述语义分割网络结构骨干部分基于经典的语义分割网络UNet，作为改进在UNet的U型编码-解码结构上加入了跳跃连接，使所述语义分割网络的每个解码器都融合了来自同一层级和更浅层级的所有编码器的特征图，其中更浅层级的特征图通过最大池化操作实现尺寸的统一，另外采用空洞卷积代替所述语义分割网络的编码器、解码器中的普通卷积操作以提高分割精度。
作为上述方案的进一步改进，所述语义分割网络的预训练方法为：利用训练用人眼部图像及对应的虹膜区域二值化掩码分别作为所述语义分割网络的输入和预计输出，输入到所述语义分割网络的网络模型中，训练所述网络模型直至所述网络模型收敛。
作为上述方案的进一步改进，在步骤一中，利用成像设备在预期应用场景下对人的整个眼部进行拍摄，采集具有一定数目可供识别纹理的虹膜数字图像，进行标注，以生成原图像虹膜区域的二值化掩码图，作为所述待识别的虹膜图像，并进行编号以区分不同的眼睛。
进一步地，所述成像设备为数字摄像机。
进一步地，在步骤三中，利用预训练好的虹膜特征提取网络对所述待识别的虹膜图像进行分割，依次分割成编号为1至12的3×4块图块；所述虹膜特征提取网络的输入为所述待识别的虹膜图像上截取的四块图块的拼接，四块图块的图像截取策略为编号为3、6、9、12四块图块，一边与虹膜内边缘相切的正方形图块的拼接；输出为经网络提取后的特征矩阵；
所述虹膜特征提取网络的结构骨干主要由ResNet101(ResNet即残差网络，后缀的101表示该残差网络的卷积或者全连接层共有101层，ResNet101是一种常用的ResNet网络)构成，作为改进在ResNet101的每个block(block模块即残差块，是构成ResNet网络的基本结构)中加入了一种空间注意力模块，以更好的获取虹膜图像关键特征纹理的位置信息。
优选地，残差块中的注意力模块的流程结构为：对输入为C×H×W的图像分别用尺寸为(H,1)和(1,W)的池化核分别沿着水平坐标和垂直坐标对每个通道做最大池化和平均池化得到四组张量，分别为尺寸为C×H×1的Xavg、Xmax和尺寸为C×1×W的Yavg、Ymax，将Xavg、Xmax进行维度变换处理成C×1×H的尺寸，在第2个维度将Xavg、Yavg进行拼接处理，得到尺寸为C×1×(W+H)的Xt，同理对Xmax、Ymax做同样的处理得到Yt，再把Xt和Yt进行拼接得到尺寸为2C×1×(W+H)的Temp张量，再依次通过两次1×1的卷积层接BN层再接非线性激活函数的结构，第一次将通道压缩为2C/r，其中r为人工设置的参数，第二次将通道变化成为C，此时Temp张量的尺寸为C×1×(W+H)，然后在第2个维度上对Temp张量进行拆分操作得到尺寸为C×H×1的X和尺寸为C×1×W的Y，最后分别通过sigmoid激活函数，最终的X和Y分别视为对原图像在水平以及垂直方向上的空间信息编码，将X和Y与原图像做乘积即可找出图片信息中需要被关注的区域；
其中，C为图片通道数；
H为图片尺寸：高度；
W为图片尺寸：宽度；
X为对原图像在水平方向上的空间信息编码，Xavg为对输入图像做水平方向平均池化后得到的张量，Yavg为对输入图像做垂直方向平均池化后得到的张量，Xt为Xavg、Yavg拼接后的张量；
Y为对原图像在垂直方向上的空间信息编码，Xmax为对输入图像做水平方向最大值池化后得到的张量，Ymax为对输入图像做垂直方向最大值池化后得到的张量，Yt为Xmax、Ymax拼接后的张量；
Temp张量为Xt和Yt拼接后的张量。
优选地，所述虹膜特征提取网络的预训练方法为：利用训练用虹膜图像做输入，对应编号做输出按照普通分类网络进行训练，训练好后取整个网络第一层全连接层之前的部分用作所述虹膜特征提取网络。
作为上述方案的进一步改进，在步骤四中，将所述待识别的特征矩阵与一个虹膜样本库中的样本特征矩阵进行虹膜特征匹配。
优选地，所述虹膜样本库中的每个样本特征矩阵都计算有二范数，所述二范数作为初步比较的尺度；当所述待识别的特征矩阵比对时，计算所述待识别的特征矩阵的二范数，将所述待识别的特征矩阵的二范数与所述虹膜样本库中的每个样本特征矩阵的二范数进行比对，如果二范数的差值在一定二范数范围内，则对所述待识别的特征矩阵与相应的样本特征矩阵做进一步比对，比对余弦相似度，若余弦相似度的差值在一定余弦相似度范围内，则认为匹配成功。
优选地，将所述待识别的特征矩阵存储在与所述虹膜样本库中，作为一个新的样本特征矩阵。
本发明在虹膜图像分割阶段，省去了一些繁琐的需要大量实验来确定参数的预处理步骤，定位虹膜的同时可直接去除上下眼睑，无需分两步处理，算法的泛化性强，鲁棒性好。理论上只要训练集足够的好，该模型可以满足各种场景、以及非理想条件下成像下的虹膜图像分割任务需求。
本发明在虹膜图像特征提取方面，省去了虹膜归一化操作，降低了计算量，提高了速度，同时避免了利用的先验知识手工设计特征提取机制对原始数据进行特征提取。理论上是要训练得当，就能够学习到比手工设计的要更加具有代表性和区分度的特征表示。
附图说明
图1为本发明基于深度学习的多场景虹膜识别方法的流程图。
图2为图1中进行虹膜特征提取时ResNet101网络的残差块改进后流程图。
图3为图2中进行虹膜特征提取时引入的注意力模块的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例的基于深度学习的多场景虹膜识别方法主要包括以下步骤：
步骤一、对人的整个眼部进行拍摄取像，得到待识别的人眼部图像；
步骤二、对所述待识别的人眼部图像进行虹膜定位分割，得到待识别的虹膜图像；
步骤三、对所述待识别的虹膜图像进行虹膜特征提取，得到由元素为虹膜特征构成的待识别的特征矩阵；
步骤四、对所述待识别的特征矩阵进行虹膜特征匹配，若匹配成功，则身份识别通过。
请参阅图1，接下去对每个步骤进行详细解说。
步骤一、对人的整个眼部进行拍摄取像，得到待识别的人眼部图像。这属于数据采集，在本实施例中，数据采集的方式为利用成像设备在预期应用场景下对人的整个眼部进行拍摄，所述成像设备如数字摄像机、手机等。
利用成像设备在预期应用场景下对人的整个眼部进行拍摄，采集具有一定数目可供识别纹理的虹膜数字图像，进行标注，以生成原图像虹膜区域的二值化掩码图，作为所述待识别的虹膜图像，并进行编号以区分不同的眼睛。
步骤二、三、四属于数据处理，其中步骤四输出最后的处理决策。
步骤二、对所述待识别的人眼部图像进行虹膜定位分割，得到待识别的虹膜图像。利用预训练好的语义分割网络对所述待识别的人眼部图像进行分割，所述语义分割网络的输入为所述待识别的人眼部图像，输出为分离瞳孔、巩膜以及眼睑的虹膜图像；所述语义分割网络结构骨干部分基于经典的语义分割网络UNet，作为改进在UNet的U型编码-解码结构上加入了跳跃连接，使所述语义分割网络的每个解码器都融合了来自同一层级和更浅层级的所有编码器的特征图，其中更浅层级的特征图通过最大池化操作实现尺寸的统一，另外采用空洞卷积代替所述语义分割网络的编码器、解码器中的普通卷积操作以提高分割精度。
本发明在虹膜定位分割阶段采用加入了新的跳跃连接并使用空洞卷积的UNet语义分割模型来得到分离好的虹膜图像，提高了虹膜定位分割的鲁棒性。在虹膜图像分割阶段，省去了一些繁琐的需要大量实验来确定参数的预处理步骤，定位虹膜的同时可直接去除上下眼睑，无需分两步处理，算法的泛化性强，鲁棒性好。理论上只要训练集足够的好，该模型可以满足各种场景、以及非理想条件下成像下的虹膜图像分割任务需求。
所述语义分割网络的预训练方法为：利用训练用人眼部图像及对应的虹膜区域二值化掩码分别作为所述语义分割网络的输入和预计输出，输入到所述语义分割网络的网络模型中，训练所述网络模型直至所述网络模型收敛。
步骤三、对所述待识别的虹膜图像进行虹膜特征提取，得到由元素为虹膜特征构成的待识别的特征矩阵。
请结合图2，利用预训练好的虹膜特征提取网络对图像进行分割，该网络的输入为分割后的虹膜图像上截取的四小块图块的拼接，图像截取策略为编号3、6、9、12四块图块，一边与虹膜内边缘相切的正方形图块的拼接，输出为经网络提取后的特征矩阵。虹膜特征提取网络的结构骨干由ResNet101(ResNet即残差网络，后缀的101表示该残差网络的卷积或者全连接层共有101层，ResNet101是一种常用的ResNet网络)构成，作为改进在ResNet101的每个block模块(block模块即残差块，是构成ResNet网络的基本结构)中加入了一种空间注意力模块，以更好的获取虹膜图像关键特征纹理的位置信息。
请结合图3，空间注意力模块的流程结构为：对输入为C×H×W的图像分别用尺寸为(H,1)和(1,W)的池化核分别沿着水平坐标和垂直坐标对每个通道做最大池化和平均池化得到四组张量，分别为尺寸为C×H×1的Xavg、Xmax和尺寸为C×1×W的Yavg、Ymax，将Xavg、Xmax进行维度变换处理成C×1×H的尺寸，在第2个维度将Xavg、Yavg进行拼接处理，得到尺寸为C×1×(W+H)的Xt，同理对Xmax、Ymax做同样的处理得到Yt，再把Xt和Yt进行拼接得到尺寸为2C×1×(W+H)的Temp张量，再依次通过两次1×1的卷积层接BN层再接非线性激活函数的结构，第一次将通道压缩为2C/r，其中r为人工设置的参数，第二次将通道变化成为C，此时Temp张量的尺寸为C×1×(W+H)，然后在第2个维度上对Temp张量进行拆分操作得到尺寸为C×H×1的X和尺寸为C×1×W的Y，最后分别通过sigmoid激活函数，最终的X和Y分别视为对原图像在水平以及垂直方向上的空间信息编码，将X和Y与原图像做乘积即可找出图片信息中需要被关注的区域。该网络的预训练方法为：利用分割后处理好的虹膜图像做输入，对应编号做输出按照普通分类网络进行训练，训练好后取整个网络第一层全连接层之前的部分用作虹膜特征提取网络。
其中，C为图片通道数；
H为图片尺寸：高度；
W为图片尺寸：宽度；
X为对原图像在水平方向上的空间信息编码，Xavg为对输入图像做水平方向平均池化后得到的张量，Yavg为对输入图像做垂直方向平均池化后得到的张量，Xt为Xavg、Yavg拼接后的张量；
Y为对原图像在垂直方向上的空间信息编码，Xmax为对输入图像做水平方向最大值池化后得到的张量，Ymax为对输入图像做垂直方向最大值池化后得到的张量，Yt为Xmax、Ymax拼接后的张量；
Temp张量为Xt和Yt拼接后的张量。
本发明在虹膜特征提取阶段采用一种注意力模块改进的ResNet网络来提取虹膜图像特征，增加了提取的虹膜特征的代表性和区分度，提高了虹膜匹配的准确率。在虹膜图像特征提取方面，省去了虹膜归一化操作，降低了计算量，提高了速度，同时避免了利用的先验知识手工设计特征提取机制对原始数据进行特征提取。理论上是要训练得当，就能够学习到比手工设计的要更加具有代表性和区分度的特征表示。
步骤四、对所述待识别的特征矩阵进行虹膜特征匹配，若匹配成功，则身份识别通过。
将所述待识别的特征矩阵与一个虹膜样本库中的样本特征矩阵进行虹膜特征匹配。所述虹膜样本库中的每个样本特征矩阵都计算有二范数，所述二范数作为初步比较的尺度；当所述待识别的特征矩阵比对时，计算所述待识别的特征矩阵的二范数，将所述待识别的特征矩阵的二范数与所述虹膜样本库中的每个样本特征矩阵的二范数进行比对，如果二范数的差值在一定二范数范围内，则对所述待识别的特征矩阵与相应的样本特征矩阵做进一步比对，比对余弦相似度，若余弦相似度的差值在一定余弦相似度范围内，则认为匹配成功；否则匹配不成功。如果针对匹配不成功的人，想给予权限，可以将所述待识别的特征矩阵存储在与所述虹膜样本库中，作为一个新的样本特征矩阵。这样针对这个人下次的虹膜特征匹配就可以获得成功，身份识别就可以通过。
本发明运用深度学习来实现多场景虹膜识别算法。使用语义分割网络实现虹膜图像的定位分割；使用ResNet图像分类网络的第一层全连接层之前的部分作为虹膜图像的特征提取器；使用二范数和余弦相似度来匹配不同的虹膜样本。也就是说，虹膜定位分割阶段采用加入了新的跳跃连接并使用空洞卷积的UNet语义分割模型来得到分离好的虹膜图像，虹膜特征提取阶段采用一种注意力模块改进的ResNet网络来提取虹膜图像特征。
本发明可根据虹膜识别系统的预期使用场景和成像条件采集到足量的训练集对网络进行训练后，可实现多场景，多种成像条件下的虹膜识别功能，适用于各种需要身份认证的场合。本发明还可内嵌到综合的多重身份认证系统中去，配合其他的唯一生物特征：如声纹、指纹、面部或是密码来实现更高安全性的身份认证。本发明还可作为一个多功能的大型系统中的身份认证模块功能的实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的多场景虹膜识别方法，包括以下步骤：
步骤一、对人的整个眼部进行拍摄取像，得到待识别的人眼部图像；
步骤二、对所述待识别的人眼部图像进行虹膜定位分割，得到待识别的虹膜图像；
步骤三、对所述待识别的虹膜图像进行虹膜特征提取，得到由元素为虹膜特征构成的待识别的特征矩阵；
步骤四、对所述待识别的特征矩阵进行虹膜特征匹配，若匹配成功，则身份识别通过；
其特征在于，在步骤二中，利用预训练好的语义分割网络对所述待识别的人眼部图像进行分割，所述语义分割网络的输入为所述待识别的人眼部图像，输出为分离瞳孔、巩膜以及眼睑的虹膜图像；所述语义分割网络结构骨干部分基于经典的语义分割网络UNet，作为改进在UNet的U型编码-解码结构上加入了跳跃连接，使所述语义分割网络的每个解码器都融合了来自同一层级和更浅层级的所有编码器的特征图，其中更浅层级的特征图通过最大池化操作实现尺寸的统一，另外采用空洞卷积代替所述语义分割网络的编码器、解码器中的普通卷积操作以提高分割精度；
其中，在步骤三中，利用预训练好的虹膜特征提取网络对所述待识别的虹膜图像进行分割，依次分割成编号为1至12的3×4块图块；所述虹膜特征提取网络的输入为所述待识别的虹膜图像上截取的四块图块的拼接，四块图块的图像截取策略为编号为3、6、9、12四块图块，一边与虹膜内边缘相切的正方形图块的拼接；输出为经网络提取后的特征矩阵；
所述虹膜特征提取网络的结构骨干主要由ResNet101构成，作为改进在ResNet101的每个残差块中加入了一种空间注意力模块，以更好的获取虹膜图像关键特征纹理的位置信息；
残差块中的注意力模块的流程结构为：对输入为C×H×W的图像分别用尺寸为(H,1)和(1,W)的池化核分别沿着水平坐标和垂直坐标对每个通道做最大池化和平均池化得到四组张量，分别为尺寸为C×H×1的Xavg、Xmax和尺寸为C×1×W的Yavg、Ymax，将Xavg、Xmax进行维度变换处理成C×1×H的尺寸，在第2个维度将Xavg、Yavg进行拼接处理，得到尺寸为C×1×（W+H）的Xt，同理对Xmax、Ymax做同样的处理得到Yt，再把Xt和Yt进行拼接得到尺寸为2C×1×（W+H）的Temp张量，再依次通过两次1×1的卷积层接BN层再接非线性激活函数的结构，第一次将通道压缩为2C/r，其中r为人工设置的参数，第二次将通道变化成为C，此时Temp张量的尺寸为C×1×（W+H），然后在第2个维度上对Temp张量进行拆分操作得到尺寸为C×H×1的X和尺寸为C×1×W的Y，最后分别通过sigmoid激活函数，最终的X和Y分别视为对原图像在水平以及垂直方向上的空间信息编码，将X和Y与原图像做乘积即可找出图片信息中需要被关注的区域；
其中，C为图片通道数；
H为图片尺寸：高度；
W为图片尺寸：宽度；
X为对原图像在水平方向上的空间信息编码，Xavg为对输入图像做水平方向平均池化后得到的张量，Yavg为对输入图像做垂直方向平均池化后得到的张量， Xt为Xavg、Yavg拼接后的张量；
Y为对原图像在垂直方向上的空间信息编码，Xmax为对输入图像做水平方向最大值池化后得到的张量，Ymax为对输入图像做垂直方向最大值池化后得到的张量，Yt为Xmax、Ymax拼接后的张量；
Temp张量为Xt和Yt拼接后的张量。
2.根据权利要求1所述的一种基于深度学习的多场景虹膜识别方法，其特征在于，所述语义分割网络的预训练方法为：利用训练用人眼部图像及对应的虹膜区域二值化掩码分别作为所述语义分割网络的输入和预计输出，输入到所述语义分割网络的网络模型中，训练所述网络模型直至所述网络模型收敛。
3.根据权利要求1所述的一种基于深度学习的多场景虹膜识别方法，其特征在于，在步骤一中，利用成像设备在预期应用场景下对人的整个眼部进行拍摄，采集具有一定数目可供识别纹理的虹膜数字图像，进行标注，以生成原图像虹膜区域的二值化掩码图，作为所述待识别的虹膜图像，并进行编号以区分不同的眼睛。
4.根据权利要求3所述的一种基于深度学习的多场景虹膜识别方法，其特征在于，所述成像设备为数字摄像机。
5.根据权利要求1所述的一种基于深度学习的多场景虹膜识别方法，其特征在于：
所述虹膜特征提取网络的预训练方法为：利用训练用虹膜图像做输入，对应编号做输出按照普通分类网络进行训练，训练好后取整个网络第一层全连接层之前的部分用作所述虹膜特征提取网络。
6.根据权利要求1所述的一种基于深度学习的多场景虹膜识别方法，其特征在于：在步骤四中，将所述待识别的特征矩阵与一个虹膜样本库中的样本特征矩阵进行虹膜特征匹配。
7.根据权利要求6所述的一种基于深度学习的多场景虹膜识别方法，其特征在于：所述虹膜样本库中的每个样本特征矩阵都计算有二范数，所述二范数作为初步比较的尺度；当所述待识别的特征矩阵比对时，计算所述待识别的特征矩阵的二范数，将所述待识别的特征矩阵的二范数与所述虹膜样本库中的每个样本特征矩阵的二范数进行比对，如果二范数的差值在一定二范数范围内，则对所述待识别的特征矩阵与相应的样本特征矩阵做进一步比对，比对余弦相似度，若余弦相似度的差值在一定余弦相似度范围内，则认为匹配成功。
8.根据权利要求6所述的一种基于深度学习的多场景虹膜识别方法，其特征在于：将所述待识别的特征矩阵存储在与所述虹膜样本库中，作为一个新的样本特征矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110898852.7A CN113591747B (zh) | 2021-08-06 | 2021-08-06 | 一种基于深度学习的多场景虹膜识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110898852.7A CN113591747B (zh) | 2021-08-06 | 2021-08-06 | 一种基于深度学习的多场景虹膜识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591747A CN113591747A (zh) | 2021-11-02 |
| CN113591747B true CN113591747B (zh) | 2024-02-23 |
Family
ID=78255568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110898852.7A Active CN113591747B (zh) | 2021-08-06 | 2021-08-06 | 一种基于深度学习的多场景虹膜识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591747B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114067408A (zh) * | 2021-11-22 | 2022-02-18 | 杭州世拓创意智能科技有限公司 | 用于银行自助设备的人脸识别身份认证方法及系统 |
| CN114758424B (zh) * | 2022-06-14 | 2022-09-02 | 众旅联(浙江)生态科技有限公司 | 基于多重校验机制的智能支付设备及其支付方法 |
| CN115396220A (zh) * | 2022-08-30 | 2022-11-25 | 东北大学 | 一种基于区块链的虹膜隐私认证系统及方法 |
| CN116110113A (zh) * | 2022-11-15 | 2023-05-12 | 南昌航空大学 | 一种基于深度学习的虹膜识别方法 |
| CN117523208B (zh) * | 2024-01-08 | 2024-04-16 | 暨南大学 | 基于图像语义分割与分类的身份识别方法与系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012142756A1 (zh) * | 2011-04-20 | 2012-10-26 | 中国科学院自动化研究所 | 基于人眼图像的多特征融合身份识别方法 |
| CN106326874A (zh) * | 2016-08-30 | 2017-01-11 | 天津中科智能识别产业技术研究院有限公司 | 一种人眼图像中的虹膜识别方法及其装置 |
| KR101862639B1 (ko) * | 2017-05-30 | 2018-07-04 | 동국대학교 산학협력단 | 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법 |
| CN110287813A (zh) * | 2019-06-04 | 2019-09-27 | 武汉虹识技术有限公司 | 身份识别方法及系统 |
| CN111401211A (zh) * | 2020-03-11 | 2020-07-10 | 山东大学 | 一种采用图像增广和小样本学习的虹膜识别方法 |
| CN113191260A (zh) * | 2021-04-29 | 2021-07-30 | 华中科技大学 | 一种基于虹膜外接矩形图的虹膜验证方法和系统 |
-
2021
- 2021-08-06 CN CN202110898852.7A patent/CN113591747B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012142756A1 (zh) * | 2011-04-20 | 2012-10-26 | 中国科学院自动化研究所 | 基于人眼图像的多特征融合身份识别方法 |
| CN106326874A (zh) * | 2016-08-30 | 2017-01-11 | 天津中科智能识别产业技术研究院有限公司 | 一种人眼图像中的虹膜识别方法及其装置 |
| KR101862639B1 (ko) * | 2017-05-30 | 2018-07-04 | 동국대학교 산학협력단 | 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법 |
| CN110287813A (zh) * | 2019-06-04 | 2019-09-27 | 武汉虹识技术有限公司 | 身份识别方法及系统 |
| CN111401211A (zh) * | 2020-03-11 | 2020-07-10 | 山东大学 | 一种采用图像增广和小样本学习的虹膜识别方法 |
| CN113191260A (zh) * | 2021-04-29 | 2021-07-30 | 华中科技大学 | 一种基于虹膜外接矩形图的虹膜验证方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进语义分割模型的虹膜快速定位;于泰峰;;现代计算机;20200525(第15期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591747A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113591747B (zh) | 一种基于深度学习的多场景虹膜识别方法 | |
| Singh et al. | Iris recognition system using a canny edge detection and a circular hough transform | |
| Choudhary et al. | A survey: Feature extraction methods for iris recognition | |
| Vega et al. | Biometric personal identification system based on patterns created by finger veins | |
| Hamouchene et al. | Efficient approach for iris recognition | |
| CN114218543A (zh) | 一种基于多场景表情识别的加密解锁系统及方法 | |
| Dev et al. | Review on finger vein feature extraction methods | |
| Ting et al. | A review of finger vein recognition system | |
| Tazim et al. | Biometric authentication using CNN features of dorsal vein pattern extracted from NIR image | |
| CN116342968B (zh) | 一种双通道人脸识别方法及装置 | |
| Sallam et al. | Iris recognition system using convolutional neural network | |
| Rossan et al. | Impact of changing parameters when preprocessing dorsal hand vein pattern | |
| Kaur et al. | Finger print recognition using genetic algorithm and neural network | |
| Khoirunnisaa et al. | The biometrics system based on iris image processing: a review | |
| Palanikumar et al. | Advanced palmprint recognition using unsharp masking and histogram equalization | |
| Rossant et al. | A robust iris identification system based on wavelet packet decomposition and local comparisons of the extracted signatures | |
| Raoof | Security of iris recognition and voice recognition techniques | |
| Choras | Biometric personal authentication using images of forearm vein patterns | |
| Ekinci et al. | Kernel Fisher discriminant analysis of Gabor features for online palmprint verification | |
| Nestorovic et al. | Extracting unique personal identification number from iris | |
| Khan | Representation of dorsal hand vein pattern using local binary patterns (LBP) | |
| Divakar | Multimodal biometric system using index based algorithm for fast search | |
| Jain et al. | Recognition using palm vein detection | |
| Zhang et al. | Single Biometric Recognition Research: A Summary | |
| Wattamwar et al. | Optimal Face Recognition System using Haar Classifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |