CN113706470B - 一种虹膜图像分割方法、装置、电子设备及存储介质 - Google Patents

一种虹膜图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113706470B
CN113706470B CN202110862217.3A CN202110862217A CN113706470B CN 113706470 B CN113706470 B CN 113706470B CN 202110862217 A CN202110862217 A CN 202110862217A CN 113706470 B CN113706470 B CN 113706470B
Authority
CN
China
Prior art keywords
layer
convolution
output
iris image
iris
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110862217.3A
Other languages
English (en)
Other versions
CN113706470A (zh
Inventor
孙哲南
王云龙
伍湘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Original Assignee
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd filed Critical Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority to CN202110862217.3A priority Critical patent/CN113706470B/zh
Publication of CN113706470A publication Critical patent/CN113706470A/zh
Application granted granted Critical
Publication of CN113706470B publication Critical patent/CN113706470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种虹膜图像分割方法、装置、电子设备及存储介质，该方法包括：获取虹膜图像；对获取的虹膜图像进行预处理操作，获取预处理之后的虹膜图像；根据训练的轻量级分割模型对预处理过的虹膜图像进行分割，得到分割掩膜；通过后处理方式得到虹膜的内外圆定位及虹膜区域，为后续虹膜归一化提供了准确可靠的参数。本发明利用轻量级分割模型来实现快速准确的虹膜分割，有效地解决常规虹膜分割算法中速度慢、效率低的难题，为后续的虹膜特征分析提供快速可靠的虹膜区域特征。

Description

一种虹膜图像分割方法、装置、电子设备及存储介质
技术领域
本发明属于生物识别技术领域，特别涉及一种虹膜图像分割方法、装置、电子设备及存储介质。
背景技术
目前，虹膜识别作为一种生物特征识别技术，比人脸和指纹识别更具有安全性，也是公认的最精确有效的生物特征识别方法。但是在实际应用中，仍遇到许多技术挑战，尤其在现有的常规的虹膜分割算法中，深度学习的模型参数多，所需的计算资源大，很难达到实时有效的效果。
发明内容
针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种虹膜图像分割方法、装置、电子设备及存储介质，结合轻量级分割模型和后处理方式解决常规的分割模型存在的模型大，参数多，效率低等问题。
为了实现上述目的，
第一方面，本发明提供了一种虹膜图像分割方法，包括以下步骤：
步骤1：获取虹膜图像；
步骤2：将步骤1得到的虹膜图像进行预处理操作，得到预处理后的虹膜图像；
步骤3：将步骤2得到的预处理后的虹膜图像输入到训练好的轻量级分割模型，得到对应的分割掩膜；
步骤4：将步骤3得到的分割掩膜通过后处理方式获得虹膜的内外圆边界以及虹膜区域。
其中，步骤1中所述虹膜图像是可见光照明条件下与近红外条件下采集的混合虹膜数据集。
其中，步骤2中对获取的虹膜图像进行预处理操作包括以下子步骤：
步骤2-1：对每一幅待分割的人眼虹膜图像进行随机增强操作，以得到随机增强后的图像，构成虹膜图像的预处理数据集；
步骤2-2：对每一幅随机增强后的人眼虹膜图像进行归一化操作，以得到归一化的虹膜图像，构成虹膜图像的预处理训练数据集。
其中，所述轻量级分割模型的网络结构如下：
第一层是输入层，其输入为480*640*3像素的矩阵；
第二层为卷积层，其卷积核尺寸为3*3*32，步长为2，第二层使用SAME模式填充，其输出矩阵的大小为240*320*32；
第三层为卷积层，其卷积核尺寸为3*3*32，步长为1，该层使用SAME模式填充，其输出矩阵的大小为240*320*32；
第四层为卷积层，其卷积核尺寸为3*3*32，步长为1，第四层使用SAME模式填充，其输出矩阵的大小为240*320*32，记为output0；
与此同时，第一层输入矩阵经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为240*320*3，记为branch0；
第五层是拼接层，第五层将output0的通道与branch0的通道进行拼接，得到的输出矩阵为240*320*35；
第六层是下采样特征提取卷积块，输出矩阵大小为120*160*64，记为down0；
第七层与第八层均为特征提取卷积块，其输出大小均为120*160*64，第八层的输出记为output1；
同时，branch0再经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为120*160*3，记为branch1；
第九层为拼接层，其将branch1、down0及output1按通道数拼接，得到的输出矩阵大小是120*160*131；
第十层是下采样特征提取卷积块，其输出矩阵为60*80*128，记为down1；
第十一层至十六层均为特征提取卷积块，输出矩阵大小均为60*80*128，最后一层的输出记为output2；
同时，branch1再经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为60*80*3，记为branch2；
第十七层为拼接层，其将branch2、output2及down1按通道数拼接，其输出矩阵大小为60*80*259；
第十八层为卷积层，其卷积核尺寸为1*1*3，步长为1，其输出结果为60*80*3；
最后一层为上采样层，其通过双线性插值上采样到输入大小，最后的输出为480*640*3。
其中，所述下采样特征提取卷积块的结构包括：
第一层为卷积层，其卷积核大小为1*1，步长为1；
第二层为分组卷积，其卷积核大小为3*3，步长为1，以SAME模式填充，分组数根据输入特征的通道数改变；
第三层为分组空洞卷积，与第二层并列，其卷积核大小为3*3，步长为1，填充数为2，空洞为2，分组数根据输入特征的通道数改变；
第四层为拼接层，主要用于拼接第二层与第三层的输出，将其按通道数拼接；
第五层为卷积层，其卷积核大小为1*1，步长为1，主要用于将第四层拼接的通道数减半到拼接之前的通道数；
第六层是一个全局池化层，输出大小为1；
第七层与第八层是两个全连接层，输出为一个权重向量；
最后将第八层输出的权重向量重构成一个四维的张量，得到一个特征图下采样一倍的输出矩阵。
其中，所述特征提取卷积块的结构包括：
第一层为卷积层，其卷积核大小为1*1，步长为1；
第二层为分组卷积，其卷积核大小为3*3，步长为1，以SAME模式填充，分组数根据输入特征的通道数改变；
第三层为分组空洞卷积，与第二层并列，其卷积核大小为3*3，步长为1，以SAME模式填充，空洞为2，分组数根据输入特征的通道数改变；
第四层为拼接层，主要用于拼接第二层与第三层的输出，将其按通道数拼接；
第五层为卷积层，其卷积核大小为1*1，步长为1，主要用于将第四层拼接的通道数减半到拼接之前的通道数；
第六层是一个全局池化层，输出大小为1；
第七层与第八层是两个全连接层，输出的权重向量重构成四维张量，得到与输入一样大小的四维张量；
最后一层是相加层，其通过将特征提取卷积块的输入与第八层重构输出的权重向量相加，输出最终的结果；
除每个特征提取卷积块的最后一个全连接层后使用的激活函数是Sigmoid激活函数以外，所有的卷积层都是采用的ReLU激活函数。
其中，所述轻量级分割模型通过如下步骤训练得到：
步骤3-1：获取数据集，并获取标注后的标签，经过处理得到包含三类即背景类、虹膜区域、瞳孔区域的标签图像；
步骤3-2：对标注后的数据集进行预处理操作，以得到预处理后的数据集；
步骤3-3：使用步骤3-2得到的预处理数据集中的训练集部分中的一批次数据，将其输入深度卷积神经网络中，以获得推理输出，将该推理输出和步骤3-1中标注后的数据集一并输入深度卷积神经网络的损失函数中，以获取损失值；
步骤3-4：根据Adam算法并使用步骤3-4得到的损失值对深度卷积神经网络的损失函数进行优化；
步骤3-5：针对步骤3-5得到的预处理数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤3-3和步骤3-4，直到达到迭代次数为止，从而得到训练好的深度卷积神经网络。
第二方面，
本发明提供了一种虹膜图像分割装置，包括：
虹膜图像采集模块，其用于获取虹膜图像；
虹膜图像预处理模块，其用于将虹膜图像采集模块得到的虹膜图像进行预处理操作，得到预处理后的虹膜图像；
虹膜图像分割模块，其用于将虹膜图像预处理模块得到的预处理后的虹膜图像输入到训练好的轻量级分割模型，得到对应的分割掩膜；
虹膜图像后处理模块，其用于将虹膜图像分割模块得到的分割掩膜通过后处理方式获得虹膜的内外圆边界以及虹膜区域。
第三方面，
本发明提供了一种电子设备，包括：
存储器，其用于存储指令；所述存储器存储有程序；
处理器，其用于加载并执行所述程序以实现如上述的虹膜图像分割方法；
电源组件，其用于为电子设备提供电源；
通信组件，其用于为电子设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
第四方面，
本发明提供了一种存储介质，所述存储介质中存储有程序，所述程序由处理器加载并执行以实现如上述的虹膜图像分割方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明采用了轻量级分割模型，使得整个分割定位过程快速并准确，能够搭载到可移动终端等设备上，应用到虹膜识别所需的场景中。
附图说明
图1是本发明虹膜图像分割方法整体流程图；
图2是本发明虹膜图像分割方法中虹膜图像分割的整体示意图；
图3是本发明虹膜图像分割方法中使用的轻量级虹膜分割模型的整体结构图；
图4是本发明虹膜图像分割方法的轻量级虹膜分割模型中的下采样特征提取卷积块的结构图；
图5是本发明虹膜图像分割方法的轻量级虹膜分割模型中的特征提取卷积块的结构图；
图6是本发明虹膜图像分割装置的结构示意图；
图7是本发明电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明利用轻量级分割模型从人眼虹膜图像中获取到虹膜区域与瞳孔区域的分割掩膜，进一步获取虹膜内外圆的边界，实现虹膜区域的分割，为后续的虹膜归一化提供准确的输入参数。
本发明的基本思路在于，提供一种虹膜图像分割方法、装置、电子设备及存储介质。先使用轻量级分割模型分割出虹膜区域与瞳孔区域及其他背景区域，进一步获取虹膜内外圆的边界，这样便能精准地得到虹膜内外圆的边界坐标，更为精准地分割出虹膜的特征部分，为后续的虹膜归一化提供准确的输入参数。
实施例
如图1-图5所示，本发明虹膜图像分割方法包括以下步骤：
步骤一：获取虹膜图像。
具体而言，虹膜图像是在非可控的可见光照明条件下采集以及近红外条件下采集的混合的虹膜数据集。
步骤二：将步骤一得到的虹膜图像进行预处理操作，得到预处理后的虹膜图像。
本步骤中对获取的虹膜图像数据集进行预处理操作包括以下子步骤：
步骤2-1：对每一幅待分割的虹膜图像进行随机数据增强操作，以得到随机增强后的图像，构成虹膜的预处理数据集。
步骤2-2：对每一幅随机数据增强后的虹膜图像进行归一化操作，以得到归一化的虹膜图像，构成虹膜分割的数据集。
具体而言，增强操作可以是以随机缩放、通道随机变换等中的一种操作或其任意组合的操作。
步骤三：将步骤二得到的预处理后的虹膜图像输入到训练好的轻量级分割模型，得到对应的分割掩膜。
本步骤中使用的轻量级分割模型的结构如下：
第一层是输入层，其输入为480*640*3像素的矩阵；
第二层为卷积层，其卷积核尺寸为3*3*32，步长为2，该层使用SAME模式填充，其输出矩阵的大小为240*320*32；
第三层为卷积层，其卷积核尺寸为3*3*32，步长为1，该层使用SAME模式填充，其输出矩阵的大小为240*320*32；
第四层为卷积层，其卷积核尺寸为3*3*32，步长为1，该层使用SAME模式填充，其输出矩阵的大小为240*320*32，记为output0；
与此同时，第一层输入矩阵经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为240*320*3，记为branch0；
第五层是拼接层，该层将output0的通道与branch0的通道进行拼接，得到的输出矩阵为240*320*35；
第六层是下采样特征提取卷积块，输出矩阵大小为120*160*64，记为down0；
第七层与第八层均为特征提取卷积块，其输出大小均为120*160*64，第八层的输出记为output1；
同时，branch0再经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为120*160*3，记为branch1；
第九层为拼接层，其将branch1、down0及output1按通道数拼接，得到的输出矩阵大小是120*160*131；
第十层是下采样特征提取卷积块，其输出矩阵为60*80*128，记为down1；
第十一层至十六层均为特征提取卷积块，输出矩阵大小均为60*80*128，最后一层的输出记为output2；
同时，branch1再经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为60*80*3，记为branch2；
第十七层为拼接层，其将branch2、output2及down1按通道数拼接，其输出矩阵大小为60*80*259；
第十八层为卷积层，其卷积核尺寸为1*1*3，步长为1，其输出结果为60*80*3；
最后一层为上采样层，其通过双线性插值上采样到输入大小，最后的输出为480*640*3。
在优选的实施例中，下采样特征提取卷积块的主要结构如下：
第一层为卷积层，其卷积核大小为1*1，步长为1；
第二层为分组卷积，其卷积核大小为3*3，步长为1，以SAME模式填充，分组数根据输入特征的通道数改变；
第三层为分组空洞卷积，与第二层并列，其卷积核大小为3*3，步长为1，填充数为2，空洞为2，分组数根据输入特征的通道数改变；
第四层为拼接层，主要用于拼接第二层与第三层的输出，将其按通道数拼接；
第五层为卷积层，其卷积核大小为1*1，步长为1，主要用于将第四层拼接的通道数减半到拼接之前的通道数；
第六层是一个全局池化层，输出大小为1；
第七层与第八层是两个全连接层，输出为一个权重向量；
最后将第八层输出的权重向量重构成一个四维的张量，得到一个特征图下采样一倍的输出矩阵。
在优选的实施例中，特征提取卷积块的主要结构如下：
第一层为卷积层，其卷积核大小为1*1，步长为1；
第二层为分组卷积，其卷积核大小为3*3，步长为1，以SAME模式填充，分组数根据输入特征的通道数改变；
第三层为分组空洞卷积，与第二层并列，其卷积核大小为3*3，步长为1，以SAME模式填充，空洞为2，分组数根据输入特征的通道数改变；
第四层为拼接层，主要用于拼接第二层与第三层的输出，将其按通道数拼接；
第五层为卷积层，其卷积核大小为1*1，步长为1，主要用于将第四层拼接的通道数减半到拼接之前的通道数；
第六层是一个全局池化层，输出大小为1；
第七层与第八层是两个全连接层，输出的权重向量重构成四维张量，得到与输入一样大小的四维张量；
最后一层是相加层，其通过将特征提取卷积块的输入与第八层重构输出的权重向量相加，输出最终的结果。
除每个特征提取卷积块的最后一个全连接层后使用的激活函数是Sigmoid激活函数以外，所有的卷积层都是采用的ReLU激活函数。
在优选的实施例中，轻量级分割模型通过如下步骤训练得到：
步骤3-1：获取数据集，并获取标注后的标签，经过处理得到包含三类即背景类、虹膜区域、瞳孔区域的标签图像；
步骤3-2：对标注后的数据集进行预处理操作，以得到预处理后的数据集；
步骤3-3：使用步骤3-2得到的预处理数据集中的训练集部分中的一批次数据，将其输入深度卷积神经网络中，以获得推理输出，将该推理输出和步骤3-1中标注后的数据集一并输入深度卷积神经网络的损失函数中，以获取损失值。
步骤3-4：根据Adam算法并使用步骤3-3得到的损失值对深度卷积神经网络的损失函数进行优化；
步骤3-5：针对步骤3-2得到的预处理数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤3-3和步骤3-4，直到达到迭代次数为止，从而得到训练好的深度卷积神经网络。
在优选的实施例中，深度卷积神经网络中使用的损失值是通过以下损失函数计算：
其中，y表示深度卷积神经网络对输入图像的推理输出，表示数据集标注的标签。
步骤四：将步骤三得到的分割掩膜通过后处理方式获得虹膜的内外圆边界以及虹膜区域。
具体而言，本步骤是通过获取每一类的像素点坐标生成对应的分割掩膜，利用二值图像的轮廓提取算法得到每个掩膜对应的轮廓坐标。
实施例2
如图6所示，本实施例提供了一种虹膜图像分割装置包括：
虹膜图像采集模块，用于获取数据；
虹膜图像预处理模块，用于对第一模块获取的数据进行预处理操作，以得到预处理数据。
虹膜图像分割模块，用于将第二模块得到的预处理数据输入训练好的深度卷积神经网络中，以得到图像对应的分割掩码。
虹膜图像后处理模块，用于将第三模块得到的分割掩码进行后处理，得到虹膜内外圆的边界和虹膜区域。
需说明的是，本发明实施例的虹膜图像分割装置与上述实施例的虹膜图像分割方法的具体实施细节及效果相同或相似，在此不再赘述。
实施例3
如图7所示，本实施例提供了一种电子设备，包括：
存储器，其用于存储指令；所述存储器存储有程序；
处理器，其用于加载并执行所述程序，以实现上述的虹膜图像分割方法；
电源组件，其用于为电子设备提供电源；
通信组件，其用于为电子设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
需要说明的是电子设备为计算机设备。
本发明另一实施例还提供一种存储介质，所述存储介质中存储有程序，所述程序由处理器加载并执行以实现上述任一项虹膜图像分割方法。
对于计算机设备及存储介质中的虹膜图像分割方法可参考上述实施例进行理解，在此不再赘述。
下面主要结合应用场景对计算机设备及存储介质进行进一步介绍。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置(设备或系统)、或计算机设备、存储介质。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备或系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算机设备包括一个或多个处理器(CPU)、存储器、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明实施例可提供为方法、系统或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

Claims (6)

1.一种虹膜图像分割方法，其特征在于，包括以下步骤：
步骤1：获取虹膜图像；
步骤2：将步骤1得到的虹膜图像进行预处理操作，得到预处理后的虹膜图像；
步骤3：将步骤2得到的预处理后的虹膜图像输入到训练好的轻量级分割模型，得到对应的分割掩膜；
步骤4：将步骤3得到的分割掩膜通过后处理方式获得虹膜的内外圆边界以及虹膜区域；
所述轻量级分割模型的网络结构如下：
第一层是输入层，其输入为480*640*3像素的矩阵；
第二层为卷积层，其卷积核尺寸为3*3*32，步长为2，第二层使用SAME模式填充，其输出矩阵的大小为240*320*32；
第三层为卷积层，其卷积核尺寸为3*3*32，步长为1，该层使用SAME模式填充，其输出矩阵的大小为240*320*32；
第四层为卷积层，其卷积核尺寸为3*3*32，步长为1，第四层使用SAME模式填充，其输出矩阵的大小为240*320*32，记为output0；
与此同时，第一层输入矩阵经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为240*320*3，记为branch0；
第五层是拼接层，第五层将output0的通道与branch0的通道进行拼接，得到的输出矩阵为240*320*35；
第六层是下采样特征提取卷积块，输出矩阵大小为120*160*64，记为down0；
第七层与第八层均为特征提取卷积块，其输出大小均为120*160*64，第八层的输出记为output1；
同时，branch0再经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为120*160*3，记为branch1；
第九层为拼接层，其将branch1、down0及output1按通道数拼接，得到的输出矩阵大小是120*160*131；
第十层是下采样特征提取卷积块，其输出矩阵为60*80*128，记为down1；
第十一层至十六层均为特征提取卷积块，输出矩阵大小均为60*80*128，最后一层的输出记为output2；
同时，branch1再经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为60*80*3，记为branch2；
第十七层为拼接层，其将branch2、output2及down1按通道数拼接，其输出矩阵大小为60*80*259；
第十八层为卷积层，其卷积核尺寸为1*1*3，步长为1，其输出结果为60*80*3；
最后一层为上采样层，其通过双线性插值上采样到输入大小，最后的输出为480*640*3；
所述下采样特征提取卷积块的结构包括：
第一层为卷积层，其卷积核大小为1*1，步长为1；
第二层为分组卷积，其卷积核大小为3*3，步长为1，以SAME模式填充，分组数根据输入特征的通道数改变；
第三层为分组空洞卷积，与第二层并列，其卷积核大小为3*3，步长为1，填充数为2，空洞为2，分组数根据输入特征的通道数改变；
第四层为拼接层，主要用于拼接第二层与第三层的输出，将其按通道数拼接；
第五层为卷积层，其卷积核大小为1*1，步长为1，主要用于将第四层拼接的通道数减半到拼接之前的通道数；
第六层是一个全局池化层，输出大小为1；
第七层与第八层是两个全连接层，输出为一个权重向量；
最后将第八层输出的权重向量重构成一个四维的张量，得到一个特征图下采样一倍的输出矩阵；
所述特征提取卷积块的结构包括：
第一层为卷积层，其卷积核大小为1*1，步长为1；
第二层为分组卷积，其卷积核大小为3*3，步长为1，以SAME模式填充，分组数根据输入特征的通道数改变；
第三层为分组空洞卷积，与第二层并列，其卷积核大小为3*3，步长为1，以SAME模式填充，空洞为2，分组数根据输入特征的通道数改变；
第四层为拼接层，主要用于拼接第二层与第三层的输出，将其按通道数拼接；
第五层为卷积层，其卷积核大小为1*1，步长为1，主要用于将第四层拼接的通道数减半到拼接之前的通道数；
第六层是一个全局池化层，输出大小为1；
第七层与第八层是两个全连接层，输出的权重向量重构成四维张量，得到与输入一样大小的四维张量；
最后一层是相加层，其通过将特征提取卷积块的输入与第八层重构输出的权重向量相加，输出最终的结果；
除每个特征提取卷积块的最后一个全连接层后使用的激活函数是Sigmoid激活函数以外，所有的卷积层都是采用的ReLU激活函数；
所述轻量级分割模型通过如下步骤训练得到：
步骤3-1：获取数据集，并获取标注后的标签，经过处理得到包含三类即背景类、虹膜区域、瞳孔区域的标签图像；步骤3-2：对标注后的数据集进行预处理操作，以得到预处理后的数据集；
步骤3-3：使用步骤3-2得到的预处理数据集中的训练集部分中的一批次数据，将其输入深度卷积神经网络中，以获得推理输出，将该推理输出和步骤3-1中标注后的数据集一并输入深度卷积神经网络的损失函数中，以获取损失值；
步骤3-4：根据Adam算法并使用步骤3-4得到的损失值对深度卷积神经网络的损失函数进行优化；
步骤3-5：针对步骤3-5得到的预处理数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤3-3和步骤3-4，直到达到迭代次数为止，从而得到训练好的深度卷积神经网络。
2.根据权利要求1所述的虹膜图像分割方法，其特征在于，步骤1中所述虹膜图像是可见光照明条件下与近红外条件下采集的混合虹膜数据集。
3.根据权利要求1所述的虹膜图像分割方法，其特征在于，步骤2中对获取的虹膜图像进行预处理操作包括以下子步骤：
步骤2-1：对每一幅待分割的人眼虹膜图像进行随机增强操作，以得到随机增强后的图像，构成虹膜图像的预处理数据集；
步骤2-2：对每一幅随机增强后的人眼虹膜图像进行归一化操作，以得到归一化的虹膜图像，构成虹膜图像的预处理训练数据集。
4.一种虹膜图像分割装置，其特征在于，包括：
虹膜图像采集模块，其用于获取虹膜图像；
虹膜图像预处理模块，其用于将虹膜图像采集模块得到的虹膜图像进行预处理操作，得到预处理后的虹膜图像；
虹膜图像分割模块，其用于将虹膜图像预处理模块得到的预处理后的虹膜图像输入到训练好的轻量级分割模型，得到对应的分割掩膜；
虹膜图像后处理模块，其用于将虹膜图像分割模块得到的分割掩膜通过后处理方式获得虹膜的内外圆边界以及虹膜区域；
所述轻量级分割模型的网络结构如下：
第一层是输入层，其输入为480*640*3像素的矩阵；
第二层为卷积层，其卷积核尺寸为3*3*32，步长为2，第二层使用SAME模式填充，其输出矩阵的大小为240*320*32；
第三层为卷积层，其卷积核尺寸为3*3*32，步长为1，该层使用SAME模式填充，其输出矩阵的大小为240*320*32；
第四层为卷积层，其卷积核尺寸为3*3*32，步长为1，第四层使用SAME模式填充，其输出矩阵的大小为240*320*32，记为output0；
与此同时，第一层输入矩阵经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为240*320*3，记为branch0；
第五层是拼接层，第五层将output0的通道与branch0的通道进行拼接，得到的输出矩阵为240*320*35；
第六层是下采样特征提取卷积块，输出矩阵大小为120*160*64，记为down0；
第七层与第八层均为特征提取卷积块，其输出大小均为120*160*64，第八层的输出记为output1；
同时，branch0再经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为120*160*3，记为branch1；
第九层为拼接层，其将branch1、down0及output1按通道数拼接，得到的输出矩阵大小是120*160*131；
第十层是下采样特征提取卷积块，其输出矩阵为60*80*128，记为down1；
第十一层至十六层均为特征提取卷积块，输出矩阵大小均为60*80*128，最后一层的输出记为output2；
同时，branch1再经过池化窗口为3*3，步长为2，SAME模式填充的平均池化层，得到的输出矩阵为60*80*3，记为branch2；
第十七层为拼接层，其将branch2、output2及down1按通道数拼接，其输出矩阵大小为60*80*259；
第十八层为卷积层，其卷积核尺寸为1*1*3，步长为1，其输出结果为60*80*3；
最后一层为上采样层，其通过双线性插值上采样到输入大小，最后的输出为480*640*3；
所述下采样特征提取卷积块的结构包括：
第一层为卷积层，其卷积核大小为1*1，步长为1；
第二层为分组卷积，其卷积核大小为3*3，步长为1，以SAME模式填充，分组数根据输入特征的通道数改变；
第三层为分组空洞卷积，与第二层并列，其卷积核大小为3*3，步长为1，填充数为2，空洞为2，分组数根据输入特征的通道数改变；
第四层为拼接层，主要用于拼接第二层与第三层的输出，将其按通道数拼接；
第五层为卷积层，其卷积核大小为1*1，步长为1，主要用于将第四层拼接的通道数减半到拼接之前的通道数；
第六层是一个全局池化层，输出大小为1；
第七层与第八层是两个全连接层，输出为一个权重向量；
最后将第八层输出的权重向量重构成一个四维的张量，得到一个特征图下采样一倍的输出矩阵；
所述特征提取卷积块的结构包括：
第一层为卷积层，其卷积核大小为1*1，步长为1；
第二层为分组卷积，其卷积核大小为3*3，步长为1，以SAME模式填充，分组数根据输入特征的通道数改变；
第三层为分组空洞卷积，与第二层并列，其卷积核大小为3*3，步长为1，以SAME模式填充，空洞为2，分组数根据输入特征的通道数改变；
第四层为拼接层，主要用于拼接第二层与第三层的输出，将其按通道数拼接；
第五层为卷积层，其卷积核大小为1*1，步长为1，主要用于将第四层拼接的通道数减半到拼接之前的通道数；
第六层是一个全局池化层，输出大小为1；
第七层与第八层是两个全连接层，输出的权重向量重构成四维张量，得到与输入一样大小的四维张量；
最后一层是相加层，其通过将特征提取卷积块的输入与第八层重构输出的权重向量相加，输出最终的结果；
除每个特征提取卷积块的最后一个全连接层后使用的激活函数是Sigmoid激活函数以外，所有的卷积层都是采用的ReLU激活函数；
所述轻量级分割模型通过如下步骤训练得到：
步骤3-1：获取数据集，并获取标注后的标签，经过处理得到包含三类即背景类、虹膜区域、瞳孔区域的标签图像；
步骤3-2：对标注后的数据集进行预处理操作，以得到预处理后的数据集；
步骤3-3：使用步骤3-2得到的预处理数据集中的训练集部分中的一批次数据，将其输入深度卷积神经网络中，以获得推理输出，将该推理输出和步骤3-1中标注后的数据集一并输入深度卷积神经网络的损失函数中，以获取损失值；
步骤3-4：根据Adam算法并使用步骤3-4得到的损失值对深度卷积神经网络的损失函数进行优化；
步骤3-5：针对步骤3-5得到的预处理数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤3-3和步骤3-4，直到达到迭代次数为止，从而得到训练好的深度卷积神经网络。
5.一种电子设备，其特征在于，包括：
存储器，其用于存储指令；所述存储器存储有程序；
处理器，其用于加载并执行所述程序，以实现如权利要求1至3中任一项权利要求所述的虹膜图像分割方法；
电源组件，其用于为电子设备提供电源；
通信组件，其用于为电子设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
6.一种存储介质，其特征在于：
所述存储介质中存储有程序，所述程序由处理器加载并执行以实现如权利要求1至3中任一项权利要求所述的虹膜图像分割方法。
CN202110862217.3A 2021-07-29 2021-07-29 一种虹膜图像分割方法、装置、电子设备及存储介质 Active CN113706470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862217.3A CN113706470B (zh) 2021-07-29 2021-07-29 一种虹膜图像分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862217.3A CN113706470B (zh) 2021-07-29 2021-07-29 一种虹膜图像分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113706470A CN113706470A (zh) 2021-11-26
CN113706470B true CN113706470B (zh) 2023-12-15

Family

ID=78650858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862217.3A Active CN113706470B (zh) 2021-07-29 2021-07-29 一种虹膜图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113706470B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523208B (zh) * 2024-01-08 2024-04-16 暨南大学 基于图像语义分割与分类的身份识别方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110059589A (zh) * 2019-03-21 2019-07-26 昆山杜克大学 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法
CN111401145A (zh) * 2020-02-26 2020-07-10 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN112100908A (zh) * 2020-08-31 2020-12-18 西安工程大学 一种基于多条件深度卷积生成对抗网络的服装设计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411910B2 (en) * 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
CN108537628B (zh) * 2013-08-22 2022-02-01 贝斯普客公司 用于创造定制产品的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110059589A (zh) * 2019-03-21 2019-07-26 昆山杜克大学 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法
CN111401145A (zh) * 2020-02-26 2020-07-10 三峡大学 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN112100908A (zh) * 2020-08-31 2020-12-18 西安工程大学 一种基于多条件深度卷积生成对抗网络的服装设计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Very Deep Convolutional Networks for Large-Scale Image Recognition;Simonyan等;《Computer Science 》;全文 *
基于卷积神经网络的虹膜识别关键算法的研究与实现;汪文源;《中国知网硕士电子期刊》(第8期);全文 *
虹膜分割算法评价基准;王财勇等;《计算机研究与发展》;第57卷(第2期);全文 *

Also Published As

Publication number Publication date
CN113706470A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
US20190114774A1 (en) Generating Image Segmentation Data Using a Multi-Branch Neural Network
CN111696110B (zh) 场景分割方法及系统
CN111915660A (zh) 基于共享特征和注意力上采样的双目视差匹配方法及系统
CN112700460B (zh) 图像分割方法及系统
CN112070037B (zh) 基于遥感影像的道路提取方法、装置、介质及设备
CN113706470B (zh) 一种虹膜图像分割方法、装置、电子设备及存储介质
CN114238904A (zh) 身份识别方法、双通道超分模型的训练方法及装置
CN107578375B (zh) 图像处理方法及装置
CN114694005A (zh) 目标检测模型训练方法和装置、目标检测方法和装置
CN114119627B (zh) 基于深度学习的高温合金微观组织图像分割方法及装置
CN113554655B (zh) 基于多特征增强的光学遥感图像分割方法及装置
CN111340935A (zh) 点云数据处理方法、智能行驶方法及相关装置、电子设备
CN113129240B (zh) 一种工业包装字符的去运动模糊方法
Zhang et al. A context-aware road extraction method for remote sensing imagery based on transformer network
CN111274936B (zh) 多光谱图像地物分类方法、系统、介质及终端
CN114494006A (zh) 图像重建模型的训练方法、装置、电子设备及存储介质
CN116468996A (zh) 一种增加边缘信息特征的水下实时目标识别方法及系统
CN116798041A (zh) 图像识别方法、装置和电子设备
CN113837993B (zh) 轻量级虹膜图像分割方法、装置、电子设备及存储介质
CN113689385B (zh) 虹膜内外圆边界自动分割方法、装置、设备及存储介质
CN111062473A (zh) 神经网络模型中的数据计算方法、图像处理方法及装置
CN116403062A (zh) 一种点云目标检测方法、系统、设备及介质
CN116246184A (zh) 一种应用于无人机航拍图像的罂粟智能识别方法及系统
CN117593619B (zh) 图像处理方法、装置、电子设备及存储介质
CN114897700B (zh) 图像优化方法、校正模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant