CN113689385B - 虹膜内外圆边界自动分割方法、装置、设备及存储介质 - Google Patents

虹膜内外圆边界自动分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113689385B
CN113689385B CN202110862182.3A CN202110862182A CN113689385B CN 113689385 B CN113689385 B CN 113689385B CN 202110862182 A CN202110862182 A CN 202110862182A CN 113689385 B CN113689385 B CN 113689385B
Authority
CN
China
Prior art keywords
layer
iris
size
output matrix
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110862182.3A
Other languages
English (en)
Other versions
CN113689385A (zh
Inventor
孙哲南
王云龙
伍湘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Original Assignee
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd filed Critical Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority to CN202110862182.3A priority Critical patent/CN113689385B/zh
Publication of CN113689385A publication Critical patent/CN113689385A/zh
Application granted granted Critical
Publication of CN113689385B publication Critical patent/CN113689385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本发明公开了一种虹膜内外圆边界自动分割方法、装置、设备及存储介质，方法包括以下步骤：获取数据集进行预处理操作，以得到预处理数据集，将得到的预处理数据集输入训练好的第一个CSPDarkNet53的卷积神经网络中，以得到每幅人眼虹膜图像中虹膜外圆的矩形框，通过得到的矩形框拟合获取虹膜外圆的边界坐标，并根据该矩形框将虹膜整体裁剪下来，然后将裁剪下来的虹膜图像放大送入训练好的第二个CSPDarkNet53的深度卷积神经网络中，得到虹膜内圆的位置。本发明通过采用基于CSPDarkNet53的二阶段虹膜内外圆边界的自动分割方法，有利于虹膜区域内外边界的拟合与定位，为后续的虹膜归一化提供准确的输入参数。

Description

虹膜内外圆边界自动分割方法、装置、设备及存储介质
技术领域
本发明属于图像分割技术领域，更具体地，涉及一种虹膜内外圆边界自动分割方法、装置、设备及存储介质。
背景技术
虹膜识别作为一种生物特征识别技术，比人脸和指纹识别更具有安全性，也是公认的最精确有效的生物特征识别方法。随着人类科学技术的不断发展，虹膜识别技术在人们日常生活中越来越普及，其已经成功应用于国家安防、边境控制、银行金融、门禁考勤以及移动终端等领域。但是在实际应用中，虹膜识别技术仍然遇到了许多的技术和挑战。特别是对于人们不是完全配合的场景(即复杂的、不可控制的场景)下，所采集到的人们的虹膜图像由于存在光照和距离变化，因此虹膜图像具有低分辨率、高噪声、斜眼、模糊和被遮挡等特性。使得将图像中的虹膜区域精确地分割出来尤为困难，进而影响了对人们进行虹膜识别的准确率和及时性。
目前，为了分割虹膜图像中的虹膜区域，典型的虹膜分割方法可以分为两大类：传统的图像处理方法和基于深度学习的分割方法。但是这样的方法容易受到由于虹膜图像遭受了严重的噪声干扰，例如来自眼睑或者睫毛的遮挡、虹膜与瞳孔的对比度低、镜面反射等，使得虹膜区域特别是虹膜的内外边界很难辨认，无法得到完整的外圆轮廓，而内圆轮廓因为太小也很难精准定位出轮廓。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了种虹膜内外圆边界自动分割方法、装置、设备及存储介质，以提高虹膜图像分割的准确性与速度。
为实现本发明的目的，
第一方面，本发明提供了一种二阶段虹膜内外圆边界自动分割方法，包括以下步骤：
步骤一：获取虹膜数据集并进行预处理操作，以得到预处理数据集；
步骤二：将步骤一得到的预处理数据集输入训练好的第一个CSPDarkNet53深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜外圆区域的矩形框坐标和分类及置信度；
步骤三：将步骤二得到的虹膜外圆区域的矩形框拟合得到虹膜外圆区域的轮廓，并根据该矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像；
步骤四：将步骤三得到的裁剪后的虹膜图像输入到训练好的第二个CSPDarkNet53深度卷积神经网络中，由此得到虹膜内圆区域的矩形框坐标和分类及置信度；
步骤五：将步骤四得到的虹膜内圆区域的矩形框拟合得到虹膜内圆的轮廓。
其中，所述虹膜数据集是可见光照明条件下采集的虹膜数据集。
其中，步骤一中对获取的虹膜数据集进行预处理操作包括以下子步骤：
步骤1-1：对每一幅待分割的人眼虹膜图像进行随机增强操作，以得到随机增强后的图像，构成虹膜的预处理数据集；
步骤1-2：对每一幅随机增强后的人眼虹膜图像进行虹膜外圆裁剪操作，以得到随机增强后裁剪的虹膜外圆图像，构成虹膜内圆分割的数据集。
其中，所述CSPDarkNet53深度卷积神经网络包括顺次连接的骨干网CSPDarkNet53和特征金字塔以及路径聚合网络。
其中，所述骨干网CSPDarkNet53的网络结构如下：
第一层是输入层，其输入为800*800*3像素的矩阵；
第二层是切片层，其将输入矩阵进行切片操作后变成400*400*12的特征图，再经过一个卷积核为3*3*64，步长为1且使用SAME模式填充的卷积层后得到的输出为400*400*64；
之后是特征抽取层，其采用的是公开的特征抽取网络CSPDarkNet53，CSPDarkNet53是基于DarkNet53网络将其中的残差替换成了跨级分路模块，在该网络中取特征抽取网络CSPDarkNet53中的conv3.x层、conv4.x层和conv5.x层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是100*100*256、50*50*512、25*25*512。
其中，上采样的特征金字塔网络对骨干网CSPDarkNet53输出的特征C3、C4、C5进行特征融合，上采样的特征金字塔网络的网络结构如下：
第一层是在特征C5输出上的卷积层，其卷积核尺寸为1*1*512，步长为1，第一层使用SAME模式填充，输出矩阵为25*25*512，记为P5；
第二层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为50*50*512，记为P5_upsample；
第三层是增加层，其将输出矩阵P5_upsample和输出矩阵C4通过通道数相加，输出矩阵大小为50*50*1024；
第四层是和骨干网中一样的模块，由三个跨级分路模块组成，其输出矩阵经过一个卷积核尺寸为1*1*256，步长为1的卷积层后，输出矩阵为50*50*256，记为P4；
第五层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为100*100*256，记为P4_upsample；
第五层是增加层，其将输出矩阵P4_upsample和输出矩阵C3通过通道数相加，输出矩阵大小为100*100*512；
第六层是同样由三个跨级分路模块组成，其输出矩阵大小为100*100*256，记为P3。
其中，路径聚合网络是在特征金字塔的基础上建立一个从下往上的增强路径，缩短底层特征到高层的路径，路径聚合网络的网络结构如下：
第一层是卷积层，其卷积核尺寸为3*3*256，步长为2，第一层使用SAME模式填充，其输出矩阵上采样之后的大小为50*50*256；
第二层是相加层，其将P4和上一层按通道数相加，输出矩阵大小为50*50*512，记为O2；
第三层同样是三个跨级分路模块组成，其输出矩阵大小为50*50*512；
第四层是卷积层，其卷积核尺寸为3*3*512，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为25*25*512；
第五层是相加层，其将P5和上一层按通道数相加，输出矩阵大小为25*25*1024，记为O3；
第六层同样是三个跨级分路模块组成，其输出矩阵大小为25*25*1024；
最后的输出层是包括了一个卷积核为1*1，步长为1的卷积层，针对P3，O2，O3的256，512，1024三个不同尺寸的通道数的得到的输出；
除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的Hardswish激活函数。
第二方面，本发明提供了一种二阶段虹膜内外圆边界自动分割装置，包括：
第一模块，用于获取虹膜数据集并进行预处理操作，以得到预处理数据集；
第二模块，用于将第一模块得到的预处理数据集输入训练好的第一个CSPDarkNet53深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜外圆区域的矩形框坐标和分类及置信度；
第三模块，用于将第二模块得到的虹膜外圆区域的矩形框拟合得到虹膜外圆区域的轮廓，并根据该矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像；
第四模块，用于将第三模块得到的裁剪后的虹膜图像输入到训练好的第二个CSPDarkNet53深度卷积神经网络中，由此得到虹膜内圆区域的矩形框坐标和分类及置信度；
第五模块，用于将第四模块得到的虹膜内圆区域的矩形框拟合得到虹膜内圆的轮廓。
第三方面，本发明提供了一种二阶段虹膜内外圆边界自动分割设备，包括：
存储器，其用于存储指令；所述存储器存储有至少一条指令、至少一段程序、代码集或指令集；
处理器，其用于加载并执行所述至少一条指令、所述至少一段程序、所述代码集或指令集，以实现上述的二阶段虹膜内外圆边界自动分割方法；
电源组件，其用于为电子设备提供电源；
通信组件，其用于为电子设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
第四方面，本发明提供了一种存储介质，
所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的二阶段虹膜内外圆边界自动分割方法。
与现有技术相比，本发明的有益效果为，
本发明通过集成CSPDarkNet53和和特征金字塔网络及路径聚合网络的方式实现二阶段的虹膜图像内外圆轮廓的分割，有利于虹膜内外边界的精准定位与拟合，也有利于为后续虹膜归一化提供准确的参数。
附图说明
图1是本发明二阶段虹膜内外圆边界的自动分割方法的流程图；
图2是本发明二阶段虹膜内外圆边界的自动分割方法的示意图；
图3是本发明二阶段虹膜内外圆边界的自动分割方法中使用的深度卷积神经网络的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种人眼虹膜图像中基于CSPDarkNet53的二阶段虹膜内外圆边界的自动分割方法，使计算机自主学习兼并人为引导计算机对虹膜特征区域的学习，以达到对实时的自动分割效果。
实施例1
如图1-图3所示，本发明提供了一种人眼虹膜图像中基于CSPDarkNet53的二阶段虹膜内外圆边界的自动分割方法，包括以下步骤：
步骤一：获取虹膜图像数据集并进行预处理操作，以得到预处理数据集。
具体而言，数据集是在非可控的可见光照明条件下采集的虹膜数据集。
本步骤中对获取的数据集进行预处理操作包括以下子步骤：
步骤1-2：对每一幅待分割的人眼虹膜图像进行随机增强操作，以得到随机增强后的图像，构成虹膜的预处理数据集。
步骤2-2：对每一幅随机增强后的人眼虹膜图像进行虹膜外圆裁剪操作，以得到随机增强后裁剪的虹膜外圆图像，构成虹膜内圆分割的数据集。
具体而言，增强操作可以是以一定角度旋转、水平或垂直翻转、边缘镜像的填充方式缩放、小范围程度的亮度随机扰动中的一种操作或其任意组合的操作。
步骤二：将步骤一得到的预处理数据集输入训练好的第一个CSPDarkNet53深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜外圆区域的矩形框坐标和分类及置信度。
步骤三：将步骤二得到的虹膜外圆区域的矩形框拟合得到虹膜外圆区域的轮廓，并根据该矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像。
步骤四：将步骤三得到的裁剪后的虹膜图像输入到训练好的第二个CSPDarkNet53深度卷积神经网络中，由此得到虹膜内圆区域的矩形框坐标和分类及置信度。
步骤五：将步骤四得到的虹膜内圆区域的矩形框拟合得到虹膜内圆的轮廓。
在优选的实施例中，深度卷积神经网络主要包括顺次连接的骨干网CSPDarkNet53和特征金字塔网络及路径聚合网络。
在优选的实施例中，对于骨干网CSPDarkNet53，其网络结构如下：
第一层是输入层，其输入为800*800*3像素的矩阵；
第二层是切片层，其将输入矩阵进行切片操作后变成400*400*12的特征图，再经过一个卷积核为3*3*64，步长为1且使用SAME模式填充的卷积层后得到的输出为400*400*64；
之后是特征抽取层，其采用的是公开的特征抽取网络CSPDarkNet53，CSPDarkNet53是基于DarkNet53网络将其中的残差替换成了跨级分路模块，这样不仅能提高网络的学习能力，还能降低网络的冗余程度和计算量，在该网络中取特征抽取网络CSPDarkNet53中的conv3.x层、conv4.x层和conv5.x层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是100*100*256、50*50*512、25*25*512。
在优选的实施例中，上采样的特征金字塔网络对骨干网CSPDarkNet53输出的特征C3、C4、C5进行特征融合，上采样的特征金字塔网络的网络结构如下：
第一层是在特征C5输出上的卷积层，其卷积核尺寸为1*1*512，步长为1，该层使用SAME模式填充，输出矩阵为25*25*512，记为P5；
第二层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为50*50*512，记为P5_upsample；
第三层是增加层，其将输出矩阵P5_upsample和输出矩阵C4通过通道数相加，输出矩阵大小为50*50*1024；
第四层是和骨干网中一样的模块，由三个跨级分路模块组成，其输出矩阵经过一个卷积核尺寸为1*1*256，步长为1的卷积层后，输出矩阵为50*50*256，记为P4；
第五层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为100*100*256，记为P4_upsample；
第五层是增加层，其将输出矩阵P4_upsample和输出矩阵C3通过通道数相加，输出矩阵大小为100*100*512；
第六层是同样由三个跨级分路模块组成，其输出矩阵大小为100*100*256，记为P3；
在优选的实施例中，路径聚合网络是在特征金字塔的基础上建立一个从下往上的增强路径，缩短底层特征到高层的路径，提升框架内信息流的传播。路径聚合网络的网络结构如下：
第一层是卷积层，其卷积核尺寸为3*3*256，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为50*50*256；
第二层是相加层，其将P4和上一层按通道数相加，输出矩阵大小为50*50*512，记为O2；
第三层同样是三个跨级分路模块组成，其输出矩阵大小为50*50*512；
第四层是卷积层，其卷积核尺寸为3*3*512，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为25*25*512；
第五层是相加层，其将P5和上一层按通道数相加，输出矩阵大小为25*25*1024，记为O3；
第六层同样是三个跨级分路模块组成，其输出矩阵大小为25*25*1024；
最后的输出层是包括了一个卷积核为1*1，步长为1的卷积层，针对P3，O2，O3的256，512，1024三个不同尺寸的通道数的得到的输出。
除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的Hardswish激活函数。
在优选的实施例中，深度卷积神经网络是通过如下步骤训练得到：
(a1)获取数据集并对数据集进行预处理，以得到预处理后的数据集；
(a2)使用步骤(a1)得到的预处理数据集中的训练集部分中的一批次数据，将其输入深度卷积神经网络中，以获得推理输出，将该推理输出和步骤(a1)中预处理后的数据集一并输入深度卷积神经网络的损失函数中，以获取损失值。
(a3)根据SGD算法并使用步骤(a2)得到的损失值对深度卷积神经网络的损失函数进行优化；
(a4)针对步骤(a3)得到的预处理数据集中的训练集部分中的剩余批次数据，重复依次执行上述步骤(a2)和步骤(a3)，直到达到迭代次数为止，从而得到训练好的深度卷积神经网络。
优选地，深度卷积神经网络用的损失值是由如下的损失函数计算得到的：
Lloss＝Lcls+Lobj+Lbbox
Lcls＝-ωcls[ytlogy+(1-yt)log(1-y)]
Lobj＝-ωobj[ytlogy+(1-yt)log(1-y)]
其中，y表示深度卷积神经网络对输入图像的推理输出，yt表示数据集标注的标签，ω表示调节损失值的权重因子，且α∈[0，1]，b表示深度学习对输入图像推理输出的框，bt是数据集标注的框，ρ表示欧式距离，c表示两个框最小外接矩形的对角线距离，IOU则是b和bt两个框交集与并集的比值，v是用来衡量长宽比一致性的参数，
优选地，为了更加精准地定位出虹膜内外圆的边界，避免来自眼睑或者睫毛的遮挡、虹膜与瞳孔的对比度低、镜面反射等干扰因素，两个阶段的曲线拟合采用的是不一样的曲线拟合方式，包括：
第一阶段虹膜外圆的曲线拟合方式采用的是拟合虹膜外圆矩形框的最大内接椭圆，此举是为了避开眼睑和睫毛等的遮挡造成的虹膜外圆无法分割出被遮挡的部分。
第二阶段虹膜内圆的曲线拟合方式采用的是梯度向量流基于内圆的矩形中心点拟合出最终的虹膜内圆轮廓，此举是为了避免虹膜与瞳孔的对比度低和镜面反射造成的对检测的干扰，为了能更精准地分割出虹膜内圆的边界，故使用梯度向量流拟合出虹膜内圆轮廓。
梯度向量流的公式如下：
其中α、β、κ分别为曲线内力的弹性参数，曲率参数和梯度向量场施加的外力参数。
实施例2
本实施例提供了一种二阶段虹膜内外圆边界自动分割装置，包括：
第一模块，用于获取虹膜数据集并进行预处理操作，以得到预处理数据集；
第二模块，用于将第一模块得到的预处理数据集输入训练好的第一个CSPDarkNet53深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜外圆区域的矩形框坐标和分类及置信度；
第三模块，用于将第二模块得到的虹膜外圆区域的矩形框拟合得到虹膜外圆区域的轮廓，并根据该矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像；
第四模块，用于将第三模块得到的裁剪后的虹膜图像输入到训练好的第二个CSPDarkNet53深度卷积神经网络中，由此得到虹膜内圆区域的矩形框坐标和分类及置信度；
第五模块，用于将第四模块得到的虹膜内圆区域的矩形框拟合得到虹膜内圆的轮廓。
需说明的是，本发明实施例的二阶段虹膜内外圆边界自动分割装置与上述实施例的二阶段虹膜内外圆边界自动分割方法的具体实施细节及效果相同或相似，在此不再赘述。
实施例3
本实施例提供了一种二阶段虹膜内外圆边界自动分割设备，包括：
存储器，其用于存储指令；所述存储器存储有至少一条指令、至少一段程序、代码集或指令集；
处理器，其用于加载并执行所述至少一条指令、所述至少一段程序、所述代码集或指令集，以实现上述的二阶段虹膜内外圆边界自动分割方法；
电源组件，其用于为电子设备提供电源；
通信组件，其用于为电子设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
需要说明的是电子设备为计算机设备。
本发明另一实施例还提供一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项二阶段虹膜内外圆边界自动分割方法。
对于计算机设备及存储介质中的虹膜图像分割方法可参考上述实施例进行理解，在此不再赘述。
下面主要结合应用场景对计算机设备及存储介质进行进一步介绍。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置(设备或系统)、或计算机设备、存储介质。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备或系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算机设备包括一个或多个处理器(CPU)、存储器、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明实施例可提供为方法、系统或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本申请中未详述的技术方案，采用公知技术。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种二阶段虹膜内外圆边界自动分割方法，其特征在于，包括以下步骤：
步骤一：获取虹膜数据集并进行预处理操作，以得到预处理数据集；
步骤二：将步骤一得到的预处理数据集输入训练好的第一个CSPDarkNet53深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜外圆区域的矩形框坐标和分类及置信度；
步骤三：将步骤二得到的虹膜外圆区域的矩形框拟合得到虹膜外圆区域的轮廓，并根据该矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像；
步骤四：将步骤三得到的裁剪后的虹膜图像输入到训练好的第二个CSPDarkNet53深度卷积神经网络中，由此得到虹膜内圆区域的矩形框坐标和分类及置信度；
步骤五：将步骤四得到的虹膜内圆区域的矩形框拟合得到虹膜内圆的轮廓；
其中，所述CSPDarkNet53深度卷积神经网络包括顺次连接的骨干网CSPDarkNet53和特征金字塔以及路径聚合网络；
所述骨干网CSPDarkNet53的网络结构如下：
第一层是输入层，其输入为800*800*3像素的矩阵；
第二层是切片层，其将输入矩阵进行切片操作后变成400*400*12的特征图，再经过一个卷积核为3*3*64，步长为1且使用SAME模式填充的卷积层后得到的输出为400*400*64；
之后是特征抽取层，其采用的是公开的特征抽取网络CSPDarkNet53，CSPDarkNet53是基于DarkNet53网络将其中的残差替换成了跨级分路模块，在该网络中取特征抽取网络CSPDarkNet53中的conv3.x层、conv4.x层和conv5.x层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是100*100*256、50*50*512、25*25*512；
上采样的特征金字塔网络对骨干网CSPDarkNet53输出的特征C3、C4、C5进行特征融合，上采样的特征金字塔网络的网络结构如下：
第一层是在特征C5输出上的卷积层，其卷积核尺寸为1*1*512，步长为1，
第一层使用SAME模式填充，输出矩阵为25*25*512，记为P5；
第二层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为50*50*512，记为P5_upsample；
第三层是增加层，其将输出矩阵P5_upsample和输出矩阵C4通过通道数相加，输出矩阵大小为50*50*1024；
第四层是和骨干网中一样的模块，由三个跨级分路模块组成，其输出矩阵经过一个卷积核尺寸为1*1*256，步长为1的卷积层后，输出矩阵为50*50*256，记为P4；
第五层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为100*100*256，记为P4_upsample；
第五层是增加层，其将输出矩阵P4_upsample和输出矩阵C3通过通道数相加，输出矩阵大小为100*100*512；
第六层是同样由三个跨级分路模块组成，其输出矩阵大小为100*100*256，记为P3；
路径聚合网络是在特征金字塔的基础上建立一个从下往上的增强路径，缩短底层特征到高层的路径，路径聚合网络的网络结构如下：
第一层是卷积层，其卷积核尺寸为3*3*256，步长为2，第一层使用SAME模式填充，其输出矩阵上采样之后的大小为50*50*256；
第二层是相加层，其将P4和上一层按通道数相加，输出矩阵大小为50*50*512，记为O2；
第三层同样是三个跨级分路模块组成，其输出矩阵大小为50*50*512；
第四层是卷积层，其卷积核尺寸为3*3*512，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为25*25*512；
第五层是相加层，其将P5和上一层按通道数相加，输出矩阵大小为25*25*1024，记为O3；
第六层同样是三个跨级分路模块组成，其输出矩阵大小为25*25*1024；
最后的输出层是包括了一个卷积核为1*1，步长为1的卷积层，针对P3，O2，O3的256，512，1024三个不同尺寸的通道数的得到的输出；
除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的Hardswish激活函数。
2.根据权利要求1所述的二阶段虹膜内外圆边界自动分割方法，其特征在于，所述虹膜数据集是可见光照明条件下采集的虹膜数据集。
3.根据权利要求1所述的二阶段虹膜内外圆边界自动分割方法，其特征在于，步骤一中对获取的虹膜数据集进行预处理操作包括以下子步骤：
步骤1-1：对每一幅待分割的人眼虹膜图像进行随机增强操作，以得到随机增强后的图像，构成虹膜的预处理数据集；
步骤1-2：对每一幅随机增强后的人眼虹膜图像进行虹膜外圆裁剪操作，以得到随机增强后裁剪的虹膜外圆图像，构成虹膜内圆分割的数据集。
4.一种二阶段虹膜内外圆边界自动分割装置，其特征在于，包括：
第一模块，用于获取虹膜数据集并进行预处理操作，以得到预处理数据集；
第二模块，用于将第一模块得到的预处理数据集输入训练好的第一个CSPDarkNet53深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜外圆区域的矩形框坐标和分类及置信度；
第三模块，用于将第二模块得到的虹膜外圆区域的矩形框拟合得到虹膜外圆区域的轮廓，并根据该矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像；
第四模块，用于将第三模块得到的裁剪后的虹膜图像输入到训练好的第二个CSPDarkNet53深度卷积神经网络中，由此得到虹膜内圆区域的矩形框坐标和分类及置信度；
第五模块，用于将第四模块得到的虹膜内圆区域的矩形框拟合得到虹膜内圆的轮廓；
其中，所述CSPDarkNet53深度卷积神经网络包括顺次连接的骨干网CSPDarkNet53和特征金字塔以及路径聚合网络；
所述骨干网CSPDarkNet53的网络结构如下：
第一层是输入层，其输入为800*800*3像素的矩阵；
第二层是切片层，其将输入矩阵进行切片操作后变成400*400*12的特征图，再经过一个卷积核为3*3*64，步长为1且使用SAME模式填充的卷积层后得到的输出为400*400*64；
之后是特征抽取层，其采用的是公开的特征抽取网络CSPDarkNet53，CSPDarkNet53是基于DarkNet53网络将其中的残差替换成了跨级分路模块，在该网络中取特征抽取网络CSPDarkNet53中的conv3.x层、conv4.x层和conv5.x层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是100*100*256、50*50*512、25*25*512；
上采样的特征金字塔网络对骨干网CSPDarkNet53输出的特征C3、C4、C5进行特征融合，上采样的特征金字塔网络的网络结构如下：
第一层是在特征C5输出上的卷积层，其卷积核尺寸为1*1*512，步长为1，第一层使用SAME模式填充，输出矩阵为25*25*512，记为P5；
第二层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为50*50*512，记为P5_upsample；
第三层是增加层，其将输出矩阵P5_upsample和输出矩阵C4通过通道数相加，输出矩阵大小为50*50*1024；
第四层是和骨干网中一样的模块，由三个跨级分路模块组成，其输出矩阵经过一个卷积核尺寸为1*1*256，步长为1的卷积层后，输出矩阵为50*50*256，记为P4；
第五层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为100*100*256，记为P4_upsample；
第五层是增加层，其将输出矩阵P4_upsample和输出矩阵C3通过通道数相加，输出矩阵大小为100*100*512；
第六层是同样由三个跨级分路模块组成，其输出矩阵大小为100*100*256，记为P3；
路径聚合网络是在特征金字塔的基础上建立一个从下往上的增强路径，缩短底层特征到高层的路径，路径聚合网络的网络结构如下：
第一层是卷积层，其卷积核尺寸为3*3*256，步长为2，第一层使用SAME模式填充，其输出矩阵上采样之后的大小为50*50*256；
第二层是相加层，其将P4和上一层按通道数相加，输出矩阵大小为50*50*512，记为O2；
第三层同样是三个跨级分路模块组成，其输出矩阵大小为50*50*512；
第四层是卷积层，其卷积核尺寸为3*3*512，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为25*25*512；
第五层是相加层，其将P5和上一层按通道数相加，输出矩阵大小为25*25*1024，记为O3；
第六层同样是三个跨级分路模块组成，其输出矩阵大小为25*25*1024；
最后的输出层是包括了一个卷积核为1*1，步长为1的卷积层，针对P3，O2，O3的256，512，1024三个不同尺寸的通道数的得到的输出；
除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的Hardswish激活函数。
5.一种二阶段虹膜内外圆边界自动分割设备，其特征在于，包括：
存储器，其用于存储指令；所述存储器存储有至少一条指令、至少一段程序、代码集或指令集；
处理器，其用于加载并执行所述至少一条指令、所述至少一段程序、所述代码集或指令集，以实现如权利要求1至3中任一项权利要求所述的二阶段虹膜内外圆边界自动分割方法；
电源组件，其用于为电子设备提供电源；
通信组件，其用于为电子设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
6.一种存储介质，其特征在于：
所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至3中任一项权利要求所述的二阶段虹膜内外圆边界自动分割方法。
CN202110862182.3A 2021-07-29 2021-07-29 虹膜内外圆边界自动分割方法、装置、设备及存储介质 Active CN113689385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862182.3A CN113689385B (zh) 2021-07-29 2021-07-29 虹膜内外圆边界自动分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862182.3A CN113689385B (zh) 2021-07-29 2021-07-29 虹膜内外圆边界自动分割方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113689385A CN113689385A (zh) 2021-11-23
CN113689385B true CN113689385B (zh) 2023-10-20

Family

ID=78578228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862182.3A Active CN113689385B (zh) 2021-07-29 2021-07-29 虹膜内外圆边界自动分割方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113689385B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706469B (zh) * 2021-07-29 2024-04-05 天津中科智能识别产业技术研究院有限公司 一种基于多模型投票机制的虹膜自动分割方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
CN106778664A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置
KR101862639B1 (ko) * 2017-05-30 2018-07-04 동국대학교 산학협력단 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110059589A (zh) * 2019-03-21 2019-07-26 昆山杜克大学 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法
CN111340758A (zh) * 2020-02-17 2020-06-26 天津中科智能识别产业技术研究院有限公司 一种基于深度神经网络的高效虹膜图像质量评价新方法
CN113052834A (zh) * 2021-04-20 2021-06-29 河南大学 一种基于卷积神经网络多尺度特征的管道缺陷检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113553B2 (en) * 2018-11-15 2021-09-07 Brown University Iris recognition using fully convolutional networks
TWI754806B (zh) * 2019-04-09 2022-02-11 栗永徽 利用深度學習定位虹膜之裝置與方法
US11966673B2 (en) * 2020-03-13 2024-04-23 Nvidia Corporation Sensor simulation and learning sensor models with generative machine learning methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
CN106778664A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置
KR101862639B1 (ko) * 2017-05-30 2018-07-04 동국대학교 산학협력단 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110059589A (zh) * 2019-03-21 2019-07-26 昆山杜克大学 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法
CN111340758A (zh) * 2020-02-17 2020-06-26 天津中科智能识别产业技术研究院有限公司 一种基于深度神经网络的高效虹膜图像质量评价新方法
CN113052834A (zh) * 2021-04-20 2021-06-29 河南大学 一种基于卷积神经网络多尺度特征的管道缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A Benchmark for Iris Location and a Deep Learning Detector Evaluation";Evair Severo et al;《2021 International Conference on Decision Aid Sciences and Application (DASA)》;全文 *
"Towards Complete and Accurate Iris Segmentation Using Deep Multi-Task Attention Network for Non-Cooperative Iris Recognition";Caiyong Wang等;《 IEEE Transactions on Information Forensics and Security》;全文 *
基于深度学习的视频火焰烟雾检测方法;颜洵;吴正平;雷帮军;;信息通信(第09期);全文 *

Also Published As

Publication number Publication date
CN113689385A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
US20200372648A1 (en) Image processing method and device, computer apparatus, and storage medium
US20190065817A1 (en) Method and system for detection and classification of cells using convolutional neural networks
US20170357847A1 (en) Biologically inspired apparatus and methods for pattern recognition
CN111738262A (zh) 目标检测模型训练、检测方法、装置、设备及存储介质
CN106257495A (zh) 一种数字识别方法及装置
CN111985374B (zh) 人脸定位方法、装置、电子设备及存储介质
CN112330696B (zh) 人脸分割方法、装置及计算机可读存储介质
CN110956126A (zh) 一种联合超分辨率重建的小目标检测方法
CN111524150A (zh) 图像处理的方法及装置
CN113706542A (zh) 基于卷积神经网络及混合损失函数的眼球分割方法及装置
CN108491812B (zh) 人脸识别模型的生成方法和装置
CN113689385B (zh) 虹膜内外圆边界自动分割方法、装置、设备及存储介质
CN113177503A (zh) 基于yolov5的任意朝向目标十二参数检测方法
CN113591719A (zh) 一种自然场景任意形状文本检测方法、装置和训练方法
CN113591746A (zh) 一种文档表格结构检测方法及装置
Dianqing et al. Remote sensing landslide target detection method based on improved Faster R-CNN
Wang et al. SERR-U-Net: squeeze-and-excitation residual and recurrent block-based U-Net for automatic vessel segmentation in retinal image
US20240013516A1 (en) Method and system for deep learning based image feature extraction
CN113762265A (zh) 肺炎的分类分割方法及系统
CN111597845A (zh) 一种二维码检测方法、装置、设备及可读存储介质
CN113537187A (zh) 文本识别方法、装置、电子设备及可读存储介质
CN113706469B (zh) 一种基于多模型投票机制的虹膜自动分割方法及系统
CN113706470B (zh) 一种虹膜图像分割方法、装置、电子设备及存储介质
US20230021551A1 (en) Using training images and scaled training images to train an image segmentation model
Ali et al. A new design based-fusion of features to recognize Arabic handwritten characters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant