CN113837993A - 轻量级虹膜图像分割方法、装置、电子设备及存储介质 - Google Patents

轻量级虹膜图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113837993A
CN113837993A CN202110862073.1A CN202110862073A CN113837993A CN 113837993 A CN113837993 A CN 113837993A CN 202110862073 A CN202110862073 A CN 202110862073A CN 113837993 A CN113837993 A CN 113837993A
Authority
CN
China
Prior art keywords
convolution
channel
iris
output
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110862073.1A
Other languages
English (en)
Other versions
CN113837993B (zh
Inventor
孙哲南
伍湘琼
王云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Original Assignee
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd filed Critical Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority to CN202110862073.1A priority Critical patent/CN113837993B/zh
Publication of CN113837993A publication Critical patent/CN113837993A/zh
Application granted granted Critical
Publication of CN113837993B publication Critical patent/CN113837993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轻量级虹膜图像分割方法、装置、设备及存储介质，本发明基于深度空洞卷积与水平集方法结合的轻量级虹膜内外圆定位框架，利用深度学习模型学习并得到水平集方法所需的初始化轮廓，再通过水平集算法拟合得到最终的虹膜内外圆分割轮廓，避免了单一的以像素做分类来实现分割的方法，粗定位‑细分割的方法也使得该框架的虹膜轮廓定位更加精准。

Description

轻量级虹膜图像分割方法、装置、电子设备及存储介质
技术领域
本发明属于生物识别技术领域，特别涉及一种轻量级虹膜图像分割方法、装置、设备及存储介质。
背景技术
虹膜识别为一种生物特征识别技术。目前已有的基于深度学习的虹膜区域分割方法在分割虹膜边界时要么精度高但是速度不大理想且计算成本高，要么速度快但是分割精度不高，而且绝大部分的分割均是对像素进行直接分类，少有针对轮廓的获取方法。
发明内容
针对现有技术的以上缺陷或改进需求，本发明的目的在于提供了一种轻量级虹膜图像分割方法、装置、电子设备及存储介质。
为了实现上述目的，
第一方面，本发明提供了一种轻量级虹膜图像分割方法，包括以下步骤：
步骤一：对获取的虹膜图像进行预处理，得到归一化后的虹膜图像数据；
步骤二：将归一化后的虹膜图像数据输入训练好的轻量级分割模型中，得到虹膜内外圆的分割掩膜；
步骤三：针对虹膜内外圆的分割掩膜，利用距离变换函数得到虹膜内外圆的带符号距离的曲面图；
步骤四：利用水平集算法在曲面图上拟合出虹膜内外圆的边界轮廓。
其中，
所述轻量级分割模型的网络结构包括：卷积层C0、通道金字塔卷积块CFB0以及第一组合通道金字塔卷积块、分路卷积块SP0、第二组合通道金字塔卷积块、分路卷积块SP1、空间-通道融合模块SC0、空间-通道融合模块SC1、卷积层C1、上采样U0，
归一化后的虹膜图像数据依次输入卷积层C0、通道金字塔卷积块CFB0、第一组合通道金字塔卷积块、分路卷积块SP0、第二组合通道金字塔卷积块、分路卷积块SP1；
第一组合通道金字塔卷积块包括三个相同结构的通道金字塔卷积块，且第一组合通道金字塔卷积块最终的输出是由第一个通道金字塔卷积块的输出与最后一个通道金字塔卷积块的输出相加得到的，将相加的结果再通过分路卷积块SP0输出；.
第二组合通道金字塔卷积块包括六个相同结构的通道金字塔卷积块，且第二组合通道金字塔卷积块最终的输出是由第一个通道金字塔卷积块的输出与最后一个通道金字塔卷积块的输出相加得到的，将相加的结果再通过分路卷积块SP1输出；.
空间-通道融合模块SC0用于融合分路卷积块SP0输出和分路卷积块SP1输出；空间-通道融合模块SC1用于融合通道金字塔卷积块CFB0的输出和空间-通道融合模块SC0的输出；
空间-通道融合模块SC1的输出进入卷积层C1后进行上采样U0至输入图像大小，生成分割掩膜；
所述卷积层C0卷积核为3*3，步长为2。
其中，
所述通道金字塔卷积块包括卷积层F0和卷积层F9、注意力层SE，输入通道金字塔卷积块的数据经过卷积层F0，卷积之后的输出通道分成4份{f0,f1,f2,f3}，除第一份直接过3*3卷积层F1之外，其他三份均需接连与上一份的卷积输出相加再过一个3*3卷积层，最后将四份结果{B0,B1,B2,B3}以通道维度进行拼接，再将拼接的输出经过一个卷积层F9后再过注意力层SE和原本的输入相加得到输出结果；
所述卷积层F0卷积核为1*1。
其中，
所述分路卷积块由一个3*3的卷积层加两个分支和一个1*1的卷积层组成的，输入过一个3*3的卷积层S0通道数减半后分别过一个3*1的深度卷积层S1加一个3*1的深度空洞卷积层S3的分支，另一个分支是由一个1*3的深度卷积层S2与一个1*3的深度空洞卷积层S4组成的，两个分支的输出结果相加A4后过一个1*1的卷积层S5与输入相加A5得到最终的输出。
其中，
所述空间-通道融合模块有两个输入，输入1为底层信息L，过一个1*1的卷积层L0之后再沿通道维度求平均M0后，再过一个1*1的卷积层L1与一个sigmoid激活函数，得到底层信息的空间注意力特征图SF；输入2为高层特征H，同样过一个1*1的卷积层H0之后再平均池化AP，再过一个1*1的卷积层H1与一个ReLU激活函数和一个sigmoid激活函数，得到通道注意力特征图CF；通道的注意力特征图CF与底层信息刚过1*1卷积层L0后得到的信息相乘，实现通道注意力机制的加权操作，空间注意力特征图SF与高层特征过1*1卷积层H0之后得到的信息相乘，实现空间注意力机制的加权操作，将通道注意力机制加权之后的输出cf与空间注意力机制加权之后的输出sf相加得到空间与通道特征融合的输出。
其中，
获取的虹膜图像是在不同光照条件下采集的虹膜图像，包括红外光环境下的图像数据和可见光环境下的图像数据。
其中，
所述水平集算法的能量公式如下：
假设{u:u(t)＝0}表示闭合的曲线,
Figure BDA0003186127060000041
其中，c为常数，k为曲率即
Figure BDA0003186127060000042
g(I)代表边缘停止函数，即
Figure BDA0003186127060000043
I表示去噪后的灰度图像。
第二方面，
本发明提供了一种轻量级虹膜图像分割装置，包括：
图像预处理单元，其用于对获取的虹膜图像进行预处理，得到归一化后的虹膜图像数据；
分割掩膜获取单元，其用于将归一化后的虹膜图像数据输入训练好的轻量级分割模型中，得到虹膜内外圆的分割掩膜；
曲面图获取单元，其用于针对虹膜内外圆的分割掩膜，利用距离变换函数得到虹膜内外圆的带符号距离的曲面图；
边界计算单元，其用于利用水平集算法在曲面图上拟合出虹膜内外圆的边界轮廓。
第三方面，
本发明提供了一种电子设备，包括：
存储器，其用于存储指令；所述存储器存储有至少一条指令、至少一段程序、代码集或指令集；
处理器，其用于加载并执行所述至少一条指令、所述至少一段程序、所述代码集或指令集，以实现上述的轻量级虹膜图像分割方法；
电源组件，其用于为设备提供电源；
通信组件，其用于为设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
第四方面，
本发明提供了一种存储介质，
所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的轻量级虹膜图像分割方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)、本发明通过将深度学习模型与水平集方法的融合，取长补短，降低了深度学习模型对像素分类的依赖，提升了轮廓拟合的能力，实现实时的虹膜定位。其中深度学习模型为水平集方法提供泛化能力，水平集方法增强深度学习模型在轮廓描绘上的能力。
(2)、本发明在深度学习模型中融合了深度空洞卷积扩大了感受野，采用通道金字塔降低计算量，空间与通道注意力机制的融合来强调突出一些重要信息，抑制一些无关紧要的细节信息。这些都在很大程度上提升了模型的精度和速度，降低了模型的复杂度。
(3)、深度学习方法使得方法更具有泛化能力，而且足够轻量，参数量少，多种架构的融合使得模型具备更好的信息提取能力。水平集方法解决了传统主动轮廓模型无法实现轮廓分合的难题以及需要提前预设参数的问题，水平集方法在运行速度上也极大地优于传统主动轮廓模型。
附图说明
图1是本发明实施例提供的一种轻量级虹膜图像分割方法流程图；
图2是本发明实施例提供的轻量级分割模型的结构示意图；
图3是本发明实施例提供的通道金字塔卷积块的结构示意图；
图4是本发明实施例提供的分路卷积块的结构示意图；
图5是本发明实施例提供的空间-通道融合模块的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
目前已存在的虹膜分割方法要么无法精准定位到边界，要么运行速度过慢，为了精确描述出虹膜内外边界轮廓，提高分割运行速度，本发明提出一种基于注意力机制与水平集算法结合的轻量级虹膜图像分割模型，利用深度学习模型学习并得到水平集方法所需的初始化轮廓，再通过水平集算法拟合得到最终的虹膜内外圆分割轮廓，很大程度上减少了模型的参数量，加快了模型的运行速度，利用深度学习模型结合传统分割方法获取更加精准的虹膜内外边界轮廓，更轻量，更快速，更准确地实现虹膜内外轮廓的定位。
实施例1
如图1所示，本发明实施例提供了一种轻量级虹膜图像分割方法，包括以下步骤：
步骤P1：对获取的虹膜图像进行预处理操作。本发明方法的输入是在不同光照条件下采集的虹膜图像，既包含红外光环境下的图像数据，又包含有可见光环境下的图像数据。虹膜图像数据经过预处理等操作，获得归一化之后的虹膜数据和相应的掩膜数据，预处理操作可表示为:Ipre＝Fpre(I)，其中，I表示输入的虹膜图像，Fpre表示预处理操作。
步骤P2：利用训练好的轻量级分割模型分割掩膜。归一化后的图像输入到轻量级分割模型中，由分割模型学习虹膜图像中虹膜内外圆的特征，然后将分割模型预测得到的虹膜内外圆的分割掩膜作为水平集算法的初始化轮廓，对应该步骤可表示为：
Miris,Mpupil＝φ(Ipre)
其中，φ表示轻量级分割模型，Miris,Mpupil分别表示模型输出的虹膜外圆与内圆的分割掩膜。
分割模型在通过对归一化后的虹膜图像数据进行特征提取与学习后，计算得到的结果图与掩膜图之间相应的损失，再传到分割网络更新网络权重。本方法使用经典的交叉熵损失，损失函数如下：
Figure BDA0003186127060000071
其中，y表示深度卷积神经网络对输入图像的推理输出，yt表示数据集标注的标签。
Lce通过Adam优化器不断迭代优化直到获得最小值，使得分割网络能学习到虹膜内外圆部分的像素类别，进一步提高虹膜内外圆分割的精度与速度。
本发明实施例中，如图2所示，图2既是轻量级分割模型网络的结构图，也是处理数据的流程图，轻量级分割模型网络得到原始大小经过归一化处理等操作后的虹膜图像数据Ipre，经过一个卷积核为3*3，步长为2的卷积层C0之后得到原始分辨率一半大小的特征图c0，再过一个通道金字塔卷积块CFB0，
通道金字塔卷积块如图3所示，图3既是通道金字塔卷积块的结构图，也是处理数据的流程图，输入经过一个1*1的卷积层F0之后将卷积之后的输出通道分成4份{f0,f1,f2,f3}，除第一份直接过3*3卷积层F1之外，其他三份均需接连与上一份的卷积输出相加再过一个3*3卷积层，最后将四份结果{B0,B1,B2,B3}以通道维度进行拼接，再将拼接的输出经过一个卷积层F9后再过注意力层SE和原本的输入相加得到输出结果。
之后再接第二个组合的通道金字塔卷积块和一个分路卷积块SP0，该组合的通道金字塔卷积块由三个相同结构的通道金字塔卷积块{CFB1,CFB2,CFB3}组成，只是该组合卷积块最终的输出是由第一个卷积块CFB1的输出与最后一个卷积块CFB3的输出相加得到的.
分路卷积块SP0是由一个3*3的卷积层加两个分支和一个1*1的卷积组成的，如图4所示，图4既是分路卷积块的结构图，也是处理数据的流程图，输入过一个3*3的卷积层S0通道数减半后分别过一个3*1的深度卷积层S1加一个3*1的深度空洞卷积层S3的分支，另一个分支是由一个1*3的深度卷积S2与一个1*3的深度空洞卷积S4组成的，两个分支的输出结果相加A4后过一个1*1的卷积S5与输入相加A5得到最终的输出。
再然后接第三个组合的通道金字塔卷积块和一个分路卷积块SP1，该组合的通道金字塔卷积块由六个相同结构的通道金字塔卷积块{CFB4,CFB5,CFB6,CFB7,CFB8,CFB9}组成，该组合的通道金字塔卷积块最终的输出同样是由第一个卷积块CFB4的输出与最后一个卷积块的输出CFB9相加得到的，将相加的结果再通过分路卷积块SP1后得到最终的输出。
为了充分利用卷积层提取的特征，该框架为了减少参数量，加强特征学习，故采用了空间-通道融合模块SC0，该模块结构如图5所示，图4既是空间-通道融合模块(空间-通道注意力融合模块)的结构图，也是处理数据的流程图，该模块同时有两个输入，输入1为底层信息L，过一个1*1的卷积层L0之后再沿通道维度求平均M0后，再过一个1*1的卷积层L1与一个sigmoid激活函数，得到底层信息的空间注意力特征图SF；输入2为高层特征H，同样过一个一个1*1的卷积层H0之后再平均池化AP，再过一个1*1的卷积层H1与一个ReLU激活函数和一个sigmoid激活函数，得到通道注意力特征图CF；通道的注意力特征图CF与底层信息刚过1*1卷积层L0后得到的信息相乘，实现通道注意力机制的加权操作，空间注意力特征图SF与高层特征过1*1卷积H0之后得到的信息相乘，实现空间注意力机制的加权操作，至此，将通道注意力机制加权之后的输出cf与空间注意力机制加权之后的输出sf相加得到空间与通道特征融合的输出。
该空间-通道注意力融合模块主要用于融合第二个分路卷积块s30和第一个分路卷积块s20的输出，以及融合第一个通道金字塔卷积块s10与前一个空间-通道注意力融合模块s21的输出，将最后一个空间通道注意力融合模块的输出经过一个1*1的卷积层C1后进行上采样U0至输入图像大小，生成分割掩膜Miris,Mpupil。
步骤P3：将分割掩膜进行距离转换得到初始化曲面。针对虹膜内外圆的分割掩膜，利用距离变换函数得到虹膜内外圆的带符号距离的曲面图；通过距离变换函数得到虹膜内外圆的带符号距离的曲面图，该步骤可表示为：
Siris＝D(Miris),Spupil＝D(Mpupil)
其中，D表示距离变换函数，Siris与Spupil表示得到的虹膜外圆与内圆的带符号距离的曲面图。
步骤P4：初始化曲面经水平集算法得到虹膜内外圆轮廓。
然后采用水平集算法在初始曲面上不断迭代计算拟合出虹膜内外圆的边界轮廓，可表示为：
Figure BDA0003186127060000091
其中，
Figure BDA0003186127060000092
表示水平集算法，Biris与Bpupil表示得到的虹膜外圆与内圆的边界轮廓。
通过距离变换函数得到虹膜内外圆的带符号距离的曲面图Siris,Spupil后将其作为水平集的初始轮廓输入到水平集算法中，拟合得到最终的虹膜内外圆轮廓。其中水平集算法的能量公式如下：
假设{u:u(t)＝0}表示闭合的曲线,
Figure BDA0003186127060000093
其中，c为常数，k为曲率即
Figure BDA0003186127060000101
g(I)代表边缘停止函数，即
Figure BDA0003186127060000102
I表示去噪后的灰度图像。
该水平集方法既结合了几何活动轮廓的可拓扑性，又解决了参数化活动轮廓预设置参数的问题，速度比参数化轮廓快得多。
实施例2
本实施例提供了一种轻量级虹膜图像分割装置，包括：
图像预处理单元，其用于对获取的虹膜图像进行预处理，得到归一化后的虹膜图像数据；
分割掩膜获取单元，其用于将归一化后的虹膜图像数据输入训练好的轻量级分割模型中，得到虹膜内外圆的分割掩膜；
曲面图获取单元，其用于针对虹膜内外圆的分割掩膜，利用距离变换函数得到虹膜内外圆的带符号距离的曲面图；
边界计算单元，其用于利用水平集算法在曲面图上拟合出虹膜内外圆的边界轮廓。
需说明的是，本发明实施例提供的轻量级虹膜图像分割装置与上述实施例的轻量级虹膜图像分割方法的具体实施细节及效果相同或相似，在此不再赘述。
实施例3
本实施例提供了一种电子设备，包括：
存储器，其用于存储指令；所述存储器存储有至少一条指令、至少一段程序、代码集或指令集；
处理器，其用于加载并执行所述至少一条指令、所述至少一段程序、所述代码集或指令集，以实现上述的轻量级虹膜图像分割方法；
电源组件，其用于为电子设备提供电源；
通信组件，其用于为电子设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
需要说明的是电子设备为计算机设备。
本发明另一实施例还提供一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项轻量级虹膜图像分割方法。
对于计算机设备及存储介质中的轻量级虹膜图像分割方法可参考上述实施例进行理解，在此不再赘述。
下面主要结合应用场景对计算机设备及存储介质进行进一步介绍。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置(设备或系统)、或计算机设备、存储介质。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备或系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算机设备包括一个或多个处理器(CPU)、存储器、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明实施例可提供为方法、系统或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

Claims (10)

1.一种轻量级虹膜图像分割方法，其特征在于，包括以下步骤：
步骤一：对获取的虹膜图像进行预处理，得到归一化后的虹膜图像数据；
步骤二：将归一化后的虹膜图像数据输入训练好的轻量级分割模型中，得到虹膜内外圆的分割掩膜；
步骤三：针对虹膜内外圆的分割掩膜，利用距离变换函数得到虹膜内外圆的带符号距离的曲面图；
步骤四：利用水平集算法在曲面图上拟合出虹膜内外圆的边界轮廓。
2.根据权利要求1所述的轻量级虹膜图像分割方法，其特征在于，
所述轻量级分割模型的网络结构包括：卷积层C0、通道金字塔卷积块CFB0以及第一组合通道金字塔卷积块、分路卷积块SP0、第二组合通道金字塔卷积块、分路卷积块SP1、空间-通道融合模块SC0、空间-通道融合模块SC1、卷积层C1、上采样U0，
归一化后的虹膜图像数据依次输入卷积层C0、通道金字塔卷积块CFB0、第一组合通道金字塔卷积块、分路卷积块SP0、第二组合通道金字塔卷积块、分路卷积块SP1；
第一组合通道金字塔卷积块包括三个相同结构的通道金字塔卷积块，且第一组合通道金字塔卷积块最终的输出是由第一个通道金字塔卷积块的输出与最后一个通道金字塔卷积块的输出相加得到的，将相加的结果再通过分路卷积块SP0输出；.
第二组合通道金字塔卷积块包括六个相同结构的通道金字塔卷积块，且第二组合通道金字塔卷积块最终的输出是由第一个通道金字塔卷积块的输出与最后一个通道金字塔卷积块的输出相加得到的，将相加的结果再通过分路卷积块SP1输出；.
空间-通道融合模块SC0用于融合分路卷积块SP0输出和分路卷积块SP1输出；空间-通道融合模块SC1用于融合通道金字塔卷积块CFB0的输出和空间-通道融合模块SC0的输出；
空间-通道融合模块SC1的输出进入卷积层C1后进行上采样U0至输入图像大小，生成分割掩膜；
所述卷积层C0卷积核为3*3，步长为2。
3.根据权利要求2所述的轻量级虹膜图像分割方法，其特征在于，
所述通道金字塔卷积块包括卷积层F0和卷积层F9、注意力层SE，输入通道金字塔卷积块的数据经过卷积层F0，卷积之后的输出通道分成4份{f0，f1，f2，f3}，除第一份直接过3*3卷积层F1之外，其他三份均需接连与上一份的卷积输出相加再过一个3*3卷积层，最后将四份结果{B0,B1,B2,B3}以通道维度进行拼接，再将拼接的输出经过一个卷积层F9后再过注意力层SE和原本的输入相加得到输出结果；
所述卷积层F0卷积核为1*1。
4.根据权利要求2所述的轻量级虹膜图像分割方法，其特征在于，
所述分路卷积块由一个3*3的卷积层加两个分支和一个1*1的卷积层组成的，输入过一个3*3的卷积层S0通道数减半后分别过一个3*1的深度卷积层S1加一个3*1的深度空洞卷积层S3的分支，另一个分支是由一个1*3的深度卷积层S2与一个1*3的深度空洞卷积层S4组成的，两个分支的输出结果相加A4后过一个1*1的卷积层S5与输入相加A5得到最终的输出。
5.根据权利要求2所述的轻量级虹膜图像分割方法，其特征在于，
所述空间-通道融合模块有两个输入，输入1为底层信息L，过一个1*1的卷积层L0之后再沿通道维度求平均M0后，再过一个1*1的卷积层L1与一个sigmoid激活函数，得到底层信息的空间注意力特征图SF；输入2为高层特征H，同样过一个1*1的卷积层H0之后再平均池化AP，再过一个1*1的卷积层H1与一个ReLU激活函数和一个sigmoid激活函数，得到通道注意力特征图CF；通道的注意力特征图CF与底层信息刚过1*1卷积层L0后得到的信息相乘，实现通道注意力机制的加权操作，空间注意力特征图SF与高层特征过1*1卷积层H0之后得到的信息相乘，实现空间注意力机制的加权操作，将通道注意力机制加权之后的输出cf与空间注意力机制加权之后的输出sf相加得到空间与通道特征融合的输出。
6.根据权利要求1所述的轻量级虹膜图像分割方法，其特征在于，
获取的虹膜图像是在不同光照条件下采集的虹膜图像，包括红外光环境下的图像数据和可见光环境下的图像数据。
7.根据权利要求1所述的轻量级虹膜图像分割方法，其特征在于，
所述水平集算法的能量公式如下：
假设{u:u(t)＝0}表示闭合的曲线，
Figure FDA0003186127050000031
其中，c为常数，k为曲率即
Figure FDA0003186127050000032
g(I)代表边缘停止函数，即
Figure FDA0003186127050000033
I表示去噪后的灰度图像。
8.一种轻量级虹膜图像分割装置，其特征在于，包括：
图像预处理单元，其用于对获取的虹膜图像进行预处理，得到归一化后的虹膜图像数据；
分割掩膜获取单元，其用于将归一化后的虹膜图像数据输入训练好的轻量级分割模型中，得到虹膜内外圆的分割掩膜；
曲面图获取单元，其用于针对虹膜内外圆的分割掩膜，利用距离变换函数得到虹膜内外圆的带符号距离的曲面图；
边界计算单元，其用于利用水平集算法在曲面图上拟合出虹膜内外圆的边界轮廓。
9.一种电子设备，其特征在于，包括：
存储器，其用于存储指令；所述存储器存储有至少一条指令、至少一段程序、代码集或指令集；
处理器，其用于加载并执行所述至少一条指令、所述至少一段程序、所述代码集或指令集，以实现如权利要求1至7中任一项权利要求所述的轻量级虹膜图像分割方法；
电源组件，其用于为设备提供电源；
通信组件，其用于为设备提供通信功能；
输入/输出接口，其用于接收输入指令及向外输出信息。
10.一种存储介质，其特征在于：
所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7中任一项权利要求所述的轻量级虹膜图像分割方法。
CN202110862073.1A 2021-07-29 2021-07-29 轻量级虹膜图像分割方法、装置、电子设备及存储介质 Active CN113837993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862073.1A CN113837993B (zh) 2021-07-29 2021-07-29 轻量级虹膜图像分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862073.1A CN113837993B (zh) 2021-07-29 2021-07-29 轻量级虹膜图像分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113837993A true CN113837993A (zh) 2021-12-24
CN113837993B CN113837993B (zh) 2024-01-30

Family

ID=78963024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862073.1A Active CN113837993B (zh) 2021-07-29 2021-07-29 轻量级虹膜图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113837993B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661178A (zh) * 2022-11-17 2023-01-31 博奥生物集团有限公司 分割罐印图像的方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253622A1 (en) * 2006-09-15 2008-10-16 Retica Systems, Inc. Multimodal ocular biometric system and methods
US9171261B1 (en) * 2011-09-24 2015-10-27 Z Advanced Computing, Inc. Analyzing or resolving ambiguities in an image for object or pattern recognition
CN109325455A (zh) * 2018-09-28 2019-02-12 北京无线电计量测试研究所 一种虹膜定位与特征提取方法和系统
CN109410219A (zh) * 2018-10-09 2019-03-01 山东大学 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN109409342A (zh) * 2018-12-11 2019-03-01 北京万里红科技股份有限公司 一种基于轻量卷积神经网络的虹膜活体检测方法
CN111027464A (zh) * 2019-12-09 2020-04-17 大连理工大学 对卷积神经网络和序特征编码联合优化的虹膜识别方法
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN112465827A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
US20210173206A1 (en) * 2019-12-09 2021-06-10 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253622A1 (en) * 2006-09-15 2008-10-16 Retica Systems, Inc. Multimodal ocular biometric system and methods
US9171261B1 (en) * 2011-09-24 2015-10-27 Z Advanced Computing, Inc. Analyzing or resolving ambiguities in an image for object or pattern recognition
CN109325455A (zh) * 2018-09-28 2019-02-12 北京无线电计量测试研究所 一种虹膜定位与特征提取方法和系统
CN109410219A (zh) * 2018-10-09 2019-03-01 山东大学 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN109409342A (zh) * 2018-12-11 2019-03-01 北京万里红科技股份有限公司 一种基于轻量卷积神经网络的虹膜活体检测方法
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN111027464A (zh) * 2019-12-09 2020-04-17 大连理工大学 对卷积神经网络和序特征编码联合优化的虹膜识别方法
US20210173206A1 (en) * 2019-12-09 2021-06-10 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
CN112465827A (zh) * 2020-12-09 2021-03-09 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BINGBING ZHENG等: ""MSD-Net: Multi-Scale Discriminative Network for COVID-19 Lung Infection Segmentation on CT"", 《IEEE ACCESS》, vol. 8 *
CAIYONG WANG等: ""Towards Complete and Accurate Iris Segmentation Using Deep Multi-Task Attention Network for Non-Cooperative Iris Recognition"", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》, vol. 15 *
吕念祖: ""基于深度学习的医学图像分割算法研究"", 《中国优秀硕士学位论文全文数据库》 *
王财勇;孙哲南;: "虹膜分割算法评价基准", 计算机研究与发展, no. 02 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661178A (zh) * 2022-11-17 2023-01-31 博奥生物集团有限公司 分割罐印图像的方法和装置

Also Published As

Publication number Publication date
CN113837993B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
US11367271B2 (en) Similarity propagation for one-shot and few-shot image segmentation
CN108470320B (zh) 一种基于cnn的图像风格化方法及系统
CN111507378A (zh) 训练图像处理模型的方法和装置
US11580356B2 (en) Efficient inferencing with piecewise pointwise convolution
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN111696110B (zh) 场景分割方法及系统
CN110956126A (zh) 一种联合超分辨率重建的小目标检测方法
Xu et al. Unsupervised spectral–spatial semantic feature learning for hyperspectral image classification
CN112257759A (zh) 一种图像处理的方法以及装置
EP3867808A1 (en) Method and device for automatic identification of labels of image
Novak Vehicle detection and pose estimation for autonomous driving
Vaquero et al. Tracking more than 100 arbitrary objects at 25 FPS through deep learning
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN113837993A (zh) 轻量级虹膜图像分割方法、装置、电子设备及存储介质
CN116740362B (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
Ke et al. SRN: Side-output residual network for object reflection symmetry detection and beyond
CN113706470B (zh) 一种虹膜图像分割方法、装置、电子设备及存储介质
CN111967365B (zh) 影像连接点的提取方法和装置
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质
TW202117609A (zh) 具有快速逐點迴旋的高效推斷
Zhang et al. A Context-Aware Road Extraction Method for Remote Sensing Imagery based on Transformer Network
Sun et al. A Metaverse text recognition model based on character-level contrastive learning
Smith et al. Deep convolutional-shepard interpolation neural networks for image classification tasks
Niroshan et al. Poly-GAN: Regularizing Polygons with Generative Adversarial Networks
Yang et al. DBRS2: dense boundary regression for semantic segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant