CN112287872B - 基于多任务神经网络的虹膜图像分割、定位和归一化方法 - Google Patents

基于多任务神经网络的虹膜图像分割、定位和归一化方法 Download PDF

Info

Publication number
CN112287872B
CN112287872B CN202011259747.0A CN202011259747A CN112287872B CN 112287872 B CN112287872 B CN 112287872B CN 202011259747 A CN202011259747 A CN 202011259747A CN 112287872 B CN112287872 B CN 112287872B
Authority
CN
China
Prior art keywords
iris
point
boundary
outer boundary
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011259747.0A
Other languages
English (en)
Other versions
CN112287872A (zh
Inventor
王财勇
田启川
郭茂祖
何召锋
孙哲南
王云龙
张琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202011259747.0A priority Critical patent/CN112287872B/zh
Publication of CN112287872A publication Critical patent/CN112287872A/zh
Application granted granted Critical
Publication of CN112287872B publication Critical patent/CN112287872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明属于模式识别、计算机视觉与生物特征识别领域，具体涉及了一种基于多任务神经网络的虹膜图像分割、定位和归一化方法，旨在解决非受控场景下虹膜图像分割、定位和归一化的精度不高、耗时较长、限制较多的问题。本发明包括：将虹膜图像在多任务神经网络中前向传播，获得虹膜掩膜映射图、内外边界中心点热力图和回归映射图，并提取内外边界中心点坐标；进行双线性插值，结合极坐标变换获取虹膜内外边界点坐标；均匀采样获取极坐标系下角度节点和半径节点，并以角度和半径为权重进行线性插值，获得虹膜环状有效区域点的坐标；双线性插值获得归一化虹膜图像和虹膜掩模。本发明可以实现非受控场景下的虹膜图像高效、准确的分割、定位及归一化。

Description

基于多任务神经网络的虹膜图像分割、定位和归一化方法
技术领域
本发明属于模式识别、计算机视觉与生物特征识别领域，具体涉及了一种基于多任务神经网络的虹膜图像分割、定位和归一化方法。
背景技术
在众多的生物特征识别技术中，虹膜识别因其呈现的高度稳定性、准确性、非接触性和防伪性等特性，被公认为是一种最有前途的身份识别方法之一，广泛应用于门禁考勤、边境控制、银行金融、司法鉴定等领域。
一般地，虹膜识别系统包含虹膜图像获取、虹膜预处理、虹膜特征提取和特征匹配等模块，其中，虹膜预处理进一步地包含虹膜图像质量评估、虹膜活体检测、虹膜分割、虹膜定位和虹膜归一化。在众多的预处理模块中，虹膜分割、定位和归一化是影响整个虹膜识别性能最关键的三个部分。
虹膜分割用于提取有效的虹膜纹理区域，排除各类噪声的干扰，输出虹膜掩模。虹膜定位用于检测虹膜-瞳孔和虹膜-巩膜之间的内外边界。基于虹膜分割和定位的结果，通过虹膜归一化将原始的虹膜图像和分割后的虹膜掩模从笛卡尔坐标系映射到极坐标系下大小固定的矩形区域，从而减少虹膜尺寸和瞳孔缩放带来的类内变化。归一化的图像将被用作后续的虹膜特征提取和匹配。
传统的虹膜分割、定位和归一化方法主要是为受控的虹膜识别系统而开发，这类系统在对成像光源和用户配合上做了较多限制后，通常可以获取清晰良好的虹膜图像，因此产生了准确鲁棒的预处理结果。近些年来，面向远距离、移动端和可见光条件下的非受控虹膜识别获得了快速的发展，然而在此条件下，获取的虹膜图像经常遭受遮挡、模糊、旋转、斜眼、镜面反射等噪声的干扰。面对这类图像，传统的方法由于依赖大量的先验知识、繁杂的前后处理操作，并且往往需要预设经验性的超参数等，经常导致预处理操作失败，严重影响了虹膜识别的性能。此外，很多传统的方法只能处理某一类或者几类噪声虹膜图像，不具备普适性，增加了处理未知类别虹膜图像的难度。
近些年来，深度学习技术在各类计算机视觉、生物特征识别任务中有着卓越的表现。特别地，对于虹膜图像预处理，也有大量的研究致力于提升图像质量评估、虹膜活体检测、虹膜分割等方面的性能，尤其是对于虹膜分割，许多学者提出了基于全卷积神经网络(FCN，FullyConvolutional Network)的通用的虹膜分割方法，在各类非受控虹膜图像上取得了良好的效果。然而对于虹膜定位以及归一化，目前仍然缺乏一种快速鲁棒的通用的解决方案。一些方法通过基于FCN预测的虹膜掩模定位虹膜内外圆，然而经常因虹膜掩模的不完整性而导致失败，此外将虹膜边界参数化为圆也不适用于斜眼等虹膜图像。也有方法提出将虹膜定位建模成虹膜内外边界曲线的预测，并基于全卷积神经网络而实现，但是网络预测的曲线经常是噪声的，且没有参数化，因此需要预设参数化的形式(设置边界为圆或者椭圆)和依赖较多繁杂耗时的后处理操作才能获取虹膜归一化所需的定位结果。
总的来说，为了能够有效地处理非受控场景下的虹膜识别问题，本领域还急需一种通用的、准确的、实时的虹膜图像分割、定位和归一化方法，通过新的基于深度学习的通用建模方式，彻底去除任何繁杂的前后处理操作,并且无需提前预设虹膜的尺寸或者指定虹膜边界的参数化形式，从而有效提高虹膜图像分割、定位和归一化的精度和效率。
发明内容
为了解决现有技术中的上述问题，即非受控场景下虹膜图像分割、定位和归一化的精度不高、耗时较长、限制较多的问题，本发明提供了一种基于多任务神经网络的虹膜图像分割、定位方法，该虹膜图像分割、定位方法包括：
步骤S10，将获取的待处理虹膜图像输入多任务神经网络中进行前向传播，获得虹膜掩膜映射图、虹膜内边界和外边界中心点热力图以及虹膜内边界点和外边界点回归映射图；所述虹膜掩膜映射图为虹膜图像的分割结果；
步骤S20，采用Soft-argmax函数分别处理所述虹膜内边界和外边界中心点热力图，获得虹膜内边界和外边界中心点坐标
Figure BDA0002774250460000031
和
Figure BDA0002774250460000032
步骤S30，基于所述虹膜内边界点和外边界点回归映射图，通过双线性插值法分别获取坐标
Figure BDA0002774250460000033
在n个预设的均匀采样角度{θi|i＝1,2,…,n}下的内边界射线长度
Figure BDA0002774250460000034
和外边界射线长度
Figure BDA0002774250460000035
步骤S40，基于所述内边界射线长度
Figure BDA0002774250460000036
和外边界射线长度
Figure BDA0002774250460000037
结合极坐标变换公式，获得n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA0002774250460000038
和虹膜外边界点坐标
Figure BDA0002774250460000039
所述虹膜内边界中心点坐标
Figure BDA00027742504600000310
和虹膜外边界中心点坐标
Figure BDA00027742504600000311
以及虹膜内边界点坐标
Figure BDA00027742504600000312
和虹膜外边界点坐标
Figure BDA00027742504600000313
为虹膜图像的定位结果；
通过极坐标变换公式获取待处理虹膜图像的虹膜内边界点和外边界点坐标：
Figure BDA0002774250460000041
其中，k＝1表示内边界，k＝2表示外边界，
Figure BDA0002774250460000042
代表第i个采样角度θi下的虹膜内边界或外边界射线长度，
Figure BDA0002774250460000043
分别代表虹膜内边界或外边界中心点的x,y坐标。
在一些优选的实施例中，步骤S30包括：
步骤S31，分别定义对应虹膜内边界和外边界中心点的双线性采样核Qk，k＝1代表虹膜内边界，k＝2代表虹膜外边界：
Figure BDA0002774250460000044
其中，max(·)代表求最大值操作；
步骤S32，基于所述虹膜内边界点和外边界点回归映射图，分别以第i个通道
Figure BDA0002774250460000045
下所有离散像素点的像素值的线性组合作为内边界射线长度
Figure BDA0002774250460000046
和外边界射线长度
Figure BDA0002774250460000047
Figure BDA0002774250460000048
其中，H和W分别为虹膜图像的高度和宽度，
Figure BDA0002774250460000049
是位于虹膜内边界点或外边界点回归映射图中第i个通道下坐标点(x,y)的像素值。
在一些优选的实施例中，所述多任务神经网络以U-Net模型作为主干网络，并采用两个分支网络替换U-Net模型最后的分类层；
所述分支网络包括顺次连接的核为3×3、步长为1、空洞率为v,v＝1,2,4,8、输出通道为T的空洞卷积层，两个核为1×1的卷积层。
在一些优选的实施例中，所述多任务神经网络，其训练方法为：
步骤A10，获取训练用虹膜图像作为第一虹膜图像，采用二值码标签进行所述第一虹膜图像中有效虹膜像素的标记，有效的虹膜像素标记为1，其余部位标记为0；
采用最近似虹膜内外边界的椭圆曲线、NURBS曲线或者封闭自由曲线，分别作为虹膜的内边界和外边界曲线，并分别以曲线的质心作为虹膜内边界和外边界中心点
Figure BDA0002774250460000051
和
Figure BDA0002774250460000052
步骤A20，基于所述虹膜内边界和外边界中心点
Figure BDA0002774250460000053
和
Figure BDA0002774250460000054
分别建立虹膜内边界和外边界中心点热力图标记
Figure BDA0002774250460000055
和
Figure BDA0002774250460000056
所述热力图标记的像素值围绕着虹膜内边界和外边界中心点服从峰值为1、标准差为σ的高斯分布；
步骤A30，以所述第一虹膜图像中距离虹膜内边界和外边界中心点均为3σ的邻域内的像素点为正采样点，其余像素点为负采样点，分别获取每个正采样点在n个预设的均匀采样角度{θi|i＝1,2,…,n}下的第一内边界和第一外边界射线长度，每个负采样点的第一内边界和第一外边界射线长度均设为0；
步骤A40，第i个角度θi下所有采样点对应的第一内边界和第一外边界射线长度分别为第i个通道下虹膜内边界点和外边界点的回归距离映射图标记；
步骤A50，将包括有效虹膜像素标记、虹膜内边界和外边界中心点热力图标记以及虹膜内边界点和外边界点的回归距离映射图标记的虹膜图像作为第二虹膜图像；
步骤A60，将所述第二虹膜图像输入所述多任务神经网络进行训练，获得训练好的多任务神经网络。
在一些优选的实施例中，步骤A60包括：
步骤A61，将所述第二虹膜图像输入所述多任务神经网络中，通过前向传播得到第一虹膜掩模映射图、第一虹膜内边界中心点和外边界中心点热力图以及第一虹膜内边界点和外边界点回归距离映射图；
步骤A62，计算所述第一虹膜掩模映射图、第一虹膜内边界中心点和外边界中心点热力图以及第一虹膜内边界点和外边界点回归距离映射图与所述第二虹膜图像的总误差损失，基于计算所得的总误差损失值，对多任务神经网络使用反向传播算法进行参数更新；
步骤A63，重复步骤A61、步骤A62，直到所述总误差损失值低于设定阈值或达到设定训练次数，获得训练好的多任务神经网络。
在一些优选的实施例中，所述总误差损失包括针对虹膜掩模的二元交叉熵损失Lseg、针对虹膜内边界和外边界中心点热力图的均方差损失Lcenter、针对虹膜内边界点和外边界点回归距离映射图的极坐标交并比损失Ldist以及关于边界中心和边界点的距离回归之间构成的自监督损失函数Lself；
所述针对虹膜掩模的二元交叉熵损失Lseg为：
Figure BDA0002774250460000061
其中，S＝{sj,j＝1,2,…,|X|},sj表示虹膜图像中第j个像素属于真实的虹膜纹理的概率，|X|为虹膜图像的像素个数；
Figure BDA0002774250460000062
Figure BDA0002774250460000063
Figure BDA0002774250460000064
表示虹膜图像中第j个像素属于真实的虹膜纹理的标签，
Figure BDA0002774250460000065
表示虹膜图像中第j个像素是真实的虹膜纹理像素，
Figure BDA0002774250460000066
表示虹膜图像中第j个像素不是真实的虹膜纹理像素；
所述针对虹膜内外边界中心点热力图的均方差损失Lcenter为：
Figure BDA0002774250460000067
其中，
Figure BDA0002774250460000071
为虹膜内边界或外边界中心点的热力图的真实标签，Ck为多任务神经网络预测的虹膜内边界或外边界中心点的热力图，k＝1代表虹膜内边界，k＝2代表虹膜外边界，
Figure BDA0002774250460000072
代表图像中逐点的像素值误差的平方和；
所述针对虹膜内外边界点回归距离映射图的极坐标交并比损失Ldist为：
Figure BDA0002774250460000073
其中，
Figure BDA0002774250460000074
表示采样点(x,y)在第i个角度θi方向上到虹膜内边界或外边界点的预测距离，
Figure BDA0002774250460000075
表示采样点(x,y)在第i个角度θi方向上到虹膜内边界或外边界点的真实距离标签，min(·)代表求最小值操作，max(·)代表求最大值操作；
所述关于边界中心和边界点的距离回归之间构成的自监督损失函数Lself为：
Figure BDA0002774250460000076
其中，
Figure BDA0002774250460000077
为网络预测的虹膜内边界或外边界中心点
Figure BDA0002774250460000078
在n个预设的均匀采样角度下{θi|i＝1,2,…,n}到虹膜内边界或外边界点的预测距离。
本发明的另一方面，提出了一种基于多任务神经网络的虹膜图像归一化方法，该虹膜图像归一化方法包括：
采用上述的基于多任务神经网络的虹膜图像分割、定位方法的步骤S10-步骤S40，获取待处理虹膜图像对应的虹膜掩膜映射图、虹膜内边界点坐标和虹膜外边界点坐标，并执行以下步骤：
步骤B10，预设归一化虹膜图像的宽度为
Figure BDA0002774250460000079
高度为
Figure BDA00027742504600000710
步骤B20，分别对归一化虹膜图像的宽和高进行均匀采样
Figure BDA0002774250460000081
和
Figure BDA0002774250460000082
获得对应的极坐标系下均匀采样的角度节点
Figure BDA0002774250460000083
和半径节点{rh|rh∈[0,1]}：
Figure BDA0002774250460000084
Figure BDA0002774250460000085
步骤B30，基于n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA0002774250460000086
和虹膜外边界点坐标
Figure BDA0002774250460000087
采用以角度为权重的线性插值方法获得极坐标系下均匀采样的角度节点
Figure BDA0002774250460000088
对应的均匀采样的虹膜内边界点和外边界点的坐标
Figure BDA0002774250460000089
和
Figure BDA00027742504600000810
步骤B40，基于所述均匀采样的虹膜内边界点和外边界点的坐标
Figure BDA00027742504600000811
和
Figure BDA00027742504600000812
采用以半径为权重的线性插值方法获得极坐标系下均匀采样的半径节点rh对应的均匀采样的虹膜环状有效区域点的坐标
Figure BDA00027742504600000813
步骤B50，将双线性插值作用到所述待处理虹膜图像和对应的虹膜掩膜映射图，获得均匀采样的虹膜环状有效区域点的坐标对应的像素值，并将其赋予极坐标系下角度节点和半径节点对应的归一化图像的坐标位置，获得归一化虹膜图像和归一化虹膜掩模映射图。
在一些优选的实施例中，步骤B30包括：
步骤S31，基于n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA00027742504600000814
和虹膜外边界点坐标
Figure BDA00027742504600000815
获取极坐标系下均匀采样的角度节点
Figure BDA00027742504600000816
最近的两个预设角度θl和θl+1及对应的虹膜内边界点坐标
Figure BDA00027742504600000817
和外边界点坐标
Figure BDA00027742504600000818
步骤S32，计算极坐标系下均匀采样的角度节点
Figure BDA00027742504600000819
对应的虹膜内边界点和外边界点的坐标
Figure BDA00027742504600000820
和
Figure BDA00027742504600000821
Figure BDA0002774250460000091
其中，
Figure BDA0002774250460000092
在一些优选的实施例中，所述极坐标系下均匀采样的半径节点rh对应的均匀采样的虹膜环状有效区域点的坐标
Figure BDA0002774250460000093
为：
Figure BDA0002774250460000094
Figure BDA0002774250460000095
其中，rh为极坐标系下均匀采样的半径节点，
Figure BDA0002774250460000096
为极坐标系下均匀采样的角度节点。
在一些优选的实施例中，步骤B50包括：
步骤B51，定义双线性采样核U：
Figure BDA0002774250460000097
其中，
Figure BDA0002774250460000098
为均匀采样的虹膜环状有效区域点的坐标，max(·)代表求最大值操作；
步骤B52，基于归一化虹膜图像上坐标点
Figure BDA0002774250460000099
对应的像素值与所述待处理虹膜图像中的所有离散像素点的像素值的线性组合关系获取归一化虹膜图像各点的像素值：
Figure BDA00027742504600000910
其中，Iimg代表归一化虹膜图像，H和W分别为待处理虹膜图像的高度和宽度，I(x,y)是待处理虹膜图像中坐标点(x,y)处的像素值；
步骤B53，基于归一化虹膜掩膜上坐标点
Figure BDA00027742504600000911
对应的像素值与所述待处理虹膜图像对应的虹膜掩模映射图中的所有离散像素点的像素值的线性组合关系获取归一化虹膜掩膜映射图各点的像素值：
Figure BDA0002774250460000101
其中，Imask代表归一化虹膜掩模，H和W分别为待处理虹膜图像的高度和宽度，S(x,y)是待处理虹膜图像对应的虹膜掩模映射图中坐标点(x,y)处的像素值。
本发明的有益效果：
(1)本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法，适用于各类噪声的虹膜图像分割、定位及归一化，尤其在非受控场景下，可以准确鲁棒地实现虹膜图像的分割、定位和归一化，为后续的虹膜特征分析奠定了良好的基础，可以更进一步提升虹膜识别的精度。
(2)本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法，无需进行启发式的、费时费力的前后处理操作，也无需提前预设关于虹膜尺寸的超参数或者指定虹膜边界的参数化形式，因此适用范围广泛、运行效率高，可以满足不同应用场合的需求。
(3)本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法，作为端到端的、可微的预处理操作，可以作为一个通用的插件插入到任何已有的虹膜特征提取网络中，为任何一幅原始的虹膜图像提取一个代表虹膜本质的特征，并进一步地应用到虹膜图像超分、去噪等。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法的流程示意图；
图2是本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法一种实施例的虹膜图像与两种不同形式的虹膜内外边界表示的示意图；
图3是本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法一种实施例的多任务神经网络的结构示意图；
图4是本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法一种实施例的虹膜图像归一化的映射关系原理图；
图5是本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法一种实施例的虹膜掩模归一化的映射关系原理图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于多任务神经网络的虹膜图像分割、定位和归一化方法，本方法包含了两部分：第一部分是基于多任务神经网络的虹膜图像分割和定位，通过神经网络的多个预测结果，并结合代表虹膜内外边界的一般化的极坐标表示，获得虹膜掩模映射和预设角度的虹膜内外边界点的坐标；第二部分是基于第一部分预测的预设角度的虹膜内外边界点的坐标，通过多次插值和极坐标映射实现虹膜图像和虹膜掩模的归一化。本方法可以有效地处理各种噪声的虹膜图像，提供完整准确的虹膜归一化结果用于后续的虹膜特征分析，为实现鲁棒准确的虹膜识别奠定良好的基础。
本发明的一种基于多任务神经网络的虹膜图像分割、定位方法，该虹膜图像分割、定位方法包括：
步骤S10，将获取的待处理虹膜图像输入多任务神经网络中进行前向传播，获得虹膜掩膜映射图、虹膜内边界和外边界中心点热力图以及虹膜内边界点和外边界点回归映射图；所述虹膜掩膜映射图为虹膜图像的分割结果；
步骤S20，采用Soft-argmax函数分别处理所述虹膜内边界和外边界中心点热力图，获得虹膜内边界和外边界中心点坐标
Figure BDA0002774250460000121
和
Figure BDA0002774250460000122
步骤S30，基于所述虹膜内边界点和外边界点回归映射图，通过双线性插值法分别获取坐标
Figure BDA0002774250460000123
在n个预设的均匀采样角度{θi|i＝1,2,…,n}下的内边界射线长度
Figure BDA0002774250460000124
和外边界射线长度
Figure BDA0002774250460000125
步骤S40，基于所述内边界射线长度
Figure BDA0002774250460000126
和外边界射线长度
Figure BDA0002774250460000127
结合极坐标变换公式，获得n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA0002774250460000128
和虹膜外边界点坐标
Figure BDA0002774250460000129
所述虹膜内边界中心点坐标
Figure BDA00027742504600001210
和虹膜外边界中心点坐标
Figure BDA00027742504600001211
以及虹膜内边界点坐标
Figure BDA00027742504600001212
和虹膜外边界点坐标
Figure BDA00027742504600001213
为虹膜图像的定位结果。
为了更清晰地对本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于多任务神经网络的虹膜图像分割、定位和归一化方法，包括步骤S10-步骤S40，各步骤详细描述如下：
如图2所示，为本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法一种实施例的虹膜图像与两种不同形式的虹膜内外边界表示的示意图，给定一幅虹膜图像图2(a)，标定虹膜外边界曲线图2(b)、内边界曲线图2(d)，即可获得虹膜内外边界的中心点和稠密的边界点坐标。然后，分别从虹膜的外边界和内边界的中心点出发，均匀地沿着360度方向的n个相对于水平方向的预设角度向虹膜的外边界和内边界发射射线，如图2(c)和图2(e)所示，射线的长度由中心点和相交的边界点的距离决定。因此，虹膜内外边界在极坐标系下可以表示为一个中心和n条预设角度的射线组成。最后，虹膜内外边界的定位可以建模为极坐标系下边界中心的定位和各个角度下射线长度的预测(或称边界点的距离回归)，并与虹膜掩模的分割一起组成一个多任务学习的问题。
步骤S10，将获取的待处理虹膜图像输入多任务神经网络中进行前向传播，获得虹膜掩膜映射图、虹膜内边界和外边界中心点热力图以及虹膜内边界点和外边界点回归映射图。
虹膜掩膜映射图为虹膜图像的分割结果。
本发明一个实施例中，多任务神经网络以U-Net模型作为主干网络，并采用两个分支网络替换U-Net模型最后的分类层，每个分支网络包括顺次连接的核为3×3、步长为1、空洞率为v,v＝1,2,4,8、输出通道为T的空洞卷积层，两个核为1×1的卷积层。
如图3所示，为本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法一种实施例的多任务神经网络的结构示意图，以U-Net模型作为多任务神经网络的主干网络，将U-Net模型最后一层的分类层去掉，直接对输入尺寸为H(高)×W(宽)、通道为3的虹膜图像提取T个通道的、尺寸与原始虹膜图像相等的多尺度高阶特征。多任务神经网络的预测层连接在多尺度高阶特征的后面，包含了两个结构相同的分支。对于第一分支，先使用核为3×3、步长为1、空洞率为v,v＝1,2,4,8、输出通道为T的卷积连续地提取细化的特征，再分别使用两个核为1×1的卷积产生虹膜掩模映射图、虹膜内边界和外边界中心点热力图。对于第二分支，先使用核为3×3、步长为1、空洞率为v,v＝1,2,4,8、输出通道为T的卷积连续地提取细化的特征，再分别使用两个核为1×1的卷积产生虹膜内边界点和外边界点回归映射图。基于预测层的多个结果并结合极坐标变换，组装层获得了预设角度下的虹膜内边界点和外边界点的坐标。
多任务神经网络的训练方法包括：
步骤A10，获取训练用虹膜图像作为第一虹膜图像，采用二值码标签进行所述第一虹膜图像中有效虹膜像素的标记，有效的虹膜像素标记为1，其余部位标记为0。
有效的虹膜像素，代表不含镜面反射等噪声以及头发、睫毛、瞳孔、巩膜等非虹膜区域的有效区域中的像素。
采用最近似虹膜内外边界的椭圆曲线、NURBS曲线或者封闭自由曲线，分别作为虹膜的内边界和外边界曲线，并分别以曲线的质心作为虹膜内边界和外边界中心点
Figure BDA0002774250460000141
和
Figure BDA0002774250460000142
步骤A20，基于所述虹膜内边界和外边界中心点
Figure BDA0002774250460000143
和
Figure BDA0002774250460000144
分别建立虹膜内边界和外边界中心点热力图标记
Figure BDA0002774250460000145
和
Figure BDA0002774250460000146
所述热力图标记的像素值围绕着虹膜内边界和外边界中心点服从峰值为1、标准差为σ的高斯分布，如式(1)所示：
Figure BDA0002774250460000147
其中，k＝1,2，k＝1代表虹膜内边界，k＝2代表虹膜外边界。
步骤A30，以所述第一虹膜图像中距离虹膜内边界和外边界中心点均为3σ的邻域内的像素点为正采样点，其余像素点为负采样点，分别获取每个正采样点在n个预设的均匀采样角度{θi|i＝1,2,…,n}下的第一内边界和第一外边界射线长度，每个负采样点的第一内边界和第一外边界射线长度均设为0。
步骤A31，遍历标记好的虹膜内边界和外边界曲线像素点，计算其到正采样点的距离和角度，并分别存储到距离集合和角度集合中；
步骤A32，遍历每个预设的均匀采样角度θi,如果其在存储的角度集合中，则取对应的距离为射线的长度；否则，判断其是否在一定阈值范围内邻近角度集合中的某个角度。如果是，取此角度对应的距离为射线的长度；否则射线的长度设为10-6。
步骤A40，第i个角度θi下所有采样点对应的第一内边界和第一外边界射线长度分别为第i个通道下虹膜内边界点和外边界点的回归距离映射图标记。
步骤A50，将包括有效虹膜像素标记、虹膜内边界和外边界中心点热力图标记以及虹膜内边界点和外边界点的回归距离映射图标记的虹膜图像作为第二虹膜图像。
步骤A60，将所述第二虹膜图像输入所述多任务神经网络进行训练，获得训练好的多任务神经网络。
步骤A61，将所述第二虹膜图像输入所述多任务神经网络中，通过前向传播得到第一虹膜掩模映射图、第一虹膜内边界中心点和外边界中心点热力图以及第一虹膜内边界点和外边界点回归距离映射图。
步骤A62，计算所述第一虹膜掩模映射图、第一虹膜内边界中心点和外边界中心点热力图以及第一虹膜内边界点和外边界点回归距离映射图与所述第二虹膜图像的总误差损失，基于计算所得的总误差损失值，对多任务神经网络使用反向传播算法进行参数更新。
步骤A63，重复步骤A61、步骤A62，直到所述总误差损失值低于设定阈值或达到设定训练次数，获得训练好的多任务神经网络。
网络训练中的总误差损失包括针对虹膜掩模的二元交叉熵损失Lseg、针对虹膜内边界和外边界中心点热力图的均方差损失Lcenter、针对虹膜内边界点和外边界点回归距离映射图的极坐标交并比损失Ldist以及关于边界中心和边界点的距离回归之间构成的自监督损失函数Lself。
针对虹膜掩模的二元交叉熵损失Lseg如式(2)所示：
Figure BDA0002774250460000161
其中，S＝{sj,j＝1,2,…,|X|},sj表示虹膜图像中第j个像素属于真实的虹膜纹理的概率，|X|为虹膜图像的像素个数；
Figure BDA0002774250460000162
Figure BDA0002774250460000163
Figure BDA0002774250460000164
表示虹膜图像中第j个像素属于真实的虹膜纹理的标签，
Figure BDA0002774250460000165
表示虹膜图像中第j个像素是真实的虹膜纹理像素，
Figure BDA0002774250460000166
表示虹膜图像中第j个像素不是真实的虹膜纹理像素。
针对虹膜内外边界中心点热力图的均方差损失Lcenter如式(3)所示：
Figure BDA0002774250460000167
其中，
Figure BDA0002774250460000168
为虹膜内边界或外边界中心点的热力图的真实标签，Ck为多任务神经网络预测的虹膜内边界或外边界中心点的热力图，k＝1代表虹膜内边界，k＝2代表虹膜外边界，
Figure BDA0002774250460000169
代表图像中逐点的像素值误差的平方和。
针对虹膜内外边界点回归距离映射图的极坐标交并比损失Ldist如式(4)所示：
Figure BDA00027742504600001610
其中，
Figure BDA00027742504600001611
表示采样点(x,y)在第i个角度θi方向上到虹膜内边界或外边界点的预测距离，
Figure BDA00027742504600001612
表示采样点(x,y)在第i个角度θi方向上到虹膜内边界或外边界点的真实距离标签，min(·)代表求最小值操作，max(·)代表求最大值操作。
Ldist是基于预测的虹膜内边界点和外边界点构成的掩膜与其标注的边界曲线构成的掩模之间的交并比损失而提出，并整体性地构建关于不同角度的边界点距离回归的损失函数。
关于边界中心和边界点的距离回归之间构成的自监督损失函数Lself如式(5)所示：
Figure BDA0002774250460000171
其中，
Figure BDA0002774250460000172
为网络预测的虹膜内边界或外边界中心点
Figure BDA0002774250460000173
在n个预设的均匀采样角度下{θi|i＝1,2,…,n}到虹膜内边界或外边界点的预测距离。
Lself基于“虹膜边界点的质心应该尽可能靠近中心点”这一先验的空间约束而提出。
步骤S20，采用Soft-argmax函数分别处理所述虹膜内边界和外边界中心点热力图，获得虹膜内边界和外边界中心点坐标
Figure BDA0002774250460000174
和
Figure BDA0002774250460000175
步骤S30，基于所述虹膜内边界点和外边界点回归映射图，通过双线性插值法分别获取坐标
Figure BDA0002774250460000176
在n个预设的均匀采样角度{θi|i＝1,2,…,n}下的内边界射线长度
Figure BDA0002774250460000177
和外边界射线长度
Figure BDA0002774250460000178
步骤S31，分别定义对应虹膜内边界和外边界中心点的双线性采样核Qk，k＝1代表虹膜内边界，k＝2代表虹膜外边界，如式(6)所示：
Figure BDA0002774250460000179
其中，max(·)代表求最大值操作。
步骤S32，基于所述虹膜内边界点和外边界点回归映射图，分别以第i个通道
Figure BDA0002774250460000181
下所有离散像素点的像素值的线性组合作为内边界射线长度
Figure BDA0002774250460000182
和外边界射线长度
Figure BDA0002774250460000183
如式(7)所示：
Figure BDA0002774250460000184
其中，H和W分别为虹膜图像的高度和宽度，
Figure BDA0002774250460000185
是位于虹膜内边界点或外边界点回归映射图中第i个通道下坐标点(x,y)的像素值。
步骤S40，基于所述内边界射线长度
Figure BDA0002774250460000186
和外边界射线长度
Figure BDA0002774250460000187
结合极坐标变换公式，获得n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA0002774250460000188
和虹膜外边界点坐标
Figure BDA0002774250460000189
通过极坐标变换公式获取待处理虹膜图像的虹膜内边界点和外边界点坐标，如式(8)所示：
Figure BDA00027742504600001810
虹膜内边界中心点坐标
Figure BDA00027742504600001811
和虹膜外边界中心点坐标
Figure BDA00027742504600001812
以及虹膜内边界点坐标
Figure BDA00027742504600001813
和虹膜外边界点坐标
Figure BDA00027742504600001814
为虹膜图像的定位结果。
本发明第二实施例的基于多任务神经网络的虹膜图像归一化方法，该虹膜图像归一化方法包括：
采用上述的基于多任务神经网络的虹膜图像分割、定位方法的步骤S10-步骤S40，获取待处理虹膜图像对应的虹膜掩膜映射图、虹膜内边界点坐标和虹膜外边界点坐标，并执行以下步骤：
步骤B10，预设归一化虹膜图像的宽度为
Figure BDA00027742504600001815
高度为
Figure BDA00027742504600001816
步骤B20，分别对归一化虹膜图像的宽和高进行均匀采样
Figure BDA0002774250460000191
和
Figure BDA0002774250460000192
获得对应的极坐标系下均匀采样的角度节点
Figure BDA0002774250460000193
和半径节点{rh|rh∈[0,1]}，如式(9)所示：
Figure BDA0002774250460000194
步骤B30，基于n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA0002774250460000195
和虹膜外边界点坐标
Figure BDA0002774250460000196
采用以角度为权重的线性插值方法获得极坐标系下均匀采样的角度节点
Figure BDA0002774250460000197
对应的均匀采样的虹膜内边界点和外边界点的坐标
Figure BDA0002774250460000198
和
Figure BDA0002774250460000199
步骤S31，基于n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA00027742504600001910
和虹膜外边界点坐标
Figure BDA00027742504600001911
获取极坐标系下均匀采样的角度节点
Figure BDA00027742504600001912
最近的两个预设角度θl和θl+1及对应的虹膜内边界点坐标
Figure BDA00027742504600001913
和外边界点坐标
Figure BDA00027742504600001914
步骤S32，计算极坐标系下均匀采样的角度节点
Figure BDA00027742504600001915
对应的虹膜内边界点和外边界点的坐标
Figure BDA00027742504600001916
和
Figure BDA00027742504600001917
如式(10)所示：
Figure BDA00027742504600001918
其中，
Figure BDA00027742504600001919
步骤B40，基于所述均匀采样的虹膜内边界点和外边界点的坐标
Figure BDA00027742504600001920
和
Figure BDA00027742504600001921
采用以半径为权重的线性插值方法获得极坐标系下均匀采样的半径节点rh对应的均匀采样的虹膜环状有效区域点的坐标
Figure BDA00027742504600001922
如式(11)所示：
Figure BDA00027742504600001923
其中，rh为极坐标系下均匀采样的半径节点，
Figure BDA00027742504600001924
为极坐标系下均匀采样的角度节点。
步骤B50，将双线性插值作用到所述待处理虹膜图像和对应的虹膜掩膜映射图，获得均匀采样的虹膜环状有效区域点的坐标对应的像素值，并将其赋予极坐标系下角度节点和半径节点对应的归一化图像的坐标位置，获得归一化虹膜图像和归一化虹膜掩模映射图。
步骤B51，定义双线性采样核U，如式(12)所示：
Figure BDA0002774250460000201
其中，
Figure BDA0002774250460000202
为均匀采样的虹膜环状有效区域点的坐标，max(·)代表求最大值操作。
步骤B52，基于归一化虹膜图像上坐标点
Figure BDA0002774250460000203
对应的像素值与所述待处理虹膜图像中的所有离散像素点的像素值的线性组合关系获取归一化虹膜图像各点的像素值，如图4所示，本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法一种实施例的虹膜图像归一化的映射关系原理图，归一化虹膜图像各点的像素值如式(13)所示：
Figure BDA0002774250460000204
其中，Iimg代表归一化虹膜图像，H和W分别为待处理虹膜图像的高度和宽度，I(x,y)是待处理虹膜图像中坐标点(x,y)处的像素值。
步骤B53，基于归一化虹膜掩膜上坐标点
Figure BDA0002774250460000205
对应的像素值与所述待处理虹膜图像对应的虹膜掩模映射图中的所有离散像素点的像素值的线性组合关系获取归一化虹膜掩膜映射图各点的像素值，如图5所示，为本发明基于多任务神经网络的虹膜图像分割、定位和归一化方法一种实施例的虹膜掩模归一化的映射关系原理图，归一化虹膜掩膜各点的像素值如式(14)所示：
Figure BDA0002774250460000206
其中，Imask代表归一化虹膜掩模，H和W分别为待处理虹膜图像的高度和宽度，S(x,y)是待处理虹膜图像对应的虹膜掩模映射图中坐标点(x,y)处的像素值。
本发明第三实施例的基于多任务神经网络的虹膜图像分割、定位和归一化系统，该系统包括以下模块：
图像分割模块，用于将获取的待处理虹膜图像输入多任务神经网络中进行前向传播，获得虹膜掩膜映射图、虹膜内边界和外边界中心点热力图以及虹膜内边界点和外边界点回归映射图；所述虹膜掩膜映射图为虹膜图像的分割结果；
虹膜内外边界中心点获取模块，采用Soft-argmax函数分别处理所述虹膜内边界和外边界中心点热力图，获得虹膜内边界和外边界中心点坐标
Figure BDA0002774250460000211
和
Figure BDA0002774250460000212
虹膜内外边界射线长度计算模块，基于所述虹膜内边界点和外边界点回归映射图，通过双线性插值法分别获取坐标
Figure BDA0002774250460000213
在n个预设的均匀采样角度{θi|i＝1,2,…,n}下的内边界射线长度
Figure BDA0002774250460000214
和外边界射线长度
Figure BDA0002774250460000215
虹膜定位模块，基于所述内边界射线长度
Figure BDA0002774250460000216
和外边界射线长度
Figure BDA0002774250460000217
结合极坐标变换公式，获得n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA0002774250460000218
和虹膜外边界点坐标
Figure BDA0002774250460000219
所述虹膜内边界中心点坐标
Figure BDA00027742504600002110
和虹膜外边界中心点坐标
Figure BDA00027742504600002111
以及虹膜内边界点坐标
Figure BDA00027742504600002112
和虹膜外边界点坐标
Figure BDA00027742504600002113
为虹膜图像的定位结果；
均匀采样模块，预设归一化虹膜图像的宽度为
Figure BDA00027742504600002114
高度为
Figure BDA00027742504600002115
分别对归一化虹膜图像的宽和高进行均匀采样
Figure BDA00027742504600002116
和
Figure BDA00027742504600002117
获得对应的极坐标系下均匀采样的角度节点
Figure BDA00027742504600002118
和半径节点{rh|rh∈[0,1]}；
采样后虹膜内外边界点坐标获取模块，基于n个预设的均匀采样角度{θi|i＝1,2,…,n}下的虹膜内边界点坐标
Figure BDA0002774250460000221
和虹膜外边界点坐标
Figure BDA0002774250460000222
采用以角度为权重的线性插值方法获得极坐标系下均匀采样的角度节点
Figure BDA0002774250460000223
对应的均匀采样的虹膜内边界点和外边界点的坐标
Figure BDA0002774250460000224
和
Figure BDA0002774250460000225
虹膜环状有效区域点获取模块，基于所述均匀采样的虹膜内边界点和外边界点的坐标
Figure BDA0002774250460000226
和
Figure BDA0002774250460000227
采用以半径为权重的线性插值方法获得极坐标系下均匀采样的半径节点rh对应的均匀采样的虹膜环状有效区域点的坐标
Figure BDA0002774250460000228
归一化模块，将双线性插值作用到所述待处理虹膜图像和对应的虹膜掩膜映射图，获得均匀采样的虹膜环状有效区域点的坐标对应的像素值，并将其赋予极坐标系下角度节点和半径节点对应的归一化图像的坐标位置，获得归一化虹膜图像和归一化虹膜掩模映射图。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于多任务神经网络的虹膜图像分割、定位和归一化系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第四实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于多任务神经网络的虹膜图像分割、定位方法和基于多任务神经网络的虹膜图像归一化方法。
本发明第五实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于多任务神经网络的虹膜图像分割、定位方法和基于多任务神经网络的虹膜图像归一化方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，该虹膜图像分割、定位方法包括：
步骤S10，将获取的待处理虹膜图像输入多任务神经网络中进行前向传播，获得虹膜掩膜映射图、虹膜内边界和外边界中心点热力图以及虹膜内边界点和外边界点回归映射图；所述虹膜掩膜映射图为虹膜图像的分割结果；
步骤S20，采用Soft-argmax函数分别处理所述虹膜内边界和外边界中心点热力图，获得虹膜内边界和外边界中心点坐标
Figure FDA0003499761790000011
和
Figure FDA0003499761790000012
步骤S30，基于所述虹膜内边界点和外边界点回归映射图，通过双线性插值法分别获取坐标
Figure FDA0003499761790000013
在n个预设的均匀采样角度{θi|i＝1，2，…，n}下的内边界射线长度
Figure FDA0003499761790000014
和外边界射线长度
Figure FDA0003499761790000015
步骤S40，基于所述内边界射线长度
Figure FDA0003499761790000016
和外边界射线长度
Figure FDA0003499761790000017
结合极坐标变换公式，获得n个预设的均匀采样角度{θi|i＝1，2，…，n}下的虹膜内边界点坐标
Figure FDA0003499761790000018
和虹膜外边界点坐标
Figure FDA0003499761790000019
所述虹膜内边界中心点坐标
Figure FDA00034997617900000110
和虹膜外边界中心点坐标
Figure FDA00034997617900000111
以及虹膜内边界点坐标
Figure FDA00034997617900000112
和虹膜外边界点坐标
Figure FDA00034997617900000113
为虹膜图像的定位结果。
2.根据权利要求1所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，步骤S30包括：
步骤S31，分别定义对应虹膜内边界和外边界中心点的双线性采样核Qk，k＝1代表虹膜内边界，k＝2代表虹膜外边界：
Figure FDA00034997617900000114
其中，max(·)代表求最大值操作；
步骤S32，基于所述虹膜内边界点和外边界点回归映射图，分别以第i个通道
Figure FDA0003499761790000021
下所有离散像素点的像素值的线性组合作为内边界射线长度
Figure FDA0003499761790000022
和外边界射线长度
Figure FDA0003499761790000023
Figure FDA0003499761790000024
其中，H和W分别为虹膜图像的高度和宽度，
Figure FDA0003499761790000025
是位于虹膜内边界点或外边界点回归映射图中第i个通道下坐标点(x，y)的像素值。
3.根据权利要求1所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，所述多任务神经网络以U-Net模型作为主干网络，并采用两个分支网络替换U-Net模型最后的分类层；
所述分支网络包括顺次连接的核为3×3、步长为1、空洞率为v，v＝1，2，4，8、输出通道为T的空洞卷积层，两个核为1×1的卷积层。
4.根据权利要求1所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，所述多任务神经网络，其训练方法为：
步骤A10，获取训练用虹膜图像作为第一虹膜图像，采用二值码标签进行所述第一虹膜图像中有效虹膜像素的标记，有效的虹膜像素标记为1，其余部位标记为0；
采用最近似虹膜内外边界的椭圆曲线、NURBS曲线或者封闭自由曲线，分别作为虹膜的内边界和外边界曲线，并分别以曲线的质心作为虹膜内边界和外边界中心点
Figure FDA0003499761790000026
和
Figure FDA0003499761790000027
步骤A20，基于所述虹膜内边界和外边界中心点
Figure FDA0003499761790000028
和
Figure FDA0003499761790000029
分别建立虹膜内边界和外边界中心点热力图标记
Figure FDA00034997617900000210
和
Figure FDA00034997617900000211
所述热力图标记的像素值围绕着虹膜内边界和外边界中心点服从峰值为1、标准差为σ的高斯分布；
步骤A30，以所述第一虹膜图像中距离虹膜内边界和外边界中心点均为3σ的邻域内的像素点为正采样点，其余像素点为负采样点，分别获取每个正采样点在n个预设的均匀采样角度{θi|i＝1，2，…，n}下的第一内边界和第一外边界射线长度，每个负采样点的第一内边界和第一外边界射线长度均设为0；
步骤A40，第i个角度θi下所有采样点对应的第一内边界和第一外边界射线长度分别为第i个通道下虹膜内边界点和外边界点的回归距离映射图标记；
步骤A50，将包括有效虹膜像素标记、虹膜内边界和外边界中心点热力图标记以及虹膜内边界点和外边界点的回归距离映射图标记的虹膜图像作为第二虹膜图像；
步骤A60，将所述第二虹膜图像输入所述多任务神经网络进行训练，获得训练好的多任务神经网络。
5.根据权利要求4所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，步骤A60包括：
步骤A61，将所述第二虹膜图像输入所述多任务神经网络中，通过前向传播得到第一虹膜掩模映射图、第一虹膜内边界中心点和外边界中心点热力图以及第一虹膜内边界点和外边界点回归距离映射图；
步骤A62，计算所述第一虹膜掩模映射图、第一虹膜内边界中心点和外边界中心点热力图以及第一虹膜内边界点和外边界点回归距离映射图与所述第二虹膜图像的总误差损失，基于计算所得的总误差损失值，对多任务神经网络使用反向传播算法进行参数更新；
步骤A63，重复步骤A61、步骤A62，直到所述总误差损失值低于设定阈值或达到设定训练次数，获得训练好的多任务神经网络。
6.根据权利要求5所述的基于多任务神经网络的虹膜图像分割、定位方法，其特征在于，所述总误差损失包括针对虹膜掩模的二元交叉熵损失Lseg、针对虹膜内边界和外边界中心点热力图的均方差损失Lcenter、针对虹膜内边界点和外边界点回归距离映射图的极坐标交并比损失Ldist以及关于边界中心和边界点的距离回归之间构成的自监督损失函数Lself；
所述针对虹膜掩模的二元交叉熵损失Lseg为：
Figure FDA0003499761790000041
其中，S＝{sj，j＝1，2，…，|X|}，Sj表示虹膜图像中第j个像素属于真实的虹膜纹理的概率，|X|为虹膜图像的像素个数；
Figure FDA0003499761790000042
Figure FDA0003499761790000043
表示虹膜图像中第j个像素属于真实的虹膜纹理的标签，
Figure FDA0003499761790000044
表示虹膜图像中第j个像素是真实的虹膜纹理像素，
Figure FDA0003499761790000045
表示虹膜图像中第j个像素不是真实的虹膜纹理像素；
所述针对虹膜内外边界中心点热力图的均方差损失Lcenter为：
Figure FDA0003499761790000046
其中，
Figure FDA0003499761790000047
为虹膜内边界或外边界中心点的热力图的真实标签，Ck为多任务神经网络预测的虹膜内边界或外边界中心点的热力图，k＝1代表虹膜内边界，k＝2代表虹膜外边界，
Figure FDA00034997617900000410
代表图像中逐点的像素值误差的平方和；
所述针对虹膜内外边界点回归距离映射图的极坐标交并比损失Ldist为：
Figure FDA0003499761790000048
其中，
Figure FDA0003499761790000049
表示采样点(x，y)在第i个角度θi方向上到虹膜内边界或外边界点的预测距离，
Figure FDA0003499761790000051
表示采样点(x，y)在第i个角度θi方向上到虹膜内边界或外边界点的真实距离标签，min(·)代表求最小值操作，max(·)代表求最大值操作；
所述关于边界中心和边界点的距离回归之间构成的自监督损失函数Lself为：
Figure FDA0003499761790000052
其中，
Figure FDA0003499761790000053
为网络预测的虹膜内边界或外边界中心点
Figure FDA0003499761790000054
在n个预设的均匀采样角度下{θi|i＝1，2，…，n}到虹膜内边界或外边界点的预测距离。
7.一种基于多任务神经网络的虹膜图像归一化方法，其特征在于，该虹膜图像归一化方法包括：
采用权利要求1-6任一项所述的基于多任务神经网络的虹膜图像分割、定位方法的步骤S10-步骤S40，获取待处理虹膜图像对应的虹膜掩膜映射图、虹膜内边界点坐标和虹膜外边界点坐标，并执行以下步骤：
步骤B10，预设归一化虹膜图像的宽度为
Figure FDA0003499761790000055
高度为
Figure FDA0003499761790000056
步骤B20，分别对归一化虹膜图像的宽和高进行均匀采样
Figure FDA00034997617900000518
Figure FDA00034997617900000517
和
Figure FDA0003499761790000058
获得对应的极坐标系下均匀采样的角度节点
Figure FDA0003499761790000059
和半径节点{rh|rh∈[0,1]}：
Figure FDA00034997617900000510
Figure FDA00034997617900000511
步骤B30，基于n个预设的均匀采样角度{θi|i＝1，2，…，n}下的虹膜内边界点坐标
Figure FDA00034997617900000512
和虹膜外边界点坐标
Figure FDA00034997617900000513
采用以角度为权重的线性插值方法获得极坐标系下均匀采样的角度节点
Figure FDA00034997617900000514
对应的均匀采样的虹膜内边界点和外边界点的坐标
Figure FDA00034997617900000515
和
Figure FDA00034997617900000516
步骤B40，基于所述均匀采样的虹膜内边界点和外边界点的坐标
Figure FDA0003499761790000061
和
Figure FDA0003499761790000062
采用以半径为权重的线性插值方法获得极坐标系下均匀采样的半径节点rh对应的均匀采样的虹膜环状有效区域点的坐标
Figure FDA0003499761790000063
步骤B50，将双线性插值作用到所述待处理虹膜图像和对应的虹膜掩膜映射图，获得均匀采样的虹膜环状有效区域点的坐标对应的像素值，并将其赋予极坐标系下角度节点和半径节点对应的归一化图像的坐标位置，获得归一化虹膜图像和归一化虹膜掩模映射图。
8.根据权利要求7所述的基于多任务神经网络的虹膜图像归一化方法，其特征在于，步骤B30包括：
步骤S31，基于n个预设的均匀采样角度{θi|i＝1，2，…，n}下的虹膜内边界点坐标
Figure FDA0003499761790000064
和虹膜外边界点坐标
Figure FDA0003499761790000065
获取极坐标系下均匀采样的角度节点
Figure FDA0003499761790000066
最近的两个预设角度θl和θl+1及对应的虹膜内边界点坐标
Figure FDA0003499761790000067
和外边界点坐标
Figure FDA0003499761790000068
步骤S32，计算极坐标系下均匀采样的角度节点
Figure FDA0003499761790000069
对应的虹膜内边界点和外边界点的坐标
Figure FDA00034997617900000610
和
Figure FDA00034997617900000611
Figure FDA00034997617900000612
其中，
Figure FDA00034997617900000613
9.根据权利要求7所述的基于多任务神经网络的虹膜图像归一化方法，其特征在于，所述极坐标系下均匀采样的半径节点rh对应的均匀采样的虹膜环状有效区域点的坐标
Figure FDA00034997617900000614
为：
Figure FDA00034997617900000615
Figure FDA00034997617900000616
其中，rh为极坐标系下均匀采样的半径节点，
Figure FDA00034997617900000617
为极坐标系下均匀采样的角度节点。
10.根据权利要求7所述的基于多任务神经网络的虹膜图像归一化方法，其特征在于，步骤B50包括：
步骤B51，定义双线性采样核U：
Figure FDA0003499761790000071
其中，
Figure FDA0003499761790000072
为均匀采样的虹膜环状有效区域点的坐标，max(·)代表求最大值操作；
步骤B52，基于归一化虹膜图像上坐标点
Figure FDA0003499761790000073
对应的像素值与所述待处理虹膜图像中的所有离散像素点的像素值的线性组合关系获取归一化虹膜图像各点的像素值：
Figure FDA0003499761790000074
其中，Iimg代表归一化虹膜图像，H和W分别为待处理虹膜图像的高度和宽度，I(x，y)是待处理虹膜图像中坐标点(x，y)处的像素值；
步骤B53，基于归一化虹膜掩膜上坐标点
Figure FDA0003499761790000075
对应的像素值与所述待处理虹膜图像对应的虹膜掩模映射图中的所有离散像素点的像素值的线性组合关系获取归一化虹膜掩膜映射图各点的像素值：
Figure FDA0003499761790000076
其中，Imask代表归一化虹膜掩模，H和W分别为待处理虹膜图像的高度和宽度，S(x，y)是待处理虹膜图像对应的虹膜掩模映射图中坐标点(x，y)处的像素值。
CN202011259747.0A 2020-11-12 2020-11-12 基于多任务神经网络的虹膜图像分割、定位和归一化方法 Active CN112287872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011259747.0A CN112287872B (zh) 2020-11-12 2020-11-12 基于多任务神经网络的虹膜图像分割、定位和归一化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011259747.0A CN112287872B (zh) 2020-11-12 2020-11-12 基于多任务神经网络的虹膜图像分割、定位和归一化方法

Publications (2)

Publication Number Publication Date
CN112287872A CN112287872A (zh) 2021-01-29
CN112287872B true CN112287872B (zh) 2022-03-25

Family

ID=74398889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011259747.0A Active CN112287872B (zh) 2020-11-12 2020-11-12 基于多任务神经网络的虹膜图像分割、定位和归一化方法

Country Status (1)

Country Link
CN (1) CN112287872B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949518B (zh) * 2021-03-09 2024-04-05 上海聚虹光电科技有限公司 虹膜图像处理方法、装置、设备及存储介质
CN113119108B (zh) * 2021-03-15 2022-07-05 广州大学 一种二指机械臂抓取方法、系统、装置及存储介质
CN113253850A (zh) * 2021-07-05 2021-08-13 中国科学院西安光学精密机械研究所 一种基于眼动追踪与脑电信号的多任务协同操作方法
CN116158851B (zh) * 2023-03-01 2024-03-01 哈尔滨工业大学 医用远程超声自动扫描机器人的扫描目标定位系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447025A (zh) * 2008-12-30 2009-06-03 东南大学 一种大型动物虹膜识别方法
CN103198484A (zh) * 2013-04-07 2013-07-10 山东师范大学 基于非线性尺度空间的虹膜图像分割算法
CN105260717A (zh) * 2015-10-16 2016-01-20 浙江工业大学 一种基于卷积核和圆边界微积分的虹膜中心定位的眼球跟踪方法
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
CN106778664A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置
CN107871322A (zh) * 2016-09-27 2018-04-03 北京眼神科技有限公司 虹膜图像分割方法和装置
CN108288052A (zh) * 2018-03-01 2018-07-17 武汉轻工大学 虹膜图像归一化方法、装置及计算机可读存储介质
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110059589A (zh) * 2019-03-21 2019-07-26 昆山杜克大学 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法
CN110688951A (zh) * 2019-09-26 2020-01-14 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111191605A (zh) * 2019-12-31 2020-05-22 上海电力大学 一种基于级联神经网络的多任务虹膜快速定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010011785A1 (en) * 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
CN111507195B (zh) * 2020-03-20 2023-10-03 北京万里红科技有限公司 虹膜分割神经网络模型的训练方法、虹膜分割方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447025A (zh) * 2008-12-30 2009-06-03 东南大学 一种大型动物虹膜识别方法
CN103198484A (zh) * 2013-04-07 2013-07-10 山东师范大学 基于非线性尺度空间的虹膜图像分割算法
CN105260717A (zh) * 2015-10-16 2016-01-20 浙江工业大学 一种基于卷积核和圆边界微积分的虹膜中心定位的眼球跟踪方法
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
CN107871322A (zh) * 2016-09-27 2018-04-03 北京眼神科技有限公司 虹膜图像分割方法和装置
CN106778664A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置
CN108288052A (zh) * 2018-03-01 2018-07-17 武汉轻工大学 虹膜图像归一化方法、装置及计算机可读存储介质
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110059589A (zh) * 2019-03-21 2019-07-26 昆山杜克大学 一种基于Mask R-CNN神经网络的虹膜图像中虹膜区域的分割方法
CN110688951A (zh) * 2019-09-26 2020-01-14 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111191605A (zh) * 2019-12-31 2020-05-22 上海电力大学 一种基于级联神经网络的多任务虹膜快速定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
《A Lightweight Multi-Label Segmentation Network for Mobile Iris Biometrics》;Caiyong Wang等;《ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20200508;第1006-1010页 *
《An Adaptive CNNs Technology for Robust Iris Segmentation》;Ying Chen等;《IEEE Access》;20191231;第7卷;第64517-64532页 *
《Joint Iris Segmentation and Localization Using Deep Multi-task Learning Framework》;Caiyong wang等;《arXiv.org》;20190119;第1-13页 *
《基于深度反卷积网络的虹膜定位方法研究》;徐霄等;《集成技术》;20160131;第5卷(第1期);第57-67页 *
JušLozej等.《End-to-End Iris Segmentation Using U-Net》.《2018 IEEE International Work Conference on Bioinspired Intelligence (IWOBI)》.2018,第1-6页. *

Also Published As

Publication number Publication date
CN112287872A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112287872B (zh) 基于多任务神经网络的虹膜图像分割、定位和归一化方法
CN109815850B (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN111860670B (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
Li et al. SAR image change detection using PCANet guided by saliency detection
US11017210B2 (en) Image processing apparatus and method
Deng et al. Retinal fundus image registration via vascular structure graph matching
CN111611643B (zh) 户型矢量化数据获得方法、装置、电子设备及存储介质
Wenjing et al. Research on areal feature matching algorithm based on spatial similarity
CN106204651B (zh) 一种基于改进的判决与生成联合模型的目标跟踪方法
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN106778468A (zh) 3d人脸识别方法及设备
CN111144325A (zh) 变电站电力设备的故障识别定位方法、装置及设备
Liu et al. A novel rock-mass point cloud registration method based on feature line extraction and feature point matching
CN105139013A (zh) 一种融合形状特征和兴趣点的物体识别方法
Liu et al. Shape detection from line drawings with local neighborhood structure
CN116704270A (zh) 一种基于图像处理的智能设备定位标记方法
Lu et al. Matching algorithm of 3D point clouds based on multiscale features and covariance matrix descriptors
CN111768436B (zh) 一种基于Faster-RCNN改进的图像特征块配准方法
Yuan et al. Multiple feature fused for visual tracking via correlation filters
Liu et al. 3d point cloud classification based on discrete conditional random field
Ge et al. Feature similarity measurement of cross-age face images based on a deep learning algorithm
Wu et al. Application of Deep Learning for 3D building generalization
CN116884045B (zh) 身份识别方法、装置、计算机设备和存储介质
Liu Feature matching of fuzzy multimedia image based on improved SIFT matching
Cheng et al. Detection for overhead ground wire by lines clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210129

Assignee: Zhongke Shanshi Technology (Shenzhen) Co.,Ltd.

Assignor: Beijing University of Civil Engineering and Architecture

Contract record no.: X2023980036155

Denomination of invention: Iris Image Segmentation, Localization, and Normalization Method Based on Multitask Neural Networks

Granted publication date: 20220325

License type: Common License

Record date: 20230601