CN113536968A - 一种自动获取虹膜内外圆边界坐标的方法 - Google Patents

Abstract

本发明公开了一种自动获取虹膜内外圆边界坐标的方法，其包括步骤：步骤S1，将原始人眼虹膜图像输入到卷积神经网络中，获得对应的特征图；步骤S2，将每个卷积层所输出的特征图，分别上采样到与原始人眼虹膜图像相同的尺寸大小，然后拼接获得拼接后的特征图；步骤S3，将拼接后的特征图分别输入到第一多层感知机和第二多层感知机中，预测获得虹膜外圆和虹膜内圆的参数化主动轮廓模型所需的参数；步骤S4，将预测得到的参数分别输入到对应的参数化主动轮廓模型中，得到虹膜外圆和虹膜内圆的边界坐标。本发明提能够自动地从人眼虹膜图像中获取到虹膜内外圆的边界坐标，准确定位虹膜的内外圆边界，为后续虹膜归一化提供准确的输入参数。

Description

一种自动获取虹膜内外圆边界坐标的方法

技术领域

本发明涉及图像识别技术领域，特别是涉及一种自动获取虹膜内外圆边界坐标的方法。

背景技术

目前，虹膜识别作为一种生物特征识别技术，比人脸和指纹识别更具有安全性，也是公认的最精确有效的生物特征识别方法。

但是，在实际应用中，仍遇到许多技术挑战，尤其在某些复杂不可控的场景下采集到的人们的虹膜图像，因为存在光照、距离、遮挡等诸多变化，导致传统分割算法在精确地分割出虹膜区域时有些困难。

而现有的基于深度学习的虹膜分割的方法中，大部分方法是通过对图像像素的分类实现虹膜区域的分割，这些方法存在的问题是：常常会出现过分割和欠分割的问题，无法明确地定位虹膜的内外圆边界。而定位虹膜内外圆边界是虹膜分割的重要步骤，是后续虹膜归一化算法的重要输入参数。因此准确定位虹膜的内外圆边界，对保证虹膜识别的整体准确性，具有十分重要的意义。

但是，目前还没有一种技术，能够准确定位虹膜的内外圆边界，从而保证虹膜识别的整体准确性。

发明内容

本发明的目的是针对现有技术存在的技术缺陷，提供一种自动获取虹膜内外圆边界坐标的方法。

为此，本发明提供了一种自动获取虹膜内外圆边界坐标的方法，包括以下步骤：

步骤S1，将原始人眼虹膜图像输入到卷积神经网络中，通过卷积神经网络提取获得所述原始人眼虹膜图像对应的特征图；

其中，所述原始人眼虹膜图像对应的特征图，是由卷积神经网络中每个卷积层所输出的特征图；

步骤S2，通过卷积神经网络，将每个卷积层所输出的特征图，分别上采样到与原始人眼虹膜图像相同的尺寸大小，然后将上采样过的全部卷积层所输出的特征图按通道进行拼接，获得拼接后的特征图；

步骤S3，将步骤S2获得的拼接后的特征图，分别输入到结构相同的第一多层感知机和第二多层感知机中，通过第一多层感知机和第二多层感知机分别预测获得虹膜外圆的参数化主动轮廓模型所需的参数和虹膜内圆的参数化主动轮廓模型所需的参数；

步骤S4，训练获得虹膜外圆的参数化主动轮廓模型和虹膜内圆的参数化主动轮廓模型，然后将通过步骤S2获得的虹膜外圆的参数化主动轮廓模型所需的参数和虹膜外圆初始的轮廓点坐标，输入到相对应的虹膜外圆参数化主动轮廓模型中，以及将通过步骤S3获得的虹膜内圆的参数化主动轮廓模型所需的参数和虹膜内圆初始的轮廓点坐标，输入到相对应的虹膜内圆参数化主动轮廓模型中，分别得到虹膜外圆的边界坐标和虹膜内圆的边界坐标。

优选地，步骤S1具体包括以下步骤：

步骤S11，卷积神经网络对输入的原始人眼虹膜图像进行数据增广处理，得到数据增广处理后的人眼虹膜图像；

步骤S12，对步骤S11得到的数据增广处理后的人眼虹膜图像，进行归一化处理，得到归一化的人眼虹膜图像；

步骤S13，将步骤S12得到的归一化的人眼虹膜图像，输入到卷积神经网络中，提取获得所述原始人眼虹膜图像对应的特征图。

优选地，在步骤S3中，第一层多层感知机和第二多层感知机是通过以下步骤训练得到的：

步骤S31，将步骤S2获得的拼接后的特征图，分别输入到第一多层感知机和第二多层感知机中；

步骤S32，由第一多层感知机和第二多层感知机，分别预测输出虹膜外圆的参数化主动轮廓模型所需的参数以及虹膜内圆的参数化主动轮廓模型所需的参数。

优选地，在步骤S1中，原始人眼虹膜图像为已进行增强操作的原始人眼虹膜图像；

该原始人眼虹膜图像的增强操作具体包括：以任意角度旋转、高斯噪声扰动、亮度随机扰动中的一种操作或多种操作。

优选地，在步骤S1中，使用的卷积神经网络的模型结构如下：

第一层是输入层，其输入的原始人眼虹膜图像是300*400*3像素的矩阵；

第二层是卷积模块，包含有卷积层、批标准化层、激活函数ReLU层、最大池化层；

其中，卷积层中卷积核大小为3*3，步长为1，该层使用了SAME模式填充；

其中，最大池化层使用的是2*2大小的池化窗，步长为2，最后输出的特征图大小为150*200*32，将最后输出的特征图上采样到原始人眼虹膜图像的尺寸大小300*400，即将卷积神经网络模型的第二层输出的特征图从150*200*32上采样至300*400*32；

对于卷积神经网络模型，其第三层和第二层一样，只是输出的通道数不同，最后输出的特征图大小为75*100*64，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从75*100*64上采样至300*400*64；

第四层同第三层一样，该层输出大小为38*50*64，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从38*50*64上采样至300*400*64；

第五层与第四层一样，其输出的特征图大小为19*25*128，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从19*25*128上采样至300*400*128；

第六层与第五层一样，其输出的特征图大小为10*13*128，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从19*25*128上采样至300*400*128；

第七层同第六层一样，其输出的特征图大小为5*7*256，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从5*7*256上采样至300*400*256。

优选地，在步骤S3中，使用的第一多层感知机和第二多层感知机的结构相同，具体如下：

输入层，输入的是由卷积神经网络拼接后的特征图，其大小为300*400*672；

第一层包含有卷积层、批标准化层、激活函数，其卷积核大小为3*3，步长为1，填充模式是SAME，输出矩阵为300*400*256；

第二层与第一层结构一样，输出矩阵为300*400*128；

第三层与第一层结构一样，输出矩阵为300*400*64；

第四层与第一层结构一样，输出矩阵为300*400*32。

优选地，在步骤S4中，虹膜外圆参数化主动轮廓模型和虹膜内圆参数化主动轮廓模型，这两个参数化主动轮廓模型，均是通过以下步骤训练得到：

步骤S41，利用参数化主动轮廓模型对应的第一多层感知机或第二多层感知机中输出的参数，对模型初始轮廓的坐标点集v(s)＝[x(s)，y(s)]，s∈[0，1]进行演化，使得轮廓的总体能量最小，即轮廓收敛到目标物体边缘；

其中，该公式v(s)＝[x(s)，y(s)]，s∈[0，1]是定义图像中一组封闭的初始轮廓上的控制点的参数方程，其中x，y是轮廓点的x，y的坐标值，s为曲线距离；

在步骤S41中，所述轮廓的总体的能量包括：轮廓本身存在的内部能量和图像施加在轮廓上的外部能量；

步骤S42，循环执行多次步骤S41，直到轮廓的总体能量不再发生变化，即直到坐标不再发生变化，也即曲线收敛到能量最小为止。

优选地，在步骤S4中，将通过步骤S2获得的虹膜外圆的参数化主动轮廓模型所需的参数和虹膜外圆初始的轮廓点坐标，输入到相对应的虹膜外圆参数化主动轮廓模型中，得到虹膜外圆的边界坐标，具体包括以下子步骤：

步骤S411，获取虹膜外圆初始的轮廓点坐标，以及通过第一多层感知机预测输出所述虹膜外圆的参数化主动轮廓模型所需的五个参数图；

步骤S412，获取虹膜外圆初始的轮廓点坐标所在位置对应的所述虹膜外圆的参数化主动轮廓模型所需的五个参数图上的数值，然后对应代入到虹膜外圆的参数化主动轮廓模型中，得到虹膜外圆的新轮廓坐标点；

步骤S413，继续获取虹膜外圆的新轮廓坐标点在对应的所述虹膜外圆的参数化主动轮廓模型所需的五个参数图上的数值，然后继续代入到虹膜外圆的参数化主动轮廓模型中，得到第二轮迭代的虹膜外圆的轮廓坐标点；如此循环往复，直到虹膜外圆的轮廓坐标点不再变化为止，那么最后的虹膜外圆的轮廓坐标点即为虹膜外圆的边界坐标。

优选地，在步骤S4中，将通过步骤S3获得的虹膜内圆的参数化主动轮廓模型所需的参数和虹膜内圆初始的轮廓点坐标，输入到相对应的虹膜内圆参数化主动轮廓模型中，得到虹膜内圆的边界坐标，具体包括以下子步骤：

步骤S421，获取虹膜内圆初始的轮廓点坐标，以及通过第二多层感知机预测输出所述虹膜内圆的参数化主动轮廓模型所需的五个参数图；

步骤S422，获取虹膜内圆初始的轮廓点坐标所在位置对应的所述虹膜内圆的参数化主动轮廓模型所需的五个参数图上的数值，然后对应代入到虹膜内圆的参数化主动轮廓模型中，得到虹膜内圆的新轮廓坐标点；

步骤S423，继续获取虹膜内圆的新轮廓坐标点在对应的所述虹膜内圆的参数化主动轮廓模型所需的五个参数图上的数值，然后继续代入到虹膜内圆的参数化主动轮廓模型中，得到第二轮迭代的虹膜内圆的轮廓坐标点；如此循环往复，直到虹膜内圆的轮廓坐标点不再变化为止，那么最后的虹膜内圆的轮廓坐标点即为虹膜内圆的边界坐标。

由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种自动获取虹膜内外圆边界坐标的方法，其设计科学，利用深度学习技术结合参数化主动轮廓模型，能够自动地从人眼虹膜图像中获取到虹膜内外圆的边界坐标，准确定位虹膜的内外圆边界，从而为后续的虹膜归一化提供准确的输入参数，保证虹膜识别的整体准确性，具有重大的实践意义。

对于本发明，其结合深度学习的图像与视频分析处理技术，智能提取虹膜内外圆的边界，并解决现有分割技术无法准确定位虹膜内外圆边界的技术问题，以及传统分割算法的普适性差的问题。

附图说明

图1为本发明提供的一种自动获取虹膜内外圆边界坐标的方法的整体流程图；

图2是本发明提供的一种自动获取虹膜内外圆边界坐标的方法，对输入的人眼虹膜图像进行识别处理的整体流程图；

图3是本发明提供的一种自动获取虹膜内外圆边界坐标的方法，通过卷积神经网络和多层感知机作为参数化主动轮廓模型，来预测获得五个参数的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。

参见图1至图3，本发明提供了一种自动获取虹膜内外圆边界坐标的方法，包括以下步骤：

步骤S1，将原始人眼虹膜图像输入到卷积神经网络中，通过卷积神经网络提取获得所述原始人眼虹膜图像对应的特征图；

其中，所述原始人眼虹膜图像对应的特征图，是由卷积神经网络中每个卷积层所输出的特征图；

步骤S2，通过卷积神经网络，将每个卷积层所输出的特征图，分别上采样到与原始人眼虹膜图像(即输入图像)相同的尺寸大小，然后将上采样过的全部卷积层所输出的特征图按通道进行拼接，获得拼接后的特征图；

步骤S3，将步骤S2获得的拼接后的特征图，分别输入到结构相同的第一多层感知机和第二多层感知机中，通过第一多层感知机和第二多层感知机分别预测获得虹膜外圆的参数化主动轮廓模型所需的参数和虹膜内圆的参数化主动轮廓模型所需的参数(即虹膜外圆初始轮廓拟合所需要的参数和虹膜内圆初始轮廓拟合所需要的参数)；

需要说明的是，多层感知机(MLP，Multilayer Perceptron)，也叫人工神经网络(ANN，Artificial Neural Network)。

步骤S4，训练获得虹膜外圆的参数化主动轮廓模型和虹膜内圆的参数化主动轮廓模型，然后将通过步骤S2获得的虹膜外圆的参数化主动轮廓模型所需的参数和虹膜外圆初始的轮廓点坐标，输入到相对应的虹膜外圆参数化主动轮廓模型中，以及将通过步骤S3获得的虹膜内圆的参数化主动轮廓模型所需的参数和虹膜内圆初始的轮廓点坐标，输入到相对应的虹膜内圆参数化主动轮廓模型中，分别得到虹膜外圆的边界坐标和虹膜内圆的边界坐标(即虹膜内圆和虹膜外圆的初始轮廓点在步骤S3预测得到的参数的作用下演化得到的最终位置)；

在本发明中，具体实现上，步骤S1具体包括以下步骤：

步骤S11，卷积神经网络对输入的原始人眼虹膜图像进行数据增广处理，得到数据增广处理后的人眼虹膜图像；

步骤S12，对步骤S11得到的数据增广处理后的人眼虹膜图像，进行归一化处理，得到归一化的人眼虹膜图像；

步骤S13，将步骤S12得到的归一化的人眼虹膜图像，输入到卷积神经网络中，提取获得所述原始人眼虹膜图像对应的特征图。

在本发明中，具体实现上，在步骤S3中，第一层多层感知机和第二多层感知机是通过以下步骤训练得到的：

步骤S31，将步骤S2获得的拼接后的特征图，分别输入到第一多层感知机和第二多层感知机中；

步骤S32，由第一多层感知机和第二多层感知机，分别预测输出虹膜外圆的参数化主动轮廓模型所需的参数以及虹膜内圆的参数化主动轮廓模型所需的参数(即虹膜内圆初始轮廓拟合所需要的参数和虹膜外圆初始轮廓拟合所需要的参数)。

在本发明中，具体实现上，在步骤S4中，虹膜外圆参数化主动轮廓模型和虹膜内圆参数化主动轮廓模型，这两个参数化主动轮廓模型，均是通过以下步骤训练得到：

步骤S41，利用参数化主动轮廓模型对应的第一多层感知机或第二多层感知机中输出的参数，对模型初始轮廓的坐标点集v(s)＝[x(s)，y(s)]，s∈[0，1]进行演化，使得轮廓的总体能量最小，即轮廓收敛到目标物体边缘；

其中，该公式v(s)＝[x(s)，y(s)]，s∈[0，1]是定义图像中一组封闭的初始轮廓上的控制点的参数方程，其中x，y是轮廓点的x，y的坐标值，s为曲线距离；

在步骤S41中，所述轮廓的总体的能量包括：轮廓本身存在的内部能量和图像施加在轮廓上的外部能量，其中，轮廓本身存在的内部能量主要包括曲线的一阶导和二阶导，公式的第一项是一阶导，主要是控制曲线总体的长度，曲线长度越短能量越小，公式的第二项是二阶导，主要控制曲线的曲率，曲率越小能量越小；

其中，图像施加在轮廓上的外部能量主要包括图像力和法向力，如下面公式的后两项所示，其中图像力是根据图像的梯度实现的，法向力是图像梯度根据曲线的法线方向在法线上施加的力，力的方向由多层感知机预测的参数控制，参数为正，法向力方向与法线方向相同，若参数为负，则法向力方向与法线方向相反。当曲线收敛到目标物体的边缘时，总体能量最小。其中网络模型预测的五个参数图如图3所示，即图像梯度图E_image，曲线一阶导参数α，曲线二阶导参数β，图像力参数k以及法向力参数n。具体包括以下的计算公式：

E＝E_internal+E_external， 公式(一)；

在公式(一)中，E为轮廓的总体能量；Einternal是内部力，代表轮廓本身存在的内部能量，即曲线的弹性长度和曲率；Eexternal是外部力，代表的是图像施加在轮廓上的外部能量，即图像力和图像施加在曲线法向上的力。

公式(二)作为第二个公式，是第一个公式(一)的展开式，在公式(二)中，前两项代表内部力，后两项代表外部力。其中，v’(s)代表的是曲线的一阶导，表示曲线的弹性长度；α主要是控制曲线总体的长度的参数，由神经网络预测得到，曲线长度越短能量越小；v”(s)代表的是曲线的二阶导，代表曲线的弯曲程度即曲率；β是控制曲线曲率的参数，由神经网络预测得到；κ是控制图像外部力大小的参数，Eimage是图像的梯度力，κ与Eimage在本发明中均由神经网络预测得到；Enorm是图像施加在曲线法向上的力；n是控制图像法向力的参数，由神经网络预测得到。

步骤S42，循环执行多次步骤S41，直到轮廓的总体能量不再发生变化，即直到坐标不再发生变化，也即曲线收敛到能量最小为止。

在本发明中，在步骤S1中，对获取到的原始人眼虹膜图像数据输入到卷积神经网络之前，做了一些数据预处理操作，以得到数据随机增强后的图像；

具体而言，在步骤S1中，原始人眼虹膜图像为已进行增强操作的原始人眼虹膜图像；

该原始人眼虹膜图像的增强操作具体可以包括：以任意角度旋转、高斯噪声扰动、亮度随机扰动中的一种操作或多种操作。

在本发明中，在步骤S1中，使用的卷积神经网络的模型结构如下：

第一层是输入层，其输入的原始人眼虹膜图像是300*400*3像素的矩阵；

第二层是卷积模块，包含有卷积层、批标准化层、激活函数ReLU层、最大池化层；

其中，卷积层中卷积核大小为3*3，步长为1，该层使用了SAME模式填充；

其中，最大池化层使用的是2*2大小的池化窗，步长为2，最后输出的特征图大小为150*200*32，将最后输出的特征图上采样到原始人眼虹膜图像的相同尺寸大小(例如300*400)，即将卷积神经网络模型的第二层输出的特征图从150*200*32上采样至300*400*32(即从原始特征图的尺寸大小，上采样至原始人眼虹膜图像的相同尺寸大小)；

对于卷积神经网络模型，其第三层和第二层一样，只是输出的通道数不同，例如，第二层通道数是32，第三层通道数是64，通道数就相当于是生成多少张特征图，即输出特征图大小为75*100*64，即有64张75*100大小的特征图，特征图的多少取决于卷积核的个数。

最后输出的特征图大小为75*100*64，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从75*100*64上采样至300*400*64；

第四层同第三层一样，该层输出大小为38*50*64，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从38*50*64上采样至300*400*64；

第五层与第四层一样，其输出的特征图大小为19*25*128，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从19*25*128上采样至300*400*128；

第六层与第五层一样，其输出的特征图大小为10*13*128，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从19*25*128上采样至300*400*128；

第七层同第六层一样，其输出的特征图大小为5*7*256，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从5*7*256上采样至300*400*256；

在本发明中，在步骤S2中，将卷积神经网络中的第二层到第七层所有上采样过后的特征图按通道拼接起来，拼接层输出的特征图的大小为300*400*672，即为原始人眼虹膜图像(即输入图像)相同的尺寸大小，也即为多层感知机的输入图像大小。

在本发明中，在步骤S1中，用于提取特征图的卷积神经网络，是简单的只有六层卷积层的卷积神经网络，为了整合不同尺度(scale)、语义(semantic)和分辨率(resolutionratio)等特征，在架构上采用了多级级联的方式，融合来自不同卷积层输出的特征图(feature map)：图像首先通过所有的卷积层后，输出每一层的特征图，然后将每层的特征图上采样到原图尺寸大小，然后通过通道拼接之后，同时输入两个分支(即第一多层感知机和第二多层感知机这两个多层感知机)中。

需要说明的是，在步骤S3中，第一多层感知机，作为第一分支，用于虹膜外圆的边界定位，通过将拼接后的特征图输入到第一多层感知机中后，预测得到虹膜外圆的参数化主动轮廓模型所需的五个参数图，这样，可以通过对其外圆的初始轮廓进行迭代演变，最终得到外圆的边界坐标。

在步骤S3中，第二多层感知机，作为第二分支，用于虹膜内圆的边界定位，同样通过将拼接后的特征图输入到同样结构的第二多层感知机中，预测得到虹膜内圆的参数化主动轮廓模型所需的五个参数图，这样，可以通过其对内圆初始轮廓进行迭代演变，最终得到内圆的边界坐标。

在本发明中，在步骤S3中，使用的第一多层感知机和第二多层感知机的结构相同，具体如下：

输入层，输入的是由卷积神经网络拼接后的特征图，其大小为300*400*672；

第一层包含有卷积层、批标准化层、激活函数，其卷积核大小为3*3，步长为1，填充模式是SAME，输出矩阵为300*400*256；

第二层与第一层结构一样，输出矩阵为300*400*128；

第三层与第一层结构一样，输出矩阵为300*400*64；

第四层与第一层结构一样，输出矩阵为300*400*32；

如图3所示，对于第一多层感知机和第二多层感知机，最后的输出有五个参数图，每个参数图的输出是经过一个卷积核为1*1，步长为1且填充模式为SAME的卷积模块之后，再过一个sigmoid函数层得到和原图(即原始人眼虹膜图像)相同尺寸大小的参数图，即输出的参数图大小为300*400，其中五个参数中的法向力的参数范围由[0,1]线性拉伸到[-1,1]。

在本发明中，在步骤S4中，将通过步骤S2获得的虹膜外圆的参数化主动轮廓模型所需的参数和虹膜外圆初始的轮廓点坐标，输入到相对应的虹膜外圆参数化主动轮廓模型中，得到虹膜外圆的边界坐标，具体包括以下子步骤：

步骤S411，获取虹膜外圆初始的轮廓点坐标，以及通过第一多层感知机预测输出所述虹膜外圆的参数化主动轮廓模型所需的五个参数图；

需要说明的是，在本发明中，虹膜外圆和内圆初始轮廓点坐标是代码随机生成两个初始的闭合轮廓，外圆初始轮廓比内圆初始轮廓大一些，是引入了已知的外圆在内圆外的知识生成的，其用来作为曲线拟合的初始值，即后续的得到的结果是主动轮廓模型针对当前给定的初始的轮廓点坐标施加内部力与外部力进行演变而成的。轮廓包含的内容仅是一串有序的间隔距离相等的坐标点对(x,y)。

在本发明中，具体实现上，为了获取虹膜外圆初始的轮廓点坐标、虹膜内圆初始的轮廓点坐标，可以采用现有的方法生成，例如采用：一个很简单的随机生成闭合曲线的方法，即只需随机给定中心点与长短轴的长度即可。此外，也可以给定中心点，利用区域生长法随机生成。

步骤S412，获取虹膜外圆初始的轮廓点坐标所在位置对应的所述虹膜外圆的参数化主动轮廓模型所需的五个参数图上的数值，然后对应代入到虹膜外圆的参数化主动轮廓模型中，得到虹膜外圆的新轮廓坐标点；

需要说明的是，对于本发明，可以直接通过轮廓点的坐标(即虹膜外圆初始的轮廓点坐标)，去提取参数图上面这个坐标位置上的值，这个数值即前面公式所需的参数值，轮廓上不同坐标点的参数值不同，参数值大，施加在该点的力就越大，反之亦然。参数值的作用即控制轮廓点坐标上的力的大小。

步骤S413，继续获取虹膜外圆的新轮廓坐标点在对应的所述虹膜外圆的参数化主动轮廓模型所需的五个参数图上的数值，然后继续代入到虹膜外圆的参数化主动轮廓模型中，得到第二轮迭代的虹膜外圆的轮廓坐标点；如此循环往复，直到虹膜外圆的轮廓坐标点不再变化为止，那么最后的虹膜外圆的轮廓坐标点即为虹膜外圆的边界坐标。

在本发明中，在步骤S4中，将通过步骤S3获得的虹膜内圆的参数化主动轮廓模型所需的参数和虹膜内圆初始的轮廓点坐标，输入到相对应的虹膜内圆参数化主动轮廓模型中，得到虹膜内圆的边界坐标，具体包括以下子步骤：

步骤S421，获取虹膜内圆初始的轮廓点坐标，以及通过第二多层感知机预测输出所述虹膜内圆的参数化主动轮廓模型所需的五个参数图；

步骤S422，获取虹膜内圆初始的轮廓点坐标所在位置对应的所述虹膜内圆的参数化主动轮廓模型所需的五个参数图上的数值，然后对应代入到虹膜内圆的参数化主动轮廓模型中，得到虹膜内圆的新轮廓坐标点；

需要说明的是，对于本发明，与虹膜外圆一样，内圆也是直接通过轮廓点的坐标(即虹膜内圆初始的轮廓点坐标)，去提取参数图上面这个坐标位置上的值，这个数值即前面公式提到的所需的参数，轮廓上不同坐标点的参数值不同，参数值大，施加在该点的力就越大，反之亦然。参数值的作用即控制轮廓点坐标上的力的大小。

步骤S423，继续获取虹膜内圆的新轮廓坐标点在对应的所述虹膜内圆的参数化主动轮廓模型所需的五个参数图上的数值，然后继续代入到虹膜内圆的参数化主动轮廓模型中，得到第二轮迭代的虹膜内圆的轮廓坐标点；如此循环往复，直到虹膜内圆的轮廓坐标点不再变化为止，那么最后的虹膜内圆的轮廓坐标点即为虹膜内圆的边界坐标。

需要说明的是，通过最后得到的不再变化的坐标(例如虹膜内圆的边界坐标或虹膜外圆的边界坐标)，计算预测的曲线和真实值曲线之间的损失，以及计算预测的曲线填充得到的掩膜图和真实的掩膜图之间的损失，然后去迭代更新卷积神经网络模型及多层感知机中的参数，不断训练网络模型。

在本发明中，预测的曲线，即预测得到的曲线，是初始曲线在经过主动轮廓模型计算之后得到的最终曲线。

在本发明中，为了计算预测的曲线和真实值曲线之间的损失以及预测的曲线填充得到的掩膜图(即梯度图)和真实的掩膜图(即梯度图)之间的损失，具体采用的损失函数的公式，可以如下面的公式所示。

对于上面的公式，其中，yi表示预测得到的曲线,yt表示真实值曲线。

第一个公式(1)是关于α的损失函数，预测得到的曲线的一阶导与真实值曲线的一阶导之间的损失，(u,v)代表曲线上的坐标点，相当于(x,y)，但是此处为了与预测的曲线y_i与真实值曲线y_t区分开，所以采用(u,v)；

第二个公式(2)是关于β的损失函数，预测得到的曲线的二阶导与真实值曲线的二阶导之间的损失；

第三个公式(3)是关于κ的损失函数，预测得到的曲线围成的区域与真实值曲线的围成的区域之间的损失，Ω代表曲线围成的区域；

第四个公式(4)是关于n的损失函数，与第三个式子相同，预测得到的曲线围成的区域与真实值曲线的围成的区域之间的损失，Ω代表曲线围成的区域；

第五个公式(5)是关于图像梯度的损失函数，预测得到的图像梯度图与真实值图像的梯度图之间的损失。

需要说明的是，对于本发明，计算预测的曲线填充得到的掩膜图和真实的掩膜图之间的损失，计算的作用是通过计算预测值与真实值之间的差距，将损失值反向传播至神经网络中，逐层优化更新卷积层中的权重参数与偏移量参数，如此反复迭代，使得损失值最小，模型收敛。

需要说明的是，本发明利用深度学习方法，结合参数化主动轮廓模型从人眼虹膜图像中自动同时地获取到虹膜内外圆的边界坐标，为后续的虹膜归一化提供准确的输入参数。

本发明的基本思路在于：提供一种基于深度学习和主动轮廓模型技术的自动获取人眼虹膜图像的内外圆边界坐标的方法。具体是：先使用深度学习来预测提供参数化主动轮廓模型所需的参数，然后使用参数化主动轮廓模型将初始轮廓收敛到目标内外圆的边界，这样便能精准地得到虹膜内外圆的边界坐标，更为精准地分割出虹膜的特征部分，为后续的虹膜归一化提供准确的输入参数。本发明旨在利用深度学习与参数化主动轮廓模型，自动地获取到虹膜图像的内外圆边界，为后续的虹膜归一化提供准确的输入参数。

需要说明的是，对于本发明，具体是先使用卷积神经网络提取人眼虹膜图像的特征，然后使用多层感知机根据提取的特征图预测出主动轮廓模型所需的参数；最后，将预测得到的多个参数输入到参数化主动轮廓模型中得到最终的边界坐标。并且，本发明利用双路的方法同时得到虹膜内圆和外圆的边界坐标，这样便能同时获取虹膜内外圆的边界坐标。

与现有技术相比较，总体而言，本发明提供的技术方案，具有以下的有益技术效果：

1、本发明由于采用了步骤S3，其通过拼接得到的特征图自动预测出参数化主动轮廓模型所需的参数，节省了人工筛选参数的工作量和时间，且能获得比人工筛选得到的全局参数更精确的边界，避免边界曲线过度平滑或者欠平滑的情况。

2、本发明由于采用了步骤S4，其基于神经网络预测出的参数控制初始轮廓点的位置移动，这进一步减少人工的工作量，为每一个虹膜图像预测出对应的参数，能快速准确地定位到虹膜的边界。

3、本发明将深度学习技术，应用于参数化主动轮廓模型自动获取虹膜内外圆边界的工作，实现了端到端获取虹膜内外圆边界，极大地节省了人工筛选参数带来的费时性问题。

4、本发明属于辅助自动化工具，相较于传统分割模型极大程度地减轻了人工所需的成本，相较于纯深度学习模型而言，更能精确地获取虹膜内外边界的坐标。

综上所述，与现有技术相比较，本发明提供的一种自动获取虹膜内外圆边界坐标的方法，其设计科学，利用深度学习技术结合参数化主动轮廓模型，能够自动地从人眼虹膜图像中获取到虹膜内外圆的边界坐标，准确定位虹膜的内外圆边界，从而为后续的虹膜归一化提供准确的输入参数，保证虹膜识别的整体准确性，具有重大的实践意义。

对于本发明，其结合深度学习的图像与视频分析处理技术，智能提取虹膜内外圆的边界，并解决现有分割技术无法准确定位虹膜内外圆边界的技术问题，以及传统分割算法的普适性差的问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种自动获取虹膜内外圆边界坐标的方法，其特征在于，包括以下步骤：

步骤S1，将原始人眼虹膜图像输入到卷积神经网络中，通过卷积神经网络提取获得所述原始人眼虹膜图像对应的特征图；

其中，所述原始人眼虹膜图像对应的特征图，是由卷积神经网络中每个卷积层所输出的特征图；

步骤S2，通过卷积神经网络，将每个卷积层所输出的特征图，分别上采样到与原始人眼虹膜图像相同的尺寸大小，然后将上采样过的全部卷积层所输出的特征图按通道进行拼接，获得拼接后的特征图；

步骤S3，将步骤S2获得的拼接后的特征图，分别输入到结构相同的第一多层感知机和第二多层感知机中，通过第一多层感知机和第二多层感知机分别预测获得虹膜外圆的参数化主动轮廓模型所需的参数和虹膜内圆的参数化主动轮廓模型所需的参数；

步骤S4，训练获得虹膜外圆的参数化主动轮廓模型和虹膜内圆的参数化主动轮廓模型，然后将通过步骤S2获得的虹膜外圆的参数化主动轮廓模型所需的参数和虹膜外圆初始的轮廓点坐标，输入到相对应的虹膜外圆参数化主动轮廓模型中，以及将通过步骤S3获得的虹膜内圆的参数化主动轮廓模型所需的参数和虹膜内圆初始的轮廓点坐标，输入到相对应的虹膜内圆参数化主动轮廓模型中，分别得到虹膜外圆的边界坐标和虹膜内圆的边界坐标。

2.如权利要求1所述的方法，其特征在于，步骤S1具体包括以下步骤：

步骤S11，卷积神经网络对输入的原始人眼虹膜图像进行数据增广处理，得到数据增广处理后的人眼虹膜图像；

步骤S12，对步骤S11得到的数据增广处理后的人眼虹膜图像，进行归一化处理，得到归一化的人眼虹膜图像；

步骤S13，将步骤S12得到的归一化的人眼虹膜图像，输入到卷积神经网络中，提取获得所述原始人眼虹膜图像对应的特征图。

3.如权利要求1所述的方法，其特征在于，在步骤S3中，第一层多层感知机和第二多层感知机是通过以下步骤训练得到的：

步骤S31，将步骤S2获得的拼接后的特征图，分别输入到第一多层感知机和第二多层感知机中；

步骤S32，由第一多层感知机和第二多层感知机，分别预测输出虹膜外圆的参数化主动轮廓模型所需的参数以及虹膜内圆的参数化主动轮廓模型所需的参数。

4.如权利要求1所述的方法，其特征在于，在步骤S1中，原始人眼虹膜图像为已进行增强操作的原始人眼虹膜图像；

该原始人眼虹膜图像的增强操作具体包括：以任意角度旋转、高斯噪声扰动、亮度随机扰动中的一种操作或多种操作。

5.如权利要求1所述的方法，其特征在于，在步骤S1中，使用的卷积神经网络的模型结构如下：

第一层是输入层，其输入的原始人眼虹膜图像是300*400*3像素的矩阵；

第二层是卷积模块，包含有卷积层、批标准化层、激活函数ReLU层、最大池化层；

其中，卷积层中卷积核大小为3*3，步长为1，该层使用了SAME模式填充；

其中，最大池化层使用的是2*2大小的池化窗，步长为2，最后输出的特征图大小为150*200*32，将最后输出的特征图上采样到原始人眼虹膜图像的尺寸大小300*400，即将卷积神经网络模型的第二层输出的特征图从150*200*32上采样至300*400*32；

对于卷积神经网络模型，其第三层和第二层一样，只是输出的通道数不同，最后输出的特征图大小为75*100*64，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从75*100*64上采样至300*400*64；

第四层同第三层一样，该层输出大小为38*50*64，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从38*50*64上采样至300*400*64；

第五层与第四层一样，其输出的特征图大小为19*25*128，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从19*25*128上采样至300*400*128；

第六层与第五层一样，其输出的特征图大小为10*13*128，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从19*25*128上采样至300*400*128；

第七层同第六层一样，其输出的特征图大小为5*7*256，将其上采样到原图300*400尺寸大小，即将第一层输出的特征图从5*7*256上采样至300*400*256。

6.如权利要求1所述的方法，其特征在于，在步骤S3中，使用的第一多层感知机和第二多层感知机的结构相同，具体如下：

输入层，输入的是由卷积神经网络拼接后的特征图，其大小为300*400*672；

第一层包含有卷积层、批标准化层、激活函数，其卷积核大小为3*3，步长为1，填充模式是SAME，输出矩阵为300*400*256；

第二层与第一层结构一样，输出矩阵为300*400*128；

第三层与第一层结构一样，输出矩阵为300*400*64；

第四层与第一层结构一样，输出矩阵为300*400*32。

7.如权利要求1至6中任一项所述的方法，其特征在于，在步骤S4中，虹膜外圆参数化主动轮廓模型和虹膜内圆参数化主动轮廓模型，这两个参数化主动轮廓模型，均是通过以下步骤训练得到：

步骤S41，利用参数化主动轮廓模型对应的第一多层感知机或第二多层感知机中输出的参数，对模型初始轮廓的坐标点集v(s)＝[x(s)，y(s)]，s∈[0，1]进行演化，使得轮廓的总体能量最小，即轮廓收敛到目标物体边缘；

其中，该公式v(s)＝[x(s)，y(s)]，s∈[0，1]是定义图像中一组封闭的初始轮廓上的控制点的参数方程，其中x，y是轮廓点的x，y的坐标值，s为曲线距离；

在步骤S41中，所述轮廓的总体的能量包括：轮廓本身存在的内部能量和图像施加在轮廓上的外部能量；

步骤S42，循环执行多次步骤S41，直到轮廓的总体能量不再发生变化，即直到坐标不再发生变化，也即曲线收敛到能量最小为止。

8.如权利要求1至6中任一项所述的方法，其特征在于，在步骤S4中，将通过步骤S2获得的虹膜外圆的参数化主动轮廓模型所需的参数和虹膜外圆初始的轮廓点坐标，输入到相对应的虹膜外圆参数化主动轮廓模型中，得到虹膜外圆的边界坐标，具体包括以下子步骤：

步骤S411，获取虹膜外圆初始的轮廓点坐标，以及通过第一多层感知机预测输出所述虹膜外圆的参数化主动轮廓模型所需的五个参数图；

步骤S412，获取虹膜外圆初始的轮廓点坐标所在位置对应的所述虹膜外圆的参数化主动轮廓模型所需的五个参数图上的数值，然后对应代入到虹膜外圆的参数化主动轮廓模型中，得到虹膜外圆的新轮廓坐标点；

步骤S413，继续获取虹膜外圆的新轮廓坐标点在对应的所述虹膜外圆的参数化主动轮廓模型所需的五个参数图上的数值，然后继续代入到虹膜外圆的参数化主动轮廓模型中，得到第二轮迭代的虹膜外圆的轮廓坐标点；如此循环往复，直到虹膜外圆的轮廓坐标点不再变化为止，那么最后的虹膜外圆的轮廓坐标点即为虹膜外圆的边界坐标。

9.如权利要求1至6中任一项所述的方法，其特征在于，在步骤S4中，将通过步骤S3获得的虹膜内圆的参数化主动轮廓模型所需的参数和虹膜内圆初始的轮廓点坐标，输入到相对应的虹膜内圆参数化主动轮廓模型中，得到虹膜内圆的边界坐标，具体包括以下子步骤：

步骤S421，获取虹膜内圆初始的轮廓点坐标，以及通过第二多层感知机预测输出所述虹膜内圆的参数化主动轮廓模型所需的五个参数图；

步骤S422，获取虹膜内圆初始的轮廓点坐标所在位置对应的所述虹膜内圆的参数化主动轮廓模型所需的五个参数图上的数值，然后对应代入到虹膜内圆的参数化主动轮廓模型中，得到虹膜内圆的新轮廓坐标点；

步骤S423，继续获取虹膜内圆的新轮廓坐标点在对应的所述虹膜内圆的参数化主动轮廓模型所需的五个参数图上的数值，然后继续代入到虹膜内圆的参数化主动轮廓模型中，得到第二轮迭代的虹膜内圆的轮廓坐标点；如此循环往复，直到虹膜内圆的轮廓坐标点不再变化为止，那么最后的虹膜内圆的轮廓坐标点即为虹膜内圆的边界坐标。

Images