CN110321844B - 一种基于卷积神经网络的快速虹膜检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的快速虹膜检测方法，该方法包括如下步骤：(1)设计并训练虹膜检测网络回归器模型；(2)获取待检测的虹膜图像并进行图像预处理；(3)将(2)步得到的图像输入(1)步的虹膜检测网络回归器模型获得属于虹膜的概率，虹膜图像中心点和半径的偏置；(4)为获得更精确的虹膜位置，将(3)步所得的结果中属于虹膜概率大于预设阈值所对应的虹膜中心点和半径进行输出，然后通过非极大值抑制方法进行筛选获得最终图像的虹膜的中心点和半径，由此获得虹膜区域对应圆形范围。本技术方案采用紧凑型卷积神经网络对虹膜图像中心点和半径偏置进行回归，依据虹膜的圆形特征获得虹膜区域，检测速度快、准确率高，对虹膜识别精度的提高有着重要作用。

Description

一种基于卷积神经网络的快速虹膜检测方法

技术领域

本发明属于图像处理及生物特征信息识别技术领域，尤其涉及针对人 眼虹膜图像检测时将神经网络算法嵌入模拟器后发展出的一种基于卷积 神经网络的快速虹膜检测方法。

背景技术

现代社会的发展对人类自身身份识别的准确性、安全性与使用性提出 了更高的要求。而身份识别是人们日常生活中遇到的一个普遍性问题，在 生活中经常会发生需要证明自己的身份、鉴别别人的身份等事情。传统的 依赖照片的身份识别方法己经远远落后于时代的要求，人类必须寻求更为 安全可靠、使用方便的身份识别新途径。基于生物特征识别的身份鉴定技 术具有以下优点：不易遗忘或丢失，防伪性能好，不易伪造或被盗，随身携带，随时随地可用。生物特征识别技术是指使用人体本身所固有的生 理特征或行为特征，具有不可复制性、唯一性、普遍性和稳定性等特点。 而虹膜识别技术具有随机的细节特征和纹理特征，且保持相当高的稳定性； 具有内在的隔离和保护能力，不需要接触式采集等生理方面的有点，有 着广泛的市场前景和科学研究价值。

进行虹膜识别过程中，首先需要采集符合一定要求的虹膜图像，再对 虹膜图像进行分割获得瞳孔区、虹膜区、沿睫毛区等图像区域。在进行区 域分割中，最为关键的步骤是如何准确从图像中获得虹膜区的位置和区域 大小，即，虹膜识别首要任务是检测到虹膜所在区域，这对后续的识别有 着重要的影响，精确定位虹膜区域对提高虹膜识精度产生巨大的帮助。

传统虹膜检测方法主要利用虹膜周围区域的纹理和灰度特征，使用边 缘检测、阈值分割或局部特征模式(LBP)等方法来检测虹膜区域，此类方 法的检测容易受到光照、噪声以及图像模糊等因素影响，稳定性不高。因 此，如何提高虹膜区域检测精度以及识别方法的鲁棒性在虹膜生物信息识 别中具有重要的研究价值和意义。

发明内容

本申请的目的就是为了解决在虹膜图像分析检测中，为准确对虹膜位 置和大小实现定位，将卷积神经网络方法结合应用至图像处理中，通过神 经网络模型训练获得能够对图像中虹膜区域进行预存的虹膜检测方法， 从而实现对不同图像中的虹膜区域能够达到准确、快速、高效分辨目的。

为实现上述发明目的，本申请的选择以下技术方案：一种基于卷积神 经网络的快速虹膜检测方法，该方法包括如下步骤：(1)设计并训练虹膜 检测网络回归器模型；(2)获取待检测的虹膜图像并进行图像预处理； (3)将(2)步得到的图像输入(1)步的虹膜检测网络回归器模型获得属于 虹膜的概率，虹膜图像中心点和半径偏置；(4)为获得更精确的虹膜位 置，将(3)步所得结果中属于虹膜概率大于预设阈值所对应的虹膜中心点 和半径进行输出，再通过非极大值抑制方法进行筛选获得最终图像的虹 膜的中心点和半径，由此获得虹膜区域对应圆形区域。上述方法步骤中， 最为核心的是利用卷积神经网络构建了虹膜检测网络回归器模型，该模 型通过图像训练和机器学习的方法获能够对不同输入图像进行虹膜位置 检测的模型，该模型的构建在图像识别领域是一次重大的发展和突破。

作为本申请发明核心的设计并训练虹膜检测网络回归器模型的具体过 程为：

(1-1)获得标准虹膜图像数据，该标准虹膜图像的外圆中心点及其半 径为G_x、G_y、G_R，以中心点为中心，2*G_R为边长构建正方形A；

(1-2)以固定倍数逐步对标准虹膜图像采样构建L层图像金字塔，在 第i层金字塔上，在水平和竖直方向上以等间距步长构建多个正方形框， 该正方形边框集合为B，L≥1；计算(1-1)的A和B的交并比：

若IoU>0.6，则划分到正样本；若IoU<0.3，则划为负样本；

(1-3)对(1-2)的所有正方形分别计算出其对角线交点O及该点到 上、下、左、右距离平均值d，将点O和d作为检测到的正方形框内接圆 中心点和半径；

(1-4)对(1-2)中正方形边框的原图进行裁剪、数据增强，包括但 不限于高斯模糊、图像水平翻转、亮度调整、缩放，在进行上述操作时各 正方形边框原图的图像中心点坐标和半径大小也进行相应的操作；

(1-5)对(1-4)处理后的图像进行归一化操作以提高模型泛化能力 和加快模型收敛速度，归一化采用零均值归一化方法，公式为：

x为输入的缩放后的虹膜图像像素点值，x′计算后的像素值，μ和σ分别为 缩放后虹膜图像的期望和方差值；

(1-6)对(1-3)步用于输入的中心点和半径进行处理，得到中心点 和半径真实偏置，计算公式如下：

其 中，G_x、G_y、G_R标准虹膜图像的外圆中心点及其半径，P_x、P_y、P_R为每个 图形框对应内接圆的坐标和半径，m_x、m_y、m_r分别为中心纵、横坐标和半 径的偏差；

(1-7)通过多层卷积组构建虹膜中心点及其半径的偏置的神经网络回 归器模型，该模型的超参数包括：分类使用的交叉熵损失函数：

坐标回归使用smooth_L1函 数：

上述公式中的p_i为预测的属于虹膜的概 率，

为标准虹膜图像参数；

(1-8)完成上述神经网络回归器模型的配置后开始输入图像进行训 练：训练中，虹膜图像先经过神经网络回归器模型进行前向推理，得到推 理结果，即分类结果和回归结果，再使用定义好的损失函数计算与真实值 之间的误差，然后将误差反向传播到网络中，由学习率和误差调整网络权 重，再次重复计算过程，当损失函数值足够小且模型在验证集和测试集精 度不再提升时，停止训练，调整模型参数，再次训练，直至在测试集上结 果最优，模型即训练完成。

上述模型的构建和训练方法中，利用标准图像分割成多个方形原图， 通过方形原图的中心和半径与标准位置的比对获得虹膜位置的概率大小， 在神经网络的构建中，最为核心的参数选择交叉熵损失函数和坐标回归 的smooth_L1函数进行模型优化和学习过程，该参数的选择能显著提高模型 优化和学习的准确性及效率，在神经网络的模型构建中属于突破和创新。

在待检测图像被送入神经网络回归器模型进行筛选前，为了提高图像 的识别效率需要进行图像预处理过程，该过程包括：(2-1)利用(1-2) 的方法构建多个正方形框的图像；(2-2)将(2-1)的多个图像裁剪后缩放 至112×112大小；(2-3)多上步缩放后的图像利用(1-5)步进行零均值 归一化。通过上述图像的预处理过程，对虹膜区域的准确检测提供了基础。

由于图像经过神经网络的模型的分析预测后输出不同区块属于虹膜的 概率，大于阈值概率的区域将被作为虹膜区域的候选，因此还需要对筛选 出的图像进行判断，本申请采用非极大值算法对得到图像的坐标和半径偏 置进行处理，最终得到最佳坐标和半径偏置。由虹膜中心点坐标和半径信 息，即可得到虹膜区域。

本申请的技术方案通过对虹膜图像进行标注，利用紧凑型网络对经 过区域划分和预处理后的图像进行训练，以此得到检测虹膜中心点和半 径偏置的回归器模型,由该模型预测出虹膜区域的中心点半径偏置，进而 确定虹膜的外轮廓圆，最后得到虹膜区域。通过该方法实现了对虹膜区域 的快速检测，对提高虹膜识别精度以及识别的鲁邦性具有较大作用。

附图说明

图1为本申请技术方案的流程图示意图

图2A为本申请技术方案中虹膜位置的外接正方形示意图；

图2B为本申请技术方案中通过正方形框获得中心和半径的计算方法 示意图；

图2C为本申请技术方案中经过裁剪后的外接正方形大小示意图；

图3A为本申请的专利中神经网络回归器模型中Stage层第1次执行 的结构示意图；

图3B为本申请的专利中神经网络回归器模型中的Stage层其他3次 执行的结构示意图；

图中，1、待检测图像；2、虹膜区域圆；3、包含虹膜区域的正方形。

具体实施方式

下面通过参考示范性实施例，来阐明本发明的目的与作用。然而，本 发明并不受限于以下所公开的示范性实施例；对其不起任何限定作用，仅 仅是为了帮助相关领域技术人员综合理解本发明的具体细节。

如图1所示，本申请的技术方案的主要步骤包括：(1)设计并训练虹 膜检测网络回归器模型；(2)获取待检测的虹膜图像并进行图像预处理； (3)将(2)步得到的图像输入(1)步的虹膜检测网络回归器模型获得属于 虹膜的概率，虹膜图像中心点和半径的偏置；(4)为获得更精确的虹膜 位置，将(3)步得到的结果中属于虹膜概率大于预设阈值所对应的虹膜中 心点和半径进行输出，然后通过非极大值抑制方法进行筛选获得最终图 像的虹膜的中心点和半径，由此获得虹膜区域对应圆形区域。下面仔细对 各个步骤结合附图进行介绍和描述。

在进行步骤(1)时是通过标准的虹膜图像数据实现的，如图2A所示， 该标准虹膜图像的虹膜位置和半径都是已知的，分别为G_x、G_y、G_R，如 图2A中，1是就是整个的图像，虹膜区域为2，该虹膜区域外接正方形 3。再对上述的虹膜图像以固定倍数逐步构建L层图像金字塔，在第i层 金字塔上，在水平和竖直方向上以等间距为步长构建候选多个正方形框，该正方形框的构建方法在专利申请201710934259.7，名称：一种基于差分 块特征的快速虹膜检测方法，进行了详细介绍，本申请技术方案中直接选 择该方法，这里不再进行详细描述。构建的正方形边框集合为B，L≥1； 标准包含虹膜位置的正方形为A，计算的A和B的交并比：

若IoU>0.6，则划分到正样本；若IoU<0.3，则为负样本；

(1-3)对上步所有正方形分别计算出其对角线交点O及该点到上、 下、左、右距离的平均值d，将点O和d作为检测到的正方形框的内接圆 的中心点和半径，图2B给出了其中一个正方形的交点O及距离的平均值 d的计算示意。

(1-4)对(1-2)中正方形边框的原图进行裁剪、数据增强，包括但 不限于高斯模糊、图像水平翻转、亮度调整、缩放，在进行上述操作时各 正方形边框原图的图像中心点坐标和半径大小也进行相应的操作；图2C 给出了通过裁剪、数据增强后的正方形图像的大小为112*112；

(1-5)对(1-4)处理后的图像进行归一化操作以提高模型的泛化能 力和加快模型收敛的速度，归一化采用的是零均值归一化方法，公式为：

x为输入的缩放后的虹膜图像像素点值，x′计算后的像素值， μ和σ分别为缩放后虹膜图像的期望和方差值；

(1-6)对(1-3)步用于输入的中心点和半径进行处理，得到中心点 和半径的真实偏置，计算公式如下：

其中，G_x、G_y、G_R标准虹膜图像的外圆中心点及其半径，P_x、P_y、P_R为每 个图形框对应内接圆的坐标和半径，m_x、m_y、m_r分别为中心纵、横坐标和 半径的偏差；

(1-7)(1-7)通过多层卷积组构建虹膜中心点及其半径的偏置的神 经网络回归器模型，该模型的超参数包括：分类使用的交叉熵损失函数：

坐标回归使用smooth_L1函数：

上述公式中的p_i为预测的属于虹膜的 概率，

为标准虹膜图像参数；

(1-8)完成上述神经网络回归器模型的配置后开始输入图像进行训 练：训练中，虹膜图像先经过神经网络回归器模型进行前向推理，得到推 理结果，即分类结果和回归结果，再使用定义好的损失函数计算与真实值 之间的误差，然后将误差反向传播到网络中，由学习率和误差调整网络权 重，再次重复计算过程，当损失函数值足够小且模型在验证集和测试集精 度不再提升时，停止训练，调整模型参数，再次训练，直至在测试集上结 果最优，模型即训练完成。卷积神经网络回归器模型完整的网络结构的表 格描述，如表1。

表1：卷积神经网络回归器模型完整的网络结构

Layer	Input	Ksize	Stride	Repeat	Output Channel
						Conv1	112×112×1	3×3	2	1	1
Conv2	56×56×24	3×3	2	1	24
						Stage1	28×28×24	3×3	2/1	4	48
S1(Conv3)	14×14×48	3×3	2	1	96
						S2(Conv4)	7×7×96	3×3	2	1	128
S3(Conv5)	1×1×96			1	128
						FC	S1,S2,S3			1	5

经过训练后的神经网络回归器模型可以用于进行虹膜图像的检测。检 测时，首先将输入的虹膜图像采用专利申请201710934259.7，名称：一种 基于差分块特征的快速虹膜检测方法的技术方案构建多个正方形框的图 像，参考图2A，再将多个图像裁剪后缩放至112×112大小，参考图2C所 示，缩放后的图像利用(1-5)步进行零均值归一化后送入神经网络回归 器模型进行筛选。该神经网络回归器模型的Stage层是由图3A和图3B 构成，其中图3A是Stage的主要执行部分，其中，channel splite是将特征 通道分成相等的两个部分，一部分向下处理，分别经过2个1×1的卷积， 一个3×3的dwconv(depth wiseconvolution)处理，另一部分和处理后的 特征图按列进行拼接。图3B是起到下采样的目的，不同于图3A部分， 增加了一个3×3的dwconv卷积，步长为2，起到下采样的目的。

由于上述对虹膜图像进行前向推理可能会得到较多的虹膜区域，因此 需要对目标区域进行非极大值抑制，筛选出与标注区域重合最多的圆，该 圆对应的中心点和半径就是最后的结果，由中心点和半径就可以获取图 像中虹膜区域对应的位置。

以上所述实施方式仅表达了本发明的一种或多种实施方式，其描述较 为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指 出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下， 还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (4)

1.一种基于卷积神经网络的快速虹膜检测方法，其特征在于，该方法包括如下步骤：

(1)设计并训练虹膜检测网络回归器模型；

(2)获取待检测的虹膜图像并进行图像预处理；

(3)将(2)步得到的图像输入(1)步的虹膜检测网络回归器模型获得属于虹膜的概率、虹膜图像中心点和半径的偏置；

(4)为获得更精确的虹膜位置，将(3)步所得结果中属于虹膜概率大于预设阈值所对应的虹膜中心点和半径进行输出，然后通过非极大值抑制方法进行筛选获得最终图像的虹膜中心点和半径，由此获得虹膜区域对应圆形范围；

其中，步骤(1)设计并训练虹膜检测网络回归器模型的具体过程为：

(1-1)获得标准虹膜图像数据，该标准虹膜图像的外圆中心点及半径为G_x、G_y、G_R，以中心点为中心，2*G_R为边长构建正方形A；

(1-2)以固定倍数逐步对标准虹膜图像采样构建L层图像金字塔，在第i层金字塔上，在水平和竖直方向上以等间距步长构建候选多个正方形边框，该正方形边框集合为B，L≥1；计算(1-1)的A和B的交并比：

若IoU>0.6，则划分到正样本；若IoU<0.3，则划为负样本；

(1-3)对(1-2)的所有正方形分别计算出其对角线交点O及该点到上、下、左、右距离的平均值d，将点O和d作为检测到的正方形的内接圆中心点和半径；

(1-4)对(1-2)中正方形边框的原图进行裁剪、数据增强，包括但不限于高斯模糊、图像水平翻转、亮度调整、缩放，在进行原图的裁剪、数据增强操作时各正方形边框原图的图像中心点坐标和半径大小也进行相应的操作；

(1-5)对(1-4)处理后的图像进行归一化操作以提高模型的泛化能力和加快模型收敛速度，归一化采用零均值归一化方法，公式为：

x为输入的缩放后的虹膜图像像素点值，x′计算后的像素值，μ和σ分别为缩放后虹膜图像的期望和方差值；

(1-6)对(1-3)步用于输入的中心点和半径进行处理，得到中心点和半径的真实偏置，计算公式如下：

其中，G_x、G_y、G_R标准虹膜图像的外圆中心点及半径，P_x、P_y、P_R为每个图形框对应内接圆的坐标和半径，m_x、m_y、m_r分别为中心横、纵坐标和半径偏差；

(1-7)通过多层卷积组构建虹膜中心点及其半径的偏置的神经网络回归器模型，该模型的超参数包括：分类使用的交叉熵损失函数：

上述公式中的p_i为预测的属于虹膜的概率；

为标准虹膜图像参数坐标回归使用smooth_L1函数：

(1-8)完成上述神经网络回归器模型配置后开始输入图像进行训练：训练中，虹膜图像先经过神经网络回归器模型进行前向推理，得到推理结果，即分类结果和回归结果，再使用定义好的损失函数计算与真实值之间的误差，将误差反向传播到网络中，由学习率和误差调整网络权重，再次重复计算过程，当损失函数值足够小且模型在验证集和测试集精度不再提升时，停止训练，调整模型参数，再次训练，直至在测试集上结果最优，模型即训练完成。

2.根据权利要求1所述的基于卷积神经网络的快速虹膜检测方法，其特征在于，步骤(2)的待检测虹膜图像预处理包括：

(2-1)利用(1-2)的方法构建多个正方形框的图像；

(2-2)将(2-1)的多个图像裁剪后缩放至112×112大小；

(2-3)多上步缩放后的图像利用(1-5)步进行零均值归一化。

3.根据权利要求1或2所述的基于卷积神经网络的快速虹膜检测方法，其特征在于，送入神经网络回归器模型进行筛选的图像是归一化后的多个图像。

4.根据权利要求1所述的基于卷积神经网络的快速虹膜检测方法，其特征在于，步骤(4)根据预设阈值采用非极大值抑制方法筛选出更精确的虹膜区域中心点和半径偏置，进而获得虹膜区域。

Images