CN110427804B - 一种基于二次迁移学习的虹膜身份验证方法 - Google Patents

Abstract

本发明提出一种基于二次迁移学习的虹膜身份验证方法，包括以下步骤：采集眼球虹膜图片，进行预处理后划分为训练集和测试集；将训练集图片输入已进行预训练的深度卷积神经网络中进行迁移学习的分类训练；对训练集图片进行三元组的构造，去除深度卷积神经网络中的全连接层，再输入三元组对深度卷积神经网络进行二次迁移学习训练；将测试集图片输入深度卷积神经网络，输出特征向量后与其对应的身份信息进行验证，若验证成功，深度卷积神经网络完成训练；否则，调整结构参数后对深度卷积神经网络重新进行二次迁移学习训练；将待验证的图片输入完成训练的深度卷积神经网络中，将输出特征向量与存储有人员身份的数据库进行距离匹配，输出身份验证结果。

Description

一种基于二次迁移学习的虹膜身份验证方法

技术领域

本发明涉及计算机图像识别技术领域，更具体地，涉及一种基于二次迁移学习的虹膜身份验证方法。

背景技术

现有的虹膜身份验证方法，主要分为基于传统特征提取的方法和基于卷积神经网络的方法。

基于传统特征提取的方法，主要是将传统图像特征提取的算法应用于虹膜图片的特征提取，然后将所提取的虹膜特征与数据库中预存的特征向量进行比较，完成身份验证的过程。该方法虽然在实际应用时较为灵活，但是需要人工选择多种图像特征提取的算法，且难以找出有效表征虹膜特征的特征向量，存在实际运行速度慢、身份验证准确率低的问题。

而基于卷积神经网络的方法中，主要通过将大量虹膜图片放入具有图像分类功能的卷积神经网络中进行训练，从而得到一个能够提取虹膜特征并进行身份分类的网络。该方法虽然分类准确率高，但是在训练过程中，所述卷积神经网络的训练时间长、计算量大，存在计算成本高的问题。而且在实际应用时，由于现代社会的企业或单位的人员流动量大、人员更替频繁，当人员发生更替时，需要重新对完成训练的用于提取虹膜特征并进行身份分类的网络重新进行训练。

发明内容

本发明为克服上述现有技术所述的当人员更替时需重新训练网络结构、计算量大的缺陷，提供一种基于二次迁移学习的虹膜身份验证方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于二次迁移学习的虹膜身份验证方法，包括以下步骤：

S1：采集眼球虹膜图片，对所采集的图片进行预处理后，划分为训练集和测试集；

S2：将所述训练集图片输入已进行预训练的深度卷积神经网络中进行迁移学习的分类训练，得到完成迁移学习训练的深度卷积神经网络；

S3：对所述训练集图片进行三元组的构造，并将S2步骤中完成迁移学习分类训练的深度卷积神经网络中的全连接层去除，再输入训练集图片的三元组对深度卷积神经网络进行二次迁移学习训练；

S4：将所述测试集图片输入所述深度卷积神经网络，输出相应的特征向量后与测试集中对应的身份信息进行验证，若验证结果为成功，深度卷积神经网络完成训练；若验证结果为失败，则对深度卷积神经网络的结构参数进行调整后，跳转执行步骤S3；

S5：将待身份验证的眼球虹膜图片输入所述完成训练的深度卷积神经网络中，输出得到相应的输出特征向量，然后将输出特征向量与存储有人员身份的数据库进行距离匹配，输出身份验证结果。

本技术方案中，通过将所述采集得到的训练集图片输入已进行预训练的深度卷积神经网络中，进行迁移学习的分类训练，用于对深度卷积神经网络整体进行初步训练；将取出起分类作用的全连接层的深度卷积神经网络进行二次迁移学习的分类训练，将训练集图片构造成三元组输入所述深度卷积神经网络，能够使深度卷积神经网络中起特征提取作用的卷积层能够有效提取虹膜特征向量，通过二次迁移学习训练增强卷积层的虹膜特征提取性能，使深度卷积神经网络在人员变更频繁的情况下不需要重复训练；通过对所述完成训练的深度卷积神经网络输入测试集图片进行验证，进一步提高深度卷积神经网络对虹膜图片的身份分类准确率。

优选地，S1步骤中，所述对所采集的图片进行预处理的步骤为：对图片进行归一化处理后，对图片作多次亮度调整采样处理，通过模拟强光情况下采集的虹膜图片，以及模拟弱光情况下采集的虹膜图片，从而获得同一虹膜的不同亮度的图片。

优选地，亮度调整采样处理的公式如下：

L′_i(x,y)＝L_i(x,y)+b

其中，L′_i(x,y)为第i张图片经亮度调整处理后在(x,y)位置处像素的亮度值， L_i(x,y)为第i张图片亮度未经调整时在(x,y)位置处像素的亮度值；b为整数，表示亮度调整的偏移值。

优选地，S2步骤的具体步骤如下：

S2.1：获取一个已进行预训练的深度卷积神经网络结构，固定所述深度卷积神经网络结构中前n个卷积层的权重参数，对所述训练集中的图片进行人工标签，其中n为正整数，且n的取值小于深度卷积神经网络的总层数；

S2.2：将所述训练集中的图片输入所述深度卷积神经网络结构中，将其输出的分类预测向量与人工标签进行差值运算，构造预测误差损失函数，其公式如下：

其中，loss(i)表示输入的第i幅训练集图片的预测误差值，g(i)表示第i幅训练集图片输入深度卷积神经网络结构后得到的分类预测向量，label(i)表示第i 幅训练集图片对应的真实类别向量；

S2.3：根据误差的反向传播和梯度下降原理，训练调整前n个卷积层以外的卷积层和全连接层的权重，至训练集图片的预测误差值最小，此时深度卷积神经网络中的参数收敛，得到完成迁移学习分类训练的深度卷积神经网络。

优选地，深度卷积神经网络包括若干个卷积层、最大池化层、平均池化层、全连接层。

优选地，S3步骤的具体步骤如下：

S3.1：从所述训练集中选取两张同一虹膜的不同亮度值的图片，分别设为A 和P，再选取一张与A和P不相同的虹膜图片设为N，组成三元组(A,P,N)；

S3.2：将S2步骤中完成迁移学习分类训练的深度卷积神经网络中的全连接层去除，将所述三元组中的图片分别单独输入上述深度卷积神经网络中，输出得到三元组的特征向量(f(A),f(P),f(N))，其中f(·)表示上述深度卷积神经网络对输入图片的特征向量提取函数；

S3.3：计算所述三元组的损失函数值，其公式如下：

loss(j)＝dist(f(A),f(P))-dist(f(A),f(N))

其中，loss(j)表示训练集中第j个三元组的损失函数值，dist(·)表示两个特征向量之间的距离计算函数；

S3.4：根据梯度下降原理，调整上述深度卷积神经网络中前n个卷积层以外的卷积层权重，至三元组的损失函数值总和最小，此时深度卷积神经网络中的参数收敛，得到完成二次迁移学习训练的深度卷积神经网络，其中，该深度卷积神经网络能够使同一虹膜图片提取的特征向量距离相近，不同虹膜提取的特征向量距离相远。

优选地，距离计算函数为欧氏距离计算函数，其公式如下：

其中，w表示虹膜图像的维度，k表示向量的维度分量序数。

优选地，S4步骤的具体步骤如下：

S4.1：将所述测试集图片输入所述经过二次迁移学习训练的深度卷积神经网络中，得到测试集图片对应的特征向量并存储在数据库中；

S4.2：将所述测试集图片逐一输入所述完成二次迁移学习训练的深度卷积神经网络中，得到单个测试特征向量，然后与上述数据库中的所有特征向量逐一进行距离计算，从数据库中选取与该测试集图片对应的特征向量距离最近且距离小于距离阈值m的数据库特征向量；

S4.3：判断S4.2步骤中所选取的数据库特征向量与所输入的测试特征向量属于同一眼球虹膜的数量是否大于不属于同一眼球虹膜的数量：若是，则表示验证成功，深度卷积神经网络完成训练；否则，则表示验证失败，对深度卷积神经网络的结构参数n、距离阈值m进行调整后，跳转执行步骤S3。

与现有技术相比，本发明技术方案的有益效果是：

(1)采用对深度卷积神经网络进行二次迁移学习训练，能够降低深度卷积神经网络的训练成本，提高对虹膜图片的身份分类的准确度；

(2)通过对所采集的虹膜图片进行亮度调整处理，能够增强深度卷积神经网络对光照强度的鲁棒性；

(3)将通过去除全连接层的深度卷积神经网络的虹膜图片特征向量存储于数据库中，用于身份验证比对，使深度卷积神经网络在人员频繁变更的情况下无需重复进行训练，且简化了运算处理过程，有效降低运算成本。

附图说明

图1为本发明的基于二次迁移学习的虹膜身份验证方法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

如图1所示，为本实施例的基于二次迁移学习的虹膜身份验证方法的流程图。

本实施例的基于二次迁移学习的虹膜身份验证方法，包括以下步骤：

S1：采集眼球虹膜图片，对所采集的图片进行预处理后，划分为训练集和测试集。

本步骤中对所采集的图片进行预处理的具体步骤为：将所采集的眼球虹膜图片通过极坐标系转换为直角坐标系的方式从环形图像转换为矩形图像，然后对图片进行归一化处理，使所有图像统一大小，其中本实施例中的虹膜图像大小为 224*224；对图片作多次亮度调整采样处理，通过模拟强光情况下采集的虹膜图片，以及模拟弱光情况下采集的虹膜图片，获得同一虹膜的不同亮度的图片，其亮度调整采样处理的公式如下：

L′_i(x,y)＝L_i(x,y)+b

其中，L′_i(x,y)为第i张图片经亮度调整处理后在(x,y)位置处像素的亮度值， L_i(x,y)为第i张图片亮度未经调整时在(x,y)位置处像素的亮度值；b为整数，表示亮度调整的偏移值，本实施例中，b的取值范围为[-5,40]集合中以5递增的整数。

S2：将所述训练集中的图片输入已进行预训练的深度卷积神经网络中进行迁移学习的分类训练，得到完成迁移学习训练的深度卷积神经网络。其具体步骤如下：

S2.1：获取一个已进行预训练的深度卷积神经网络结构，固定所述深度卷积神经网络结构中前25个卷积层的权重参数，对所述训练集中的图片进行人工标签；

S2.2：将所述训练集中的图片输入所述深度卷积神经网络结构中，将其输出的分类预测向量与人工标签进行差值运算，构造预测误差损失函数，其公式如下：

其中，loss(i)表示输入的第i幅训练集图片的预测误差值，g(i)表示第i幅训练集图片输入深度卷积神经网络结构后得到的分类预测向量，label(i)表示第i 幅训练集图片对应的真实类别向量；

S2.3：根据误差的反向传播和梯度下降原理，训练调整前25个卷积层以外的卷积层和全连接层的权重，至训练集图片的预测误差值最小，此时深度卷积神经网络中的参数收敛，得到完成迁移学习分类训练的深度卷积神经网络。

本实施例中，采用经过ImageNet图片数据集分类与训练的ResNet-50结构作为已进行预训练的深度卷积神经网络，其中包括若干个卷积层、最大池化层、平均池化层、全连接层。

S3：对所述训练集中的图片进行三元组的构造，并将S2步骤中完成迁移学习分类训练的深度卷积神经网络中的全连接层去除，再输入训练集图片的三元组对深度卷积神经网络进行二次迁移学习训练。其具体步骤如下：

S3.1：从所述训练集中选取两张同一虹膜的不同亮度值的图片，分别设为A 和P，再选取一张与A和P不相同的虹膜图片设为N，组成三元组(A,P,N)；

S3.2：将S2步骤中完成迁移学习分类训练的深度卷积神经网络中的全连接层去除，将所述三元组中的图片分别单独输入上述深度卷积神经网络中，输出得到三元组的特征向量(f(A),f(P),f(N))，其中f(·)表示上述深度卷积神经网络对输入图片的特征向量提取函数；

S3.3：计算所述三元组的损失函数值，其公式如下：

loss(j)＝dist(f(A),f(P))-dist(f(A),f(N))

其中，loss(j)表示训练集中第j个三元组的损失函数值，dist(·)表示两个特征向量之间的距离计算函数；

S3.4：根据梯度下降原理，调整上述深度卷积神经网络中前25个卷积层以外的卷积层权重，至三元组的损失函数值总和最小，此时深度卷积神经网络中的参数收敛，得到能够有效提取表征虹膜图像的2048维特征向量的深度卷积神经网络，其中，该深度卷积神经网络能够使同一虹膜图片提取的特征向量距离相近，不同虹膜提取的特征向量距离相远。

在本实施例中，所述距离计算函数采用欧氏距离计算函数，其公式如下：

其中，k表示向量的维度分量序数。

S4：将测试集图片输入经过二次迁移学习训练的深度卷积神经网络，输出相应的特征向量后与测试集中对应的身份信息进行验证，若验证结果为成功，则表示深度卷积神经网络完成训练；若验证结果为失败，则对深度卷积神经网络的结构参数进行调整后，跳转执行S3步骤。其具体步骤如下：

S4.1：将测试集图片输入经过二次迁移学习训练的深度卷积神经网络中，得到测试集图片对应的特征向量并存储在数据库中；

S4.2：将所述测试集图片逐一输入所述完成二次迁移学习训练的深度卷积神经网络中，得到单个测试特征向量，然后与上述数据库中的所有特征向量逐一进行距离计算，从数据库中选取与该测试集图片对应的特征向量距离最近且距离小于距离阈值m＝0.1的数据库特征向量；

S4.3：判断S4.2步骤中所选取的数据库特征向量与所输入的测试特征向量属于同一眼球虹膜的数量是否大于不属于同一眼球虹膜的数量：若是，则表示验证成功，深度卷积神经网络完成训练；否则，则表示验证失败，对深度卷积神经网络的结构参数n、距离阈值m进行调整后，跳转执行步骤S3。

本步骤中，当输入的测试特征向量对应在数据库中有多个类别的特征向量与之产生满足距离阈值m的距离匹配时，通过判断匹配的数据库特征向量与所输入的测试特征向量属于同一眼球虹膜的数量是否大于不属于同一眼球虹膜的数量，得到其验证结果。

S5：将待身份验证的眼球虹膜图片输入所述完成训练的深度卷积神经网络中，输出得到相应的输出特征向量，然后将输出特征向量与存储有人员身份的数据库进行距离匹配，输出身份验证结果。

本实施例中，通过对采集的虹膜图片作亮度调整处理，获得同一虹膜在不同亮度值的图片，用于增强深度卷积神经网络中对光照强度的鲁棒性；通过将虹膜图片输入深度卷积神经网络中进行迁移学习的分类训练；将训练集图片构造成三元组输入深度卷积神经网络中进行训练，能够使深度卷积神经网络中起特征提取作用的卷积层能够有效提取虹膜特征向量，能够有效提高虹膜身份验证的准确率，其中虹膜特征向量符合同一虹膜距离相近、不同虹膜距离相远的特征；将深度卷积神经网络中起分类作用的全连接层去除，此时深度卷积神经网络具备了直接输出有效的特征向量的能力，再将训练集三元组输入，将输出提取得到虹膜图片特征向量用于身份验证比对，能够使深度卷积神经网络在人员变更频繁的情况下不需要重复训练，能够有效提高使用的灵活性。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于二次迁移学习的虹膜身份验证方法，其特征在于，包括以下步骤：

S1：采集眼球虹膜图片，对所采集的图片进行预处理后，划分为训练集和测试集；

S2：将所述训练集图片输入已进行预训练的深度卷积神经网络中进行迁移学习的分类训练，得到完成迁移学习训练的深度卷积神经网络；其具体步骤如下：

S2.1：获取一个已进行预训练的深度卷积神经网络结构，固定所述深度卷积神经网络结构中前n个卷积层的权重参数，对所述训练集中的图片进行人工标签，其中n为正整数，且n的取值小于深度卷积神经网络的总层数；

S2.2：将所述训练集中的图片输入所述深度卷积神经网络结构中，将其输出的分类预测向量与人工标签进行差值运算，构造预测误差损失函数，其公式如下：

其中，loss(i)表示输入的第i幅训练集图片的预测误差值，g(i)表示第i幅训练集图片输入深度卷积神经网络结构后得到的分类预测向量，label(i)表示第i幅训练集图片对应的真实类别向量；

S2.3：根据误差的反向传播和梯度下降原理，训练调整前n个卷积层以外的卷积层和全连接层的权重，至训练集图片的预测误差值最小，此时深度卷积神经网络中的参数收敛，得到完成迁移学习分类训练的深度卷积神经网络；

S3：对所述训练集图片进行三元组的构造，并将S2步骤中完成迁移学习分类训练的深度卷积神经网络中的全连接层去除，再输入训练集图片的三元组对深度卷积神经网络进行二次迁移学习训练；其具体步骤如下：

S3.1：从所述训练集中选取两张同一虹膜的不同亮度值的图片，分别设为A和P，再选取一张与A和P不相同的虹膜图片设为N，组成三元组(A,P,N)；

S3.2：将S2步骤中完成迁移学习分类训练的深度卷积神经网络中的全连接层去除，将所述三元组中的图片分别单独输入上述深度卷积神经网络中，输出得到三元组的特征向量(f(A),f(P),f(N))，其中f(·)表示上述深度卷积神经网络对输入图片的特征向量提取函数；

S3.3：计算所述三元组的损失函数值，其公式如下：

loss(j)＝dist(f(A),f(P))-dist(f(A),f(N))

其中，loss(j)表示训练集中第j个三元组的损失函数值，dist(·)表示两个特征向量之间的距离计算函数；

S3.4：根据梯度下降原理，调整上述深度卷积神经网络中前n个卷积层以外的卷积层权重，至三元组的损失函数值总和最小，此时深度卷积神经网络中的参数收敛，得到完成二次迁移学习训练的深度卷积神经网络；

S4：将所述测试集图片输入所述深度卷积神经网络，输出相应的特征向量后与测试集中对应的身份信息进行验证，若验证结果为成功，深度卷积神经网络完成训练；若验证结果为失败，则对深度卷积神经网络的结构参数进行调整后，跳转执行S3步骤；

S5：将待身份验证的眼球虹膜图片输入所述完成训练的深度卷积神经网络中，输出得到相应的输出特征向量，然后将输出特征向量与存储有人员身份的数据库进行距离匹配，输出身份验证结果。

2.根据权利要求1所述的基于二次迁移学习的虹膜身份验证方法，其特征在于：所述S1步骤中，所述对所采集的图片进行预处理的步骤为：对图片进行归一化处理后，对图片作多次亮度调整采样处理。

3.根据权利要求2所述的基于二次迁移学习的虹膜身份验证方法，其特征在于：所述亮度调整采样处理的公式如下：

L′_i(x,y)＝L_i(x,y)+b

其中，L′_i(x,y)为第i张图片经亮度调整处理后在(x,y)位置处像素的亮度值，L_i(x,y)为第i张图片亮度未经调整时在(x,y)位置处像素的亮度值；b为整数，表示亮度调整的偏移值。

4.根据权利要求1所述的基于二次迁移学习的虹膜身份验证方法，其特征在于：所述深度卷积神经网络包括若干个卷积层、最大池化层、平均池化层、全连接层。

5.根据权利要求1所述的基于二次迁移学习的虹膜身份验证方法，其特征在于：所述距离计算函数为欧氏距离计算函数，其公式如下：

其中，w表示虹膜图像的维度，k表示向量的维度分量序数。

6.根据权利要求1所述的基于二次迁移学习的虹膜身份验证方法，其特征在于：所述S4步骤的具体步骤如下：

S4.1：将所述测试集图片输入所述经过二次迁移学习训练的深度卷积神经网络中，得到测试集图片对应的特征向量并存储在数据库中；

S4.2：将所述测试集图片逐一输入所述完成二次迁移学习训练的深度卷积神经网络中，得到单个测试特征向量，然后与上述数据库中的所有特征向量逐一进行距离计算，从数据库中选取与该测试集图片对应的特征向量距离最近且距离小于距离阈值m的数据库特征向量；

S4.3：判断S4.2步骤中所选取的数据库特征向量与所输入的测试特征向量属于同一眼球虹膜的数量是否大于不属于同一眼球虹膜的数量：若是，则表示验证成功，深度卷积神经网络完成训练；否则，则表示验证失败，对深度卷积神经网络的结构参数n、距离阈值m进行调整后，跳转执行步骤S3。

Images