CN112116012B - 一种基于深度学习的手指静脉即时注册、识别方法及系统 - Google Patents

Abstract

本发明提供一种基于深度学习的手指静脉即时注册、识别方法及系统。本发明方法包括如下步骤：获取指静脉库的数据并做增强处理；判断是否为新任务训练，如果不是新任务训练，则进行网络预训练；如果是新任务训练，则进行新任务训练的步骤；加载已经训练完成的模型的参数，将预处理后的待识别图像输入网络中进行识别，得到分到每个类别的置信度并进行排序；基于置信度与阈值的关系，确定类别标签。本发明在训练阶段，新任务训练的步骤基于已训练完成的旧任务模型进行，显著降低在增加新类别时，深度学习训练的时长，缓解深度学习在增加新任务时，旧任务遗忘快的问题。在识别阶段，通过增加二次筛选，进一步提升识别的准确率。

Description

一种基于深度学习的手指静脉即时注册、识别方法及系统

技术领域

本发明涉及生物特征识别技术领域，尤其涉及一种基于深度学习的手指静脉即时注册、识别方法及系统。

背景技术

指静脉识别是静脉识别的一种，由于其是利用身体内部特征来识别且必须是活体才可利用，比较与指纹之类的识别技术又跨进了一大步。在各种生物识别技术中，因其是利用外部看不到的生物内部特征进行识别的技术，所以作为具有高防伪性的第二代生物识别技术备受瞩目。

现有技术中提出了基于传统的神经网络实现指静脉身份识别，也有新的研究提出基于强化学习算法优化卷积神经网络的静脉识别方法，目前基于深度学习的方法并没有针对手指静脉增类即时识别方法。而在深度学习的方法中对新增任务识别的主要方法有：

1)微调的方法，冻结卷积神经网络中分类器对应旧任务的神经元的权重，不对其进行更新。增加对应新任务的神经元并对卷积神经网络进行微调更新；

2)特征提取的方法，直接利用旧任务的特征提取器，对新任务的图像提取特征，利用提取的特征对分类器进行训练；

3)联合学习，在卷积神经网络的分类器增加对应新任务的神经元，将新旧数据集合并，对卷积神经网络进行微调。

上述微调的方法对新任务具有较好的识别效果，由于没有对旧任务的知识进行约束，导致学到旧任务知识的遗忘，因此在旧任务的识别效果并不好；特征提取的方法，由于未对特征提取器调整来适应新任务，因此在新任务的识别效果较差；联合学习的方法，需要新任务和旧任务的数据同时训练，耗时较长，不能即时的对新任务进行识别。

发明内容

根据上述提出的技术问题，而提供一种基于深度学习的手指静脉即时注册、识别方法及系统。本发明采用的技术手段如下：

一种基于深度学习的手指静脉即时注册、识别方法，包括训练的步骤和识别的步骤，具体包括如下步骤：

S1、获取指静脉库的数据并做增强处理；

S2、判断是否为新任务训练，如果不是新任务训练，则进行网络预训练；如果是新任务训练，则进行新任务训练的步骤；所述新任务训练的步骤基于已训练完成的旧任务模型进行，保存训练完成后的新任务模型；

S3、读取待识别的图像并做预处理；

S4、加载已经训练完成模型的参数，将预处理后的待识别图像输入网络中进行识别，得到分到每个类别的置信度并进行排序；

S5、判断置信度的最大值是否大于阈值，若是，则返回置信度最大值对应的类别标签，若否，则根据置信度进行二次筛选，二次筛选后的结果若大于二次筛选的阈值，则返回置信度的最大值对应的类别标签，否则拒绝识别。

进一步地，所述步骤S2中，网络预训练具体为：

网络权重随机初始化，分类器的神经元数量为n_old，n_old为类别数目，使用softmax交叉熵损失函数并进行迭代训练。

进一步地，所述步骤S2中，新任务模型的识别包括如下步骤：

S21、加载已训练完成的旧任务模型；

S22、统计旧任务模型分类器权重的分布；

S23、在分类器中增加n_new个神经元，新增神经元的权值使用统计的旧任务模型分类器权重的分布进行随机初始化，模型的其他参数使用已训练完成的旧任务模型中的参数，其中n_new的值等于新增类别的数目；

S24、设计损失函数，所述损失函数包括所有任务的交叉熵损失、新任务的交叉熵损失、输出层的蒸馏损失和特征层的蒸馏损失；

S25、将新任务和所有任务的交叉熵损失函数进行权重自适应的融合，新旧任务的协同损失；

S26、对新旧任务的协同损失、输出层的蒸馏损失和特征层的蒸馏损失求和，得到任务的总损失函数；

S27、对迭代训练后的模型进行保存，作为训练完成后的新任务模型。

进一步地，设计的损失函数如下：

所有任务的交叉熵损失

式中，N为每训练批次的大小，y_i表示为批次中第i张图像编码的独热标签，为分类器所有神经元的输出经过softmax的结果，/>y_i是维度为n_old+n_new的向量，n_old为分类器中原有神经元的数目，其值等于旧任务的类别数目；

新任务的交叉熵损失

式中y_i′为新增n_new类的经过编码的独热标签。为分类器增加的n_new个神经元的输出经过softmax的结果，/>y′是维度为n_new的向量；

输出层的蒸馏损失

其中KL表示为KL散度，为批次中第i张图像在旧任务模型中的分类器的输出值经过平滑的概率，/>为批次中第i张图像在所有任务网络中分类器对应旧任务节点的输出值经过平滑的概率，/>是维度为n_old的向量：

式中T为蒸馏温度，当T值越大，平滑力度就越大，输出的概率就会越平滑；T越小，则相反；T等于1时就是softmax。a为包含所有任务网络中对应旧任务网络节点的输出，b为旧任务网络节点的输出；

特征层的蒸馏损失

式中为第i张图像在包含新任务网络中特征层的输出经过软化后的概率；/>为第i张图像在旧任务网络中特征层的输出经过软化后的概率。

将新任务和所有任务的交叉熵损失函数进行权重自适应的融合，融合后的损失为loss₁₂：

loss₁₂＝(1-γ)×loss₁+γ×loss₂

式中γ为loss₁和loss₂的自适应权重，γ的计算方法为：

式中β为旧任务类别数目的系数；

对新旧任务的协同损失loss₁₂、输出层的蒸馏损失loss₃和特征层的蒸馏损失loss₄进行求和，所有任务的总损失函数loss_total为：

loss_total＝loss₁₂+loss₃+loss₄。

进一步地，所述步骤S5中，置信度的最大值C₁大于等于阈值T_h1，则直接返回置信度最大值对应的类别标签，

如果C₁小于阈值T_h1，则根据置信度进行二次筛选，计算方法为：

式中C₂为排在第二位的置信度，计算结果为r

判断r是否大于设置二次筛选的阈值T_h2

如果r是否大于设置二次筛选的阈值T_h2则返回C₁对应的类别标签；

否则拒绝识别。

本实施例还公开了一种基于深度学习的手指静脉即时注册、识别系统，包括：

图像采集单元，用于采集静脉图像信息；

图像处理单元，用于对采集的静脉图像信息进行增强处理；

图像存储单元，用于存储采集到的图像信息；

还包括任务分类单元，用于判断是否为新任务训练，如果不是新任务训练，则进行网络预训练；如果是新任务训练，则进行新任务模型的训练；

模型识别构筑单元，用于在预训练模型的基础上，通过设计损失函数对模型进行迭代训练，直至模型的识别正确率达到训练要求，构建新任务模型；

图像识别单元，用于将预处理后的待识别图像输入对应模型进行识别，基于分到每个类别的置信度作为识别标准。

本发明在训练阶段，新任务训练的步骤基于已训练完成的旧任务模型进行，显著降低在增加新类别时，深度学习训练的时长，缓解深度学习在增加新任务时，旧任务遗忘快的问题。在识别阶段，通过增加二次筛选，进一步提升识别的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明训练步骤总体流程图。

图2为本发明新任务模型训练流程图。

图3为本发明识别步骤具体流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例公开了一种基于深度学习的手指静脉即时注册、识别方法，包括如图1所示的训练的步骤和如图3所示的识别的步骤，本实施例中，网络结构为四层卷积层，两层全连接层。

具体包括如下步骤：

S1、获取指静脉库的数据并做增强处理；

对读取的手指静脉库I添加随机高斯噪声、自适应局部直方图均衡化、随机旋转、随机裁剪、随机亮度和对比调整、尺度的缩放和归一化，得到I_t。

S2、判断是否为新任务训练，如果不是新任务训练，则进行网络预训练；

具体地，网络权重随机初始化，分类器的神经元数量为n_old，n_old为类别数目，使用softmax交叉熵损失函数并进行迭代训练。

如果是新任务训练，则进行新任务训练的步骤，流程如图2所示，所述新任务训练的步骤基于已训练完成的旧任务模型进行，保存训练完成后的新任务模型；

具体地包括如下步骤：

S21、加载已训练完成的旧任务模型；

S22、统计旧任务模型分类器权重的分布；

S23、在分类器中增加n_new个神经元，新增神经元的权值使用统计的旧任务模型分类器权重的分布进行随机初始化，模型的其他参数使用已训练完成的旧任务模型中的参数，其中n_new的值等于新增类别的数目；

S24、设计损失函数，所述损失函数包括所有任务的交叉熵损失、新任务的交叉熵损失、输出的蒸馏损失和特征层的蒸馏损失；

S25、将新任务和所有任务的交叉熵损失函数进行权重自适应的融合，得到新旧任务的协同损失；

S26、对新旧任务的协同损失、输出层的蒸馏损失和特征层的蒸馏损失进行求和，得到任务的总损失函数；

S27、对迭代训练后的模型进行保存，作为训练完成后的新任务模型。

设计的损失函数如下：

所有任务的交叉熵损失

式中，N为每训练批次的大小，y_i表示为批次中第i张图像编码的独热标签，为分类器所有神经元的输出输出经过softmax的结果，/>y_i是维度为n_old+n_new的向量，n_old为分类器中原有神经元数目，其值等于旧任务类别的数目；本方法中N＝128。

新任务的交叉熵损失

式中y_i′为新增n_new类的经过编码的独热标签。为分类器增加的n_new个神经元的输出经过softmax的结果，/>y′是维度为n_new的向量；

输出层的蒸馏损失

其中KL表示为KL散度(Kullback-Leibler divergence)，为批次中第i张图像在旧任务模型中的分类器的输出值经过平滑后的概率，/>为批次中第i张图像在所有任务网络中分类器对应旧任务节点的输出值经过平滑后的概率，/>是维度为n_old的向量：

式中T为蒸馏温度，当T值越大，平滑力度就越大，输出的概率就会越平滑；T越小，则相反；T等于1时就是softmax。a为包含所有任务网络中对应旧任务网络节点的输出，b为旧任务网络节点的输出，本实施例中，T＝2；

特征层的蒸馏损失

式中为第i张图像在包含新任务网络中特征层(第一层全连接层)的输出经过平滑后的概率；/>为第i张图像在旧任务网络中特征层的输出经过平滑后的概率。

将新任务和所有任务的交叉熵损失函数进行权重自适应的融合，融合后的损失为loss₁₂：

loss₁₂＝(1-γ)×loss₁+γ×loss₂

式中α为loss₁和loss₂的自适应权重，α的计算方法为：

式中β为旧任务类别数目的系数，本实施例中，β＝0.2；

对新旧任务的协同损失loss₁₂、输出层的蒸馏损失loss₃和特征层的蒸馏损失loss₄进行求和，所有任务的总损失函数loss_total为：

loss_total＝loss₁₂+loss₃+loss₄。

S3、读取待识别的图像I_t，进行自适应的局部直方图均衡化、尺度的缩放和归一化处理，得到图像I_n；

S4、加载已经训练完成的模型的参数，将图像I_n输入网络中进行识别，得到分到每个类别的置信度并进行排序，排序后的置信度为C_sort；

S5、判断置信度的最大值是否大于阈值，若是，则返回置信度最大值对应的类别标签，若否，则根据置信度进行二次筛选，二次筛选后的结果若大于二次筛选的阈值，则返回置信度的最大值对应的类别标签，否则拒绝识别。

如果置信度的最大值C₁大于等于阈值T_h1，则直接返回置信度最大值对应的类别标签，本实施例中T_h1＝0.7；

如果C₁小于阈值T_h1，则根据置信度进行二次筛选。计算方法为：

式中C₂为排在第二位的置信度，计算结果为r。

判断r是否大于设置二次筛选的阈值T_h2。

如果r是否大于设置二次筛选的阈值T_h2则返回C₁对应的类别标签；

否则拒绝识别。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种基于深度学习的手指静脉即时注册、识别方法，包括训练的步骤和识别的步骤，其特征在于，具体包括如下步骤：

S1、获取指静脉库的数据并做增强处理；

S2、判断是否为新任务训练，如果不是新任务训练，则进行网络预训练；如果是新任务训练，则进行新任务训练的步骤；所述新任务训练的步骤基于已训练完成的旧任务模型进行，保存训练完成后的新任务模型；

S3、读取待识别的图像并做预处理；

S4、加载已经训练完成的模型的参数，将预处理后的待识别图像输入网络中进行识别，得到分到每个类别的置信度并进行排序；

S5、判断置信度的最大值是否大于阈值，若是，则返回置信度最大值对应的类别标签，若否，则根据置信度进行二次筛选，二次筛选后的结果若大于二次筛选的阈值，则返回置信度的最大值对应的类别标签，否则拒绝识别；

所述步骤S2中，网络预训练具体为：

网络权重随机初始化，分类器的神经元数量为n_old，n_old为类别数目，使用softmax交叉熵损失函数并进行迭代训练；

所述步骤S2中，新任务模型的识别包括如下步骤：

S21、加载已训练完成的旧任务模型；

S22、统计旧任务模型分类器权重的分布；

S23、在分类器中增加n_new个神经元，新增神经元的权值使用统计的旧任务模型分类器权重的分布进行随机初始化，模型的其他参数使用已训练完成的旧任务模型中的参数，其中n_new的值等于新增类别的数目；

S24、设计损失函数，所述损失函数包括所有任务的交叉熵损失、新任务的交叉熵损失、输出层的蒸馏损失和特征层的蒸馏损失；

S25、将新任务和所有任务的交叉熵损失函数进行权重自适应的融合，得到新旧任务的协同损失；

S26、对新旧任务的协同损失、输出层的蒸馏损失和特征层的蒸馏损失进行求和，得到任务的总损失函数；

S27、对迭代训练后的模型进行保存，作为训练完成后的新任务模型；

设计的损失函数如下：

所有任务的交叉熵损失

式中，N为每训练批次的大小，y_i表示为批次中第i张图像编码的独热标签，为分类器所有神经元输出经过softmax的结果，/>y_i是维度为n_old+n_new的向量，n_old为分类器中原有神经元数目，其值等于旧任务类别的数目；

新任务的交叉熵损失

式中y＇_i为新增n_new类的经过编码的独热标签，为分类器增加的n_new个神经元的输出经过softmax的结果，/>y′是维度为n_new的向量；

输出层的蒸馏损失

其中KL表示为KL散度，为批次中第i张图像在旧任务模型中的分类器的输出值经过平滑后的概率，/>为批次中第i张图像在所有任务网络中分类器对应旧任务节点的输出值经过平滑后的概率，/>是维度为n_old的向量：

式中T为蒸馏温度，当T值越大，平滑力度就越大，输出的概率就会越平滑；T越小，则相反；T等于1时就是softmax，a为包含所有任务网络中对应旧任务网络节点的输出，b为旧任务网络节点的输出；

特征层的蒸馏损失

式中为第i张图像在包含新任务网络中特征层的输出经过平滑后的概率；/>为第i张图像在旧任务网络中特征层的输出经过平滑后的概率；

将新任务和所有任务的交叉熵损失函数进行权重自适应的融合，融合后的损失为loss₁₂：

loss₁₂＝(1-γ)×loss₁+γ×loss₂

式中γ为loss₁和loss₂的自适应权重，γ的计算方法为：

式中β为旧任务类别数目的系数；

对新旧任务的协同损失loss₁₂、输出层蒸馏损失loss₃和特征层蒸馏损失进行loss₄进行求和，所有任务的总损失函数loss_total为：

loss_total＝loss₁₂+loss₃+loss₄；

所述步骤S5中，置信度的最大值C₁大于等于阈值T_h1，则直接返回置信度最大值对应的类别标签，

如果C₁小于阈值T_h1，则根据置信度进行二次筛选，计算方法为：

式中C₂为排在第二位的置信度，计算结果为r

判断r是否大于设置二次筛选的阈值T_h2

如果r大于设置二次筛选的阈值T_h2则返回C₁对应的类别标签；

否则拒绝识别。

2.一种基于权利要求1所述方法的深度学习的手指静脉即时注册、识别系统，其特征在于，包括：

图像采集单元，用于采集静脉图像信息；

图像处理单元，用于对采集的静脉图像信息进行增强处理；

图像存储单元，用于存储采集到的图像信息；

还包括任务分类单元，用于判断该次训练是否为新任务训练，如果不是新任务训练，则进行网络预训练；如果是新任务训练，则进行新任务模型的训练；

模型识别构筑单元，用于在预训练模型的基础上，通过设计损失函数对模型进行迭代训练，直至模型的识别正确率达到训练要求，构建新任务模型；

图像识别单元，用于将预处理后的待识别图像输入对应模型进行识别，基于分到每个类别的置信度作为识别标准。