CN116071787B

CN116071787B - 一种多光谱掌纹识别方法、系统、电子设备及介质

Info

Publication number: CN116071787B
Application number: CN202310020809.XA
Authority: CN
Inventors: 朱旗; 周宇泽; 林熙翔; 王明明; 李超君; 张道强
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2023-01-06
Filing date: 2023-01-06
Publication date: 2023-09-29
Anticipated expiration: 2043-01-06
Also published as: CN116071787A

Abstract

本发明提供一种多光谱掌纹识别方法、系统、电子设备及介质，属于生物识别领域，方法包括：获取包括多组掌纹样本图像的多光谱掌纹样本集；针对任一组掌纹样本图像，采用深度典型相关性分析算法提取样本图像间的公共相关性信息，采用基础迭代攻击方法生成各样本图像的第一扰动，以破坏公共相关性信息，将该组掌纹样本图像投影到差异子空间中，确定样本图像间的差异判别信息，基于对抗性区域确定算法生成各样本图像的第二扰动，以破坏差异判别信息；将第一扰动及第二扰动添加至对应的样本图像中，得到多张扰动样本图像；采用扰动样本图像对深度神经网络进行对抗训练，得到多光谱掌纹识别模型进行掌纹识别。本发明提高了多光谱掌纹识别的鲁棒性。

Description

一种多光谱掌纹识别方法、系统、电子设备及介质

技术领域

本发明涉及生物识别技术领域，特别是涉及一种多光谱掌纹识别方法、系统、电子设备及介质。

背景技术

掌纹识别属于一种生物特征识别技术，生物特征识别技术指利用人体固有的生理特征和行为特征，并结合计算机与光学、声学、生物传感器和生物统计学原理等高科技手段来进行个人身份的鉴定。其中，掌纹识别是一种高效的生物识别方法，掌纹作为一种生物特征，具有主线、皱纹、脊末梢、分叉点等辨识度高的纹理特征，含有丰富的信息，同时，其特征普遍，不同掌纹的特征具有较大的区分度，掌纹不会随着时间的变化产生较大的变化，并且掌纹采集便捷，获取的掌纹数据易于进行后续处理，识别的准确度高，在使用人群中的接受程度高，近年来提出的大量关于掌纹识别的技术都获得了较好的识别率，说明掌纹识别是一种非常有效的生物特征。

在众多掌纹识别方法中，多光谱掌纹识别是一种较为高效的掌纹识别方法，它可以使用不同的光谱对掌纹进行采样，融合多个光谱的信息，如使用蓝色光谱，红色光谱，绿色光谱及近红外光谱进行采样，能够采集到一般的彩色图像系统无法捕捉到的信息，最后融合不同光谱下采集到的掌纹图像，从而提高识别的准确度。

对抗攻击是一种用于攻击机器学习模型的技术，所谓对抗攻击就是在待分类图像上添加精心构造的微小扰动，使机器学习模型在对该图像分类时出现错误，同时要保证添加扰动后的图像在视觉上(对人类而言)与原始图像相似。对抗攻击通常分为白盒攻击和黑盒攻击。对于白盒攻击，攻击者可以访问关于目标模型的所有信息，包括体系结构、参数、梯度、训练过程。攻击者可以充分利用模型信息生成对抗样本，目前常见的白盒攻击方法大多基于梯度方法和优化方法。黑盒攻击即神经网络相关的信息对攻击者来说是透明不可知的，攻击者可以通过提交输入数据并观察输出结果来进行交互，以此为基础生成对抗样本，目前常见的黑盒攻击有基于梯度估计的攻击，基于决策边界的攻击，基于搜索的攻击等攻击方法。对于多光谱掌纹识别的任务来说，一般无法接触到模型的具体信息，因此白盒攻击方法不能很好地适用，而现有的黑盒攻击大多需要对模型进行大量的查询操作，依赖于具体的目标模型。

对抗防御是用来保护模型抵御对抗攻击的方法，一般分为被动防御和主动防御，被动防御不会对原始模型进行修改，主要方法有在模型前加入过滤层，对输入样本进行随机变换、伸缩变化等操作。主动防御会对模型进行增强，例如对抗训练，通过将对抗攻击生成的对抗样本中进行训练，从而发现模型的漏洞，并提高模型的鲁棒性。

目前对对抗样本的研究表明，即使是最先进的深度神经网络在面对对抗样本时也较为脆弱，容易受到对抗样本的攻击，而目前针对多光谱掌纹识别的研究大多集中在融合方法以及如何提高识别精确度上，缺乏对多光谱掌纹识别安全性的研究，尤其是当受到对抗样本攻击时的影响。同时，现有的对抗攻击方法大多针对单视图模型，缺少针对多光谱掌纹识别的攻击方法，其生成的对抗样本不能很好的利用多光谱之间的信息，将其用于对抗训练时对多光谱掌纹识别的鲁棒性的提升也较为有限。

发明内容

本发明的目的是提供一种多光谱掌纹识别方法、系统、电子设备及介质，可提高多光谱掌纹识别的鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种多光谱掌纹识别方法，包括：

获取多光谱掌纹样本集；所述多光谱掌纹样本集中包括多组掌纹样本图像，每组掌纹样本图像包括不同光谱下同一掌纹的样本图像；

针对任一组掌纹样本图像，采用深度典型相关性分析算法提取不同光谱下所述掌纹的样本图像之间的公共相关性信息；

采用基础迭代攻击方法生成所述掌纹的各样本图像的第一扰动，以破坏各样本图像之间的公共相关性信息；

将该组掌纹样本图像投影到差异子空间中，确定不同光谱下所述掌纹的样本图像之间的差异判别信息；

基于对抗性区域确定算法生成所述掌纹的各样本图像的第二扰动，以破坏各样本图像之间的差异判别信息；

将所述掌纹的各样本图像的第一扰动及所述掌纹的各样本图像的第二扰动添加至对应的样本图像中，以得到所述掌纹的多张扰动样本图像；

采用各掌纹的扰动样本图像对深度神经网络进行对抗训练，以得到多光谱掌纹识别模型；

基于所述多光谱掌纹识别模型，对待识别掌纹图像进行掌纹识别。

为实现上述目的，本发明还提供了如下方案：

一种多光谱掌纹识别系统，包括：

样本获取单元，用于获取多光谱掌纹样本集；所述多光谱掌纹样本集中包括多组掌纹样本图像，每组掌纹样本图像包括不同光谱下同一掌纹的样本图像；

公共信息提取单元，用于针对任一组掌纹样本图像，采用深度典型相关性分析算法提取不同光谱下所述掌纹的样本图像之间的公共相关性信息；

第一扰动生成单元，用于采用基础迭代攻击方法生成所述掌纹的各样本图像的第一扰动，以破坏各样本图像之间的公共相关性信息；

差异信息提取单元，用于针对任一组掌纹样本图像，将该组掌纹样本图像投影到差异子空间中，确定不同光谱下所述掌纹的样本图像之间的差异判别信息；

第二扰动生成单元，用于基于对抗性区域确定算法生成所述掌纹的各样本图像的第二扰动，以破坏各样本图像之间的差异判别信息；

扰动样本生成单元，用于将所述掌纹的各样本图像的第一扰动及所述掌纹的各样本图像的第二扰动添加至对应的样本图像中，以得到所述掌纹的多张扰动样本图像；

训练单元，用于采用各掌纹的扰动样本图像对深度神经网络进行对抗训练，以得到多光谱掌纹识别模型；

识别单元，用于基于所述多光谱掌纹识别模型，对待识别掌纹图像进行掌纹识别。

为实现上述目的，本发明提供了如下方案：

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的多光谱掌纹识别方法。

为实现上述目的，本发明提供了如下方案：

一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的多光谱掌纹识别方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明首先生成能够破坏公共相关性信息的第一扰动以及能够破坏差异判别信息的第二扰动，结合这两种扰动生成对抗样本(扰动样本图像)，将生成的对抗样本添加到训练集中，并多次迭代进行对抗训练，有效提高了多光谱掌纹识别模型在面对对抗样本攻击时的鲁棒性，进而提高了掌纹识别的安全性。此外，本发明充分利用了不同光谱之间的信息，克服了现有攻击方法都是争夺单视图进行攻击的不足，无需知道待攻击模型的具体细节，也无需查询操作，不依赖于具体的目标模型，具有较强的可迁移性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明多光谱掌纹识别方法的流程图；

图2为针对多光谱掌纹识别的对抗样本生成过程的示意图；

图3为针对多光谱掌纹识别对抗攻击的实例结构图；

图4为深度典型相关性模型的结构示意图；

图5为广义深度典型相关模型的结构示意图；

图6为生成破坏公共相关性空间的扰动的流程示意图；

图7为对抗性区域的结构示意图；

图8为差异子空间的结构示意图；

图9为生成破坏差异判别性空间的扰动的流程示意图；

图10为多光谱掌纹识别模型的训练过程示意图；

图11为本发明多光谱掌纹识别系统的模块示意图。

符号说明：

样本获取单元-21，公共信息提取单元-22，第一扰动生成单元-23，差异信息提取单元-24，第二扰动生成单元-25，扰动样本生成单元-26，训练单元-27，识别单元-28。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种多光谱掌纹识别方法、系统、电子设备及介质，在模型训练的过程中考虑到在遇到对抗样本攻击时的结果，将对抗样本加入到训练集中进行训练，增强多光谱掌纹识别模型在遇到对抗样本攻击时的鲁棒性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1所示，本实施例提供一种多光谱掌纹识别方法，包括：

S1：获取多光谱掌纹样本集。所述多光谱掌纹样本集中包括多组掌纹样本图像，每组掌纹样本图像包括不同光谱下同一掌纹的样本图像。

S2：针对任一组掌纹样本图像，采用深度典型相关性分析算法提取不同光谱下所述掌纹的样本图像之间的公共相关性信息。

具体地，首先将不同光谱下所述掌纹的样本图像映射到公共相关性空间中，得到各样本图像在所述公共相关性空间中的表示。在本实施例中，采用预先确定的投影参数将不同光谱下所述掌纹的样本图像映射到公共相关性空间中。

然后根据各样本图像在所述公共相关性空间中的表示，确定各样本图像的中心化矩阵。在本实施例中，采用公式确定样本图像的中心化矩阵。其中，/>为样本图像的中心化矩阵，Y为样本图像在公共相关性空间中的表示，m为掌纹的数量。

最后根据各样本图像的中心化矩阵，确定不同光谱下所述掌纹的样本图像之间的公共相关性信息。在本实施例中，采用以下公式确定不同光谱下所述掌纹的样本图像之间的公共相关性信息：

其中，corr(Y₁,Y₂)为不同光谱下所述掌纹的样本图像之间的公共相关性信息，和/>分别为不同光谱下所述掌纹的样本图像的中心化矩阵，tr()为矩阵的迹，m为掌纹的数量，T为转置，r₁和r₂为正则化常数，I为单位矩阵。

S3：采用基础迭代攻击方法生成所述掌纹的各样本图像的第一扰动，以破坏各样本图像之间的公共相关性信息。在本实施例中，采用快速梯度符号算法迭代生成各样本图像的第一扰动。

S4：将该组掌纹样本图像投影到差异子空间中，确定不同光谱下所述掌纹的样本图像之间的差异判别信息。

S5：基于对抗性区域确定算法生成所述掌纹的各样本图像的第二扰动，以破坏各样本图像之间的差异判别信息。在本实施例中，采用公式生成样本图像x的第二扰动。其中，x_per为样本图像x的第二扰动，ε为控制扰动大小的常数，x^*为样本图像x在差异子空间中的投影，||||₂为二范数。

S6：将所述掌纹的各样本图像的第一扰动及所述掌纹的各样本图像的第二扰动添加至对应的样本图像中，以得到所述掌纹的多张扰动样本图像。

S7：采用各掌纹的扰动样本图像对深度神经网络进行对抗训练，以得到多光谱掌纹识别模型。

S8：基于所述多光谱掌纹识别模型，对待识别掌纹图像进行掌纹识别。

优选地，步骤S1-S6为针对多光谱掌纹识别模型的对抗样本生成方法，如图2所示为针对多光谱掌纹识别的对抗样本生成过程的示意图，如图3所示为针对多光谱掌纹识别对抗攻击的实例结构图。为了更好的理解本发明的方案，下面结合具体实施例对对抗样本生成过程进一步进行说明。

1)将多光谱掌纹样本集划分为训练集和测试集。多光谱掌纹样本集中包括多张在不同光谱下采集得到的掌纹样本图像。

2)将训练集输入至深度典型相关模型进行训练，使得映射后的特征间相关性最大。同时计算训练集的差异子空间，并得到将样本投影到差异子空间中的投影矩阵。

3)将测试集输入深度典型相关模型，使用基础迭代攻击方法，计算损失函数相对于输入样本图像的梯度，并将随机选择的常数乘以梯度的符号向量，生成一个小扰动，通过多次迭代生成最终的第一扰动。同时将测试集投影到差异子空间中来模拟数据流形空间，根据对抗性区域理论计算得到能够破环差异判别空间的第二扰动。

在生成第一扰动的过程中，首先生成能够破坏公共相关性空间信息的扰动，需要使得添加扰动后的图像在经过深度典型相关性模块投影之后的相关系数降低，最终会影响到多光谱掌纹识别模型的判断结果。即首先使用深度典型相关性分析方法提取各个光谱下的样本图像的相关信息，每一个光谱下的样本图像在输入深度典型相关模型后，会经过一个深度神经网络模块，将样本图像映射到公共相关性空间中，然后通过基础迭代攻击的方法，根据深度典型相关性分析的损失函数来生成能够破坏公共相关性信息的扰动，从而影响分类器的分类结果。深度神经网络模块首先需要根据多光谱掌纹样本集进行训练，使得映射后的不同光谱下掌纹的特征相关系数最大。

为了便于优化，损失函数采用如下公式表示：

-corr(f₁(x₁；θ₁),f₂(x₂；θ₂))；

其中，corr表示映射后特征的相关系数，f₁()和f₂()分别表示两个光谱下的样本图像对应的映射，x₁和x₂分别表示两个光谱下的样本图像，θ₁和θ₂表示两个光谱下样本图像对应的投影网络的参数。

深度典型相关模型用于数据降维，每个光谱下的样本图像对应一个视图，每个视图都有一个对应的神经网络模块，每个视图的样本图像在经过神经网络模块后得到降维后的特征，通过这些训练后的神经网络模块，使得降维后的特征之间的相关系数最大。

如图4所示深度典型相关分析模型的结构图，CCA(canonical correlationanalysis，典型相关性分析)是一种基于统计的数据融合技术，用于寻找到两个视图之间的相关信息，使得经过投影后的数据之间的相关系数最大化，典型相关性分析为线性投影，而深度典型相关性分析是典型相关性分析的非线形版本，该方法使用一个神经网络模块取代了典型相关性分析中的线形投影矩阵，实现了非线形投影。定义两个维度分别为d₁₁,d₁₂的视图以及/>这两个视图都来自于同一个样本，则将x₁输入神经网络模块后，拥有c₁个节点的网络第k层的输出可以表示如下：

其中，表示权重矩阵，/>是一个偏移向量，c_k为第k层的节点个数，/>是一个非线形的激活函数。对于一个有γ层的网络来说，将x₁输入后得到的输出可以表示如下：

而x₂的计算方式也与上述方法相同。深度典型相关分析的目标是同时学习得到各个网络的参数，使得经过网络非线形投影后的表示之间的相关性越高越好。现在定义θ₁是第一个视图即x₁对应的投影网络的所有参数，θ₂是第二个视图即x₂对应的投影网络的所有参数，优化目标可以用下面的公式表示：

其中，和/>为优化后的投影网络的参数。

此外，广义深度典型相关性分析是深度典型相关性分析的扩展，如图5所示，其可以计算两个或者两个以上的的视图的相关性，通过非线形投影，使得投影后的表示之间的相关系数最大。

对于只融合了两个光谱下的掌纹图像的多光谱掌纹识别模型来说，本发明使用深度典型相关性分析模型来提取各光谱下样本图像之间的公共相关信息。现在定义两个视图x₁、x₂的特征矩阵分别表示为以及/> 相应的投影之后的矩阵表示为f₁(X₁；θ₁)以及f₂(X₁；θ₂)，θ₁是第一个视图即x₁对应的投影网络的所有参数，θ₂是第二个视图即x₂对应的投影网络的所有参数，定义投影后的表示分别为Y₁＝f₁(X₁；θ₁)∈R^m×d'以及Y₂＝f₂(X₂；θ₂)∈R^m×d'，然后得到中心化的矩阵/>以及/> 定义以及/>其中r₁和r₂为正则化常数，在本实施例中，假设r₁和r₂均大于0，则Σ₁₁以及Σ₂₂都是正定的，Y₁和Y₂的前k个分量的总相关性是矩阵等同于矩阵U＝/>当取k＝d'时，总相关系数等同于矩阵U的矩阵迹范数：/>

在训练完投影网络后，将测试样本的数据通过深度典型相关模型来提取公共相关性信息，下面需要生成能够破坏这些相关性信息的扰动，从而影响分类器，最终使得分类器分类出错。

本发明使用基础迭代攻击方法来生成能够破坏公共相关信息的扰动，基础迭代攻击以FGSM(Fast Gradient Sign Method，快速梯度符号方法)为基础，通过多次迭代，从而能够生产对抗性更强的扰动。快速梯度符号方法旨在快速找到给定输入的摄动方向，使目标模型的训练损失函数增大，降低分类置信度，增加类间混淆的可能性，根据定义，错误分类实例的损失值要比其他情况大。快速梯度符号方法的工作原理是计算损失函数相对于输入的梯度，并通过将选择的小常数乘以梯度的符号向量来产生一个小扰动，公式如下:

其中，是损失函数相对于输入的梯度，在模型为深度神经网络的情况下，这可以通过反向传播算法来计算。

对于破坏相关性空间来说，深度典型相关模型为了便于优化，使用-corr(Y₁,Y₂)作为训练的损失函数，第一视图和第二视图的梯度分别用以及表示。下面通过多次迭代生成能够破环公共相关性空间的扰动，公式如下：

其中，Clip用来约束每次迭代后生产的扰动要在一定的范围之内，t表示迭代的次数，而α表示每次迭代时添加的扰动的强度，为常数。/>为第t次迭代时的f₁(X'₁,θ₁)，/>为第t次迭代时的f₂(X'₂,θ₂)。对原始图像加摄动后，f₁(X'₁,θ₁)与f₂(X'₂,θ₂)之间的相关系数减小，破坏了两视图之间的共同信息和互补信息，影响了特征提取的效果，最终导致分类模型的误差。

对于融合了两个以及两个以上个数光谱的多光谱掌纹识别模型来说，本发明使用深度广义典型相关性分析来提取公共相关性信息。现在定义输入矩阵其中，i指的是第i个光谱下的掌纹样本图像，m指的是有一个光谱下的图像有m个输入样本，相对应的投影后的特征矩阵表示为Y_i＝f_i(X_i,θ_i)，可以得到/>作为经验协方差矩阵，d'_i为第i个光谱下的掌纹投影后的特征的维度，并且/>即为相应的投影矩阵，其中P_i是对称幂等的，此外，定义总投影矩阵为/>深度广义典型相关性分析的优化目标函数可以表示为：

其中，r表示总投影矩阵M的前r个最大的特征值，U_i为第i个光谱下图像的投影矩阵，G为总投影矩阵M的前r个最大的特征值对应的特征向量组成的矩阵。

最小化该目标函数等同于最大化GMG^T的迹，即Tr(GMG^T)，可以通过计算特征值之和来得到，λ_ρ(M)为总投影矩阵M的第ρ个特征值。则目标函数又可以表示如下：

对于第i个光谱下的图像的梯度计算如下：

下面需要计算生成能够破坏这些相关性信息的扰动，从而影响分类器，最终使得分类出错，同样使用基础迭代方法来计算，与上述方式相同。最终生成能够破坏公共相关性信息的扰动。如图6所示为生成破坏公共相关性空间的扰动的流程示意图。

在原始的样本图像上添加上生成的扰动后得到对抗样本图像，将对抗样本图像输入到分类模型(多光谱掌纹识别模型)中，由于破坏了相关性空间，使得多光谱掌纹识别模型的融合效果变差，最终会影响到模型的输出结果，导致判断出错。

在生成第二扰动的过程中，使用差异子空间方法来提取不同类别的样本之间的差异信息，并将差异子空间方法推广到多光谱掌纹识别中，利用对抗性区域理论来生成对抗样本，对抗性区域基于数据流形的对抗性现象，但是由于数据流形很难构造，所以将样本投影到差异子空间中来模拟数据流形空间，同时，生成能够破坏差异判别信息的扰动。

对抗区域理论源于数据流形的对抗性现象，流形学习是一种机器学习方法，该方法能对训练集中的高维数据空间进行非线性降维，揭示数据的流形分布状况，并能从中找到隐藏在高维数据中有意义的低维数据结构，进而从中提取出易于识别的特征。它的目标是发现嵌入在高维数据空间中的低维流形结构，并给出一个有效的低维表示，而数据流形的对抗性现象指的是一个泛化性能良好的机器学习模型对于分布在x点与其流形切平面正交方向上的畸变高度敏感，在面对图像分类问题时，将每个类别的数据映射到相应的流形界面，流形上的数据点可以局部地用一个低维向量来表征。对于一个W维空间上的样本点x₁，沿着W维空间的流形界面的映射方向进行搜寻，可得到相应的对抗区域和对抗样本。现在假设有一个数据集W，能够张成一个d维的数据空间，该数据空间相应的流形空间为L，数据集W中有一个点用x₁来表示，表示点x₁在数据流形L上的投影点，则点x₁的对抗性区域可以表示为：

此外，对抗性区域对所有机器学习模型都构成了潜在威胁。如图7所示，定义了两个决策超平面f₁和f₂，可以使用这两个决策超平面将对抗区域划分为2个子集，即对抗子集S_adv和常规子集S_reg，对抗区域由超平面f₁划分得到S_adv,1以及S_reg,1，如果该对抗区域又被超平面f₂划分，则会存在一个交集S_adv,1∩S_adv,2，处于这个交集中的点会导致这两个分类器都分类出错，表明2个对抗子集中的样本能够在两个模型之间传递，该原理也说明了对抗性区域方法生成的对抗样本有较强的可迁移性。

在现实中数据流形很难显式构造，本发明将数据投影到差异子空间中来模拟数据流形。差异子空间的目的是用来提取不同类别数据间的差异判别信息。如图8所示，假设有两个N维的子空间P和子空间Q，分属于类别1和类别2的两类样本的子空间，定义d_i为子空间P中的一个基向量p_i和子空间Q中的一个基向量q_i的差异向量。且子空间中的的向量都是单位正交的，差异向量d_i的长度也会被归一化至1。这里d₁,d₂,…d_N则为一组形成差异子空间的基向量。

这里使用代数方法来计算差异子空间，假设[φ₁…φ_N]∈R^f×N和[ψ₁…ψ_N]∈R^f×N分别是子空间P和子空间Q的单位正交基向量，设P和Q分别为子空间P和子空间Q的投影矩阵，其中则差异子空间D可以通过计算投影矩阵P+Q的前N个最小的特征值所对应的特征向量得到，这些特征向量即为子空间P和子空间Q的差异子空间的单位正交基向量，这些向量能够形成差异子空间。最终得到投影矩阵Z，通过该投影矩阵Z可以将输入样本投影到差异子空间中，从而提取出样本的差异判别信息。

下面将差异子空间应用到多光谱数据集中，假设有n个光谱下的掌纹数据集，定义P_i为光谱i中类别为1的样本，定义Q_i为光谱i中类别为2的样本。子空间的总数为N，假设表示子空间P_i的正交基，/> 表示Q_i的正交基。相对应的用于多光谱掌纹的总投影矩阵G’可以表示如下：

给定两个投影矩阵A和B，可以得到λ_k＝(λ'_k-1)²，其中λ'_k和λ_k分别是矩阵A+B和矩阵AB的第k个最大的特征值。因此，多光谱的总投影矩阵G’的特征值λ'_k就等同于当λ'_k<1时，特征向量v_k可以表示为：

将总投影矩阵G’的表达式带入上面公式中，可以得到：

化简后得到：

v_k可以使用基向量线形组合表示得到，即其中，a_j和b_j是对应的线性组合的系数，p_i∈(P₁,P₂…P_n)，q_i∈(Q₁,Q₂…Q_n)，则上述等式可以表示如下：

该公式有如下关系：以及因此，上述等式可以改写如下：

从该式中可以得到：

b_jη_j+a_jη_k＝a_jη_j+b_jη_k＝0；

由于p_j,q_j是线形无关的，所以当j≠k时，(η_j+η_j+1)(a_j+1+b_j+1)＝0。这里因为η_j+η_j+1≠0，所以可以得到a_j+1＝-b_j+1。将其带入到上方公式中可以发现当η_j+1≠η_j时，a_j+1(η_j+1-η_j)＝b_j+1(η_j+1-η_j)＝0，可得a_j+1＝b_j+1＝0(j≠k)。此外，当j＝k时，可以得到b_kη_k+a_kη_k＝0。最终得到v_k＝p_k-q_k，说明，多光谱掌纹任务中的差分子空间可以通过计算总的投影矩阵G的前N个最小的特征值所对应的特征向量得到。

下面将样本投影到差异子空间中来模拟数据流形空间，同时也能够有效提取并利用多光谱掌纹间的差异判别信息，进而根据对抗性区域理论来生成能够破坏样本的差异判别信息的对抗性扰动，该扰动拥有较强的对抗性能，破坏了各个类别的样本之间的差异判别信息，使得添加了扰动后生成的对抗样本在输入到对光谱掌纹识别模型后会被模型分类出错。

假设有C(≥2)个N维的子空间，每一类的子空间表示为P_k(k＝1,…,C)，其中相应的投影矩阵可以表示如下：

总的投影矩阵为差分子空间可以通过计算总的投影矩阵G的前N个最小的特征值所对应的特征向量得到，这里投影矩阵计算为将输入样本x投影到差分子空间中，使得y＝Z^Tx以及y^*＝Z^Tx，其中/>以及/>使用差分子空间来模拟流形空间，同时，/>这里的i∈{1,2,…,N_d}。y_i以及/>分别指的是y和y^*的第i个向量。根据对抗性区域的表达式，对抗扰动可以计算如下：

其中，z_i表示矩阵Z的第i个向量。

最终生成得到能够破坏样本差异判别信息的扰动。如图9所示为生成破坏差异判别性空间的扰动的流程示意图。

4)结合上述两个方法生成的对抗扰动(第一扰动及第二扰动)，将其添加到原始的样本图像中，以得到最终的对抗样本图像。结合两种扰动后的对抗样本能够同时破坏原始样本的公共相关性信息以及差异判别信息，从而生成了对抗性更强的对抗样本。

步骤S7为多光谱掌纹识别模型的训练过程，即在生成对抗样本的基础上，使用对抗训练的方法来提高多光谱掌纹识别模型的鲁棒性能，对抗训练通过将对抗样本加入训练数据集中来提高模型的鲁棒性。

如图10所示，首先将样本集划分为训练集和测试集，在第一次迭代中，使用原始的训练集输入多光谱掌纹识别模型进行训练，得到未经过鲁棒性增强的模型。然后采用步骤S1-S6的方法生成各个光谱下的样本的对抗样本，该方法生成的对抗样本具有较强的可迁移性能，且能够同时破坏同时破环样本的公共相关性信息以及差异判别信息。

在第二次迭代中，将生成的对抗样本添加到原始的训练集中，生成新的包含了对抗样本的训练集，将该训练集送入到多光谱掌纹识别模型中进行训练，得到新的增强后的模型，下面再使用本发明中的对抗样本生成方法来生成出新的对抗样本。

在第三次迭代中，与上面操作相同，继续将新生成的对抗样本加入到之前到训练集合中，得到这一次迭代所需要的训练集合，并将训练集送入光谱掌纹识别模型中进行训练。

与上述过程相同，经过多次迭代之后，最终可以生成得到鲁棒性增强后的多光谱掌纹识别模型。

本发明使用无监督方法提取了各个光谱之间的相关性信息，并且生成了能够破坏样本公共相关信息的扰动，此外还提取了样本的差异判别信息，同时也生成了能够破坏样本差异判别信息的扰动，最后结合这两种扰动来生成对抗样本，该方法属于一种黑盒攻击，不需要知道目标模型的具体信息，不依赖于具体的目标模型，生成的对抗样本能够同时破坏样本的公共相关信息以及差异判别信息，具有较强的可迁移性能。将该方法生成的对抗样本加入到训练集中用于对抗训练，能够有效提高多光谱掌纹识别模型在面对对抗样本时的鲁棒性。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种多光谱掌纹识别系统系统。

如图11所示，本实施例提供的多光谱掌纹识别系统包括：样本获取单元21、公共信息提取单元22、第一扰动生成单元23、差异信息提取单元24、第二扰动生成单元25、扰动样本生成单元26、训练单元27及识别单元28。

样本获取单元21用于获取多光谱掌纹样本集。所述多光谱掌纹样本集中包括多组掌纹样本图像，每组掌纹样本图像包括不同光谱下同一掌纹的样本图像；

公共信息提取单元22用于针对任一组掌纹样本图像，采用深度典型相关性分析算法提取不同光谱下所述掌纹的样本图像之间的公共相关性信息。

第一扰动生成单元23用于采用基础迭代攻击方法生成所述掌纹的各样本图像的第一扰动，以破坏各样本图像之间的公共相关性信息。

差异信息提取单元24用于针对任一组掌纹样本图像，将该组掌纹样本图像投影到差异子空间中，确定不同光谱下所述掌纹的样本图像之间的差异判别信息。

第二扰动生成单元25用于基于对抗性区域确定算法生成所述掌纹的各样本图像的第二扰动，以破坏各样本图像之间的差异判别信息。

扰动样本生成单元26用于将所述掌纹的各样本图像的第一扰动及所述掌纹的各样本图像的第二扰动添加至对应的样本图像中，以得到所述掌纹的多张扰动样本图像。

训练单元27用于采用各掌纹的扰动样本图像对深度神经网络进行对抗训练，以得到多光谱掌纹识别模型。

识别单元28用于基于所述多光谱掌纹识别模型，对待识别掌纹图像进行掌纹识别。

相对于现有技术，本实施例提供的多光谱掌纹识别系统与实施例一提供的多光谱掌纹识别方法的有益效果相同，在此不再赘述。

实施例三

本实施例提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例一的多光谱掌纹识别方法。

可选地，上述电子设备可以是服务器。

另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的多光谱掌纹识别方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种多光谱掌纹识别方法，其特征在于，所述多光谱掌纹识别方法包括：

2.根据权利要求1所述的多光谱掌纹识别方法，其特征在于，所述采用深度典型相关性分析算法提取不同光谱下所述掌纹的样本图像之间的公共相关性信息，具体包括：

将不同光谱下所述掌纹的样本图像映射到公共相关性空间中，得到各样本图像在所述公共相关性空间中的表示；

根据各样本图像在所述公共相关性空间中的表示，确定各样本图像的中心化矩阵；

根据各样本图像的中心化矩阵，确定不同光谱下所述掌纹的样本图像之间的公共相关性信息。

3.根据权利要求2所述的多光谱掌纹识别方法，其特征在于，采用预先确定的投影参数将不同光谱下所述掌纹的样本图像映射到公共相关性空间中。

4.根据权利要求2所述的多光谱掌纹识别方法，其特征在于，采用以下公式确定样本图像的中心化矩阵：

其中，为样本图像的中心化矩阵，Y为样本图像在公共相关性空间中的表示，m为掌纹的数量。

5.根据权利要求2所述的多光谱掌纹识别方法，其特征在于，采用以下公式确定不同光谱下所述掌纹的样本图像之间的公共相关性信息：

6.根据权利要求1所述的多光谱掌纹识别方法，其特征在于，采用快速梯度符号算法迭代生成各样本图像的第一扰动。

7.根据权利要求1所述的多光谱掌纹识别方法，其特征在于，采用以下公式生成样本图像x的第二扰动：

其中，x_per为样本图像x的第二扰动，ε为控制扰动大小的常数，x^*为样本图像x在差异子空间中的投影，|| ||₂为二范数。

8.一种多光谱掌纹识别系统，其特征在于，所述多光谱掌纹识别系统包括：

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至7中任一项所述的多光谱掌纹识别方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的多光谱掌纹识别方法。