CN113553908A - 基于设备独有性感知的异质虹膜识别方法 - Google Patents

Abstract

本发明提供基于设备独有性感知的异质虹膜识别方法，包括：在现有的基于共享特征提取网络方法的基础上了进行改进。提出了Gabor三叉戟网络来针对归一化后的异质虹膜图像进行特征提取。Gabor三叉戟网络利用Gabor函数作为先验知识来减弱光谱变化的影响，然后使用三叉戟网络中的残差分支来感知图像中的设备独有性信息，并以此为线索来调整基本分支输出结果的分布。为了进一步加强分布对齐效果，本发明还使用了高阶对齐损失、设备对抗损失和样本锚点损失三项在训练阶段加强分布对齐。此外，本发明提出了自适应优化算法来根据各项训练损失来动态调整损失权重，保证模型的收敛。

Description

基于设备独有性感知的异质虹膜识别方法

技术领域

本发明涉及图像处理领域，具体涉及基于设备独有性感知的异质虹膜识别方法。

背景技术

申请公布号CN106326874A公开了一种人眼图像中的虹膜识别方法，包括步骤：建立预设卷积神经网络；预先选择多个人眼图像，对所述多个人眼图像进行图像预处理；对预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛；将一对需进行虹膜识别的待测试人眼图像进行第二步所述图像预处理，获得对应的预设大小的待测试虹膜图像对；将所述待测试虹膜图像对分别以两通道的方式输入到已完成训练的预设卷积神经网络中，获得待测试虹膜图像对的相关性分数并判断是否类别相同。本发明还公开了一种人眼图像中的虹膜识别装置，本发明可对可控场景和非可控场景下采集的人眼图像中的虹膜进行及时、准确的识别，满足用户对虹膜识别的要求，能够提高用户的工作效率。

申请公布号CN106778631A公开了一种虹膜识别预处理过程中快速滤除伪造虹膜的异质虹膜分类器设计方法，此分类器的设计包括改进的伪造虹膜数据库的设计、基于MSE分析的虹膜图像评估、基于SNR分析的虹膜图像评估、边缘检测、基于改进的边缘锐度分析的虹膜图像评估流程。在虹膜识别领域创新性的采用了双边滤波、MSE分析以及SNR分析相结合的虹膜图像评估体系针对无关类别虹膜攻击、散焦虹膜图像、运动模糊虹膜图像、美瞳虹膜图像的灰度特征及噪声分布特征实现对其高效且稳定的滤除。进一步针对仿真度较高的合成虹膜的边缘锐度特征创新性的设计基于改进的边缘锐度分析的虹膜图像评估体系。最终实现虹膜识别预处理过程中伪造虹膜快速、稳定的滤除。

发明内容

有鉴于此，本发明提供一种基于设备独有性感知的异质虹膜识别方法，具体地，本发明是通过如下技术方案实现的：

S1：对虹膜图像I ^(s) _raw进行预处理操作获得虹膜归一化图像I ^(s)，其中s表示不同光照条件，当使用近红外光源s = nir，当使用可见光光源时s = vis；

S2：将近红外归一化图像I ^(nir)和可见光归一化图像I ^(vis)分别送入两个参数不同的可学习Gabor层分别进行图像增强，得到近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor；

S3：将所述近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor输入三叉戟网络模型进行分解，得到包含身份信息的基本元素和包含设备独有性的残差元素；身份信息的基本元素包括：近红外图像基本元素X ^b(nir)和可见光图像基本元素X ^b(vis)；设备独有性的残差元素包括：近红外图像残差元素X ^r(nir)和可见光图像残差元素X ^r(vis)；

S4：将近红外图像基本元素X ^b(nir)和近红外图像残差元素X ^r(nir)按照1:α的比例进行加权融合，得到近红外图像身份特征X ^(nir)；

将可见光图像基本元素X ^b(vis)和可见光图像残差元素X ^r(vis)按照1:α的比例进行加权融合，得到可见光图像身份特征X ^(vis)；

S5：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)进行距离度量，获得近红外图像和可见光图像之间的相似度分数sim(X ^(nir) , X ^(vis))；

S6：应用近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)计算高阶对齐损失L _align ：

其中，1_n：元素全为1、长度为n的列向量；

H _n ：大小为n×n的中心化矩阵，

；

||•|| _F ：F范数；

S7：计算近红外图像基本元素X ^b(nir)和近红外图像残差元素X ^r(nir)的正交约束R ^(nir) _o，记为第一交约束；

计算可见光图像基本元素X ^b(vis)和可见光图像残差元素X ^r(vis)的正交约束R ^(vis) _o，记为第二交约束；

计算近红外图像残差元素X ^r(nir)和可见光图像残差元素X ^r(vis)的正交约束R ^c _o，记为第三交约束；

S8：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)输入设备区分网络，设备区分网络是由两个结构相同但参数不同的分类器构成，两个分类器分别针对近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)进行身份判别，再应用两个分类器输出概率计算设备对抗损失L _adv 和分类损失L _SAN ；

S9：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)合并为特征矩阵X=[ X ^(nir) X ^(vis)];

根据特征矩阵X对应的身份标签Y，遍历全部身份标签Y将每个类别下的全部特征进行均值计算，得到类别中心矩阵C；

度量特征矩阵X和类别中心矩阵C之间的距离，得到距离矩阵D(X, C);

基于特征矩阵X和距离矩阵D(X, C)计算样本的锚点损失L _sa ；

S10：应用高阶对齐损失L _align 、第一正交约束R ^(nir) _o、第二正交约束R ^(vis) _o、第三正交约束R ^c _o、设备对抗损失L _adv 、分类损失L _SAN 和锚点损失L _sa 构建三叉戟网络模型的训练损失L _feat 和设备区分网络的训练损失L _dis ；

保持设备区分网络参数不变，最小化训练损失L _feat 实现三叉戟网络模型的训练；

保持三叉戟网络模型参数不变，最小化训练损失L _dis 实现设备区分网络的训练。

优选地，进行图像增强的具体流程：

S21：基于可学习参数λ、γ、σ和ψ，使用Gabor函数生成卷积核：

其中，

x和y标明了像素在Gabor核函中的横向和纵向坐标；

h(x,y,n,λ,γ,σ,ψ)表明了是第n个方向的Gabor卷积核；

x _θn 表示横向坐标顺时针旋转θ _n 角度的坐标，为：x _θn =xcosθ _n + ysinθ _n ；

y _θn 表示纵向坐标顺时针旋转θ _n 角度的坐标，为：y _θn =-xsinθ _n + ycosθ _n ；

σ _x 和σ _y 表示在水平和垂直方向的方差，分别为σ _x =σ，σ _y =σ/γ；

而θ _n 表示第

个滤波器的主方向，有

；

S22：调整生成的Gabor卷积核尺寸为7*7；并将调整后的生成的Gabor卷积核设定为卷积层C0的卷积核，该卷积层的步长为1、并且无偏差；

S23：将近红外归一化图像I ^(nir)和可见光归一化图像I ^(vis)分别送入卷积层C0，得到近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor。

优选地，三叉戟网络模型是由三个结构相同但参数不同的子网络构成，第一子网络为近红外图像和可见光图像所共享的基本元素分支，输出为所述近红外图像基本元素X ^{b (nir)}和可见光图像基本元素X ^b(vis)；第二子网络为近红外图像独有的残差分支，输出为近红外图像残差元素X ^r(nir)；第三子网络为可见光图像独有的残差分支，输出为可见光图像残差元素X ^r(vis)。

优选地，第一交约束和第二交约束的具体公式为：

第三交约束的具体公式为：

其中，

Tr[•]表示迹操作；

Var(•)表示方差计算操作;

ɛ是为了避免分母出现0的意外情况设定的极小值，设为ɛ=1×10^-8；

I _n 表示大小为n×n的单位矩阵。

优选地，设备对抗损失L _adv 的具体计算过程为：

其中，

和

表示输入特征属于第c类别的概率；

X _k ^(nir)和X _k ^(vis)则分别是X ^(nir 和⁾ X ^(vis)中第

个样本的身份特征；

y _kc ^(•)表示第k个样本是否属于第c类别，当其属于第c类时y _kc ^(•)=1，否则为0；

K和C分别标明了样本数和类别数。

优选地，分类损失L _SAN 的具体计算过程为：

。

优选地，锚点损失L _sa 的具体计算过程为：

其中，

diag(•)表示对角化操作，将其中的方阵对角元素提取出来构成一个行向量；min_r(•)为按行找到最小的数值；m为间隔参数。

优选地，设备区分网络的训练损失L _dis =L _SAN 。

优选地，三叉戟网络模型的训练损失L _feat 具体的计算方法为：

其中，

β ₁，β ₂，β ₃，β ₄，β ₅权重参数。

优选地，参数β ₁，β ₂，β ₃，β ₄，β ₅的计算方法为：

其中，

_term∈{1,2,3,4,5}；

β_term _t 和β_term _t-1 为第t轮和第t-1轮训练的权重参数；

ϕ为更新动量；

其中，

BL为锚点损失L _sa ；

LT=[ L _align , R ^(nir) _o, R ^(vis) _o, R ^c _o, L _adv ]；

计算β ₁时，应用L _align ；

计算β ₂时，应用R ^(nir)；

计算β ₃时，应用R ^(vis) _o；

计算β ₄时，应用R ^c _o；

计算β ₅时，应用L _adv 。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

深入探究了异质虹膜识别中分布差异问题。该方法感知了异质虹膜图像中的设备独有性信息，并通过对这部分信息的建模来调整异质特征的分布形状，以实现更好的分布对齐。此外，本方法还设计了多个有力的对齐损失和更智能的训练策略保证了异质特征的身份可判别性，提升了模型在异质虹膜识别中的识别性能。

附图说明

图1为本发明实施例提供的基于设备独有性感知的异质虹膜识别方法的流程图；

图2为本发明实施例提供的可学习Gabor层结构示意图；

图3为本发明实施例提供的三叉戟网络结构示意图；

图4为本发明实施例提供的设备区分网络结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

如图1所示本申请实施例提供的基于设备独有性感知的异质虹膜识别方法，包括：

S1：对虹膜图像I ^(s) _raw进行预处理操作获得虹膜归一化图像I ^(s)，其中s表示不同光照条件，当使用近红外光源s = nir，当使用可见光光源时s = vis；

S2：将近红外归一化图像I ^(nir)和可见光归一化图像I ^(vis)分别送入两个参数不同的可学习Gabor层分别进行图像增强，得到近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor；

如图2所示，所述进行图像增强的具体流程：

S21：基于可学习参数λ、γ、σ和ψ，使用Gabor函数生成卷积核：

其中，,

x和y标明了像素在Gabor核函中的横向和纵向坐标；

h(x,y,n,λ,γ,σ,ψ)表明了是第n个方向的Gabor卷积核；

x _θn 表示横向坐标顺时针旋转θ _n 角度的坐标，为：x _θn =xcosθ _n + ysinθ _n ；

y _θn 表示纵向坐标顺时针旋转θ _n 角度的坐标，为：y _θn =-xsinθ _n + ycosθ _n ；

σ _x 和σ _y 表示在水平和垂直方向的方差，分别为σ _x =σ，σ _y =σ/γ；

而θ _n 表示第

个滤波器的主方向，有

；

S22：调整生成的Gabor卷积核尺寸为7*7；并将调整后的生成的Gabor卷积核设定为卷积层C0的卷积核，该卷积层的步长为1、并且无偏差；

S23：将近红外归一化图像I ^(nir)和可见光归一化图像I ^(vis)分别送入卷积层C0，得到近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor；

S3：将所述近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor输入三叉戟网络模型进行分解，得到包含身份信息的基本元素和包含设备独有性的残差元素；所述身份信息的基本元素包括：近红外图像基本元素X ^b(nir)和可见光图像基本元素X ^b(vis)；所述设备独有性的残差元包括：近红外图像残差元素X ^r(nir)和可见光图像残差元素X ^r(vis)；

如图3所示，所述三叉戟网络模型是由三个结构相同但参数不同的LightCNN9网络构成，第一子网络为近红外图像和可见光图像所共享的基本元素分支，输出为所述近红外图像基本元素X ^b(nir)和可见光图像基本元素X ^b(vis)；第二子网络为近红外图像独有的残差分支，输出为近红外图像残差元素X ^r(nir)；第三子网络为可见光图像独有的残差分支，输出为可见光图像残差元素X ^r(vis)；

S4：将近红外图像基本元素X ^b(nir)和近红外图像残差元素X ^r(nir)按照1:α的比例进行加权融合，得到近红外图像身份特征X ^(nir)；

将可见光图像基本元素X ^b(vis)和可见光图像残差元素X ^r(vis)按照1:α的比例进行加权融合，得到可见光图像身份特征X ^(vis)；所述α=0.5；

S5：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)进行距离度量，获得近红外图像和可见光图像之间的相似度分数sim(X ^(nir) , X ^(vis))；

式中，‖•‖计算了向量的二范数，T表示转置操作；

S6：应用近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)计算高阶对齐损失L _align ：

其中，1_n：元素全为1、长度为n的列向量；

H _n ：大小为n×n的中心化矩阵，

；

||•|| _F ：F范数；

S7：计算近红外图像基本元素X ^b(nir)和近红外图像残差元素X ^r(nir)的正交约束R ^(nir) _o，记为第一交约束；

计算可见光图像基本元素X ^b(vis)和可见光图像残差元素X ^r(vis)的正交约束R ^(vis) _o，记为第二交约束；

计算近红外图像残差元素X ^r(nir)和可见光图像残差元素X ^r(vis)的正交约束R ^c _o，记为第三交约束；

其中，

Tr[•]表示迹操作；

Var(•)表示方差计算操作;

ɛ是为了避免分母出现0的意外情况设定的极小值，设为ɛ=1×10^-8；

I _n 表示大小为n×n的单位矩阵；

S8：如图4所示，将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)输入设备区分网络，所述设备区分网络是由两个结构相同但参数不同的分类器构成，两个分类器分别针对近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)进行身份判别，再应用两个分类器输出概率计算设备对抗损失L _adv ：

所述设备对抗损失L _adv 的具体计算过程为：

其中，

和

表示输入特征属于第c类别的概率；

X _k ^(nir)和X _k ^(vis)则分别是X ^(nir 和⁾ X ^(vis)中第

个样本的身份特征；

y _kc ^(•)表示第k个样本是否属于第c类别，当其属于第c类时y _kc ^(•)=1，否则为0；

K和C分别标明了样本数和类别数；

分类损失L _SAN ：

；

S9：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)合并为特征矩阵X=[ X ^(nir) X ^(vis)]；

根据特征矩阵X对应的身份标签Y，遍历全部身份标签Y将每个类别下的全部特征进行均值计算，得到类别中心矩阵C；

度量特征矩阵X和类别中心矩阵C之间的距离，得到距离矩阵D(X, C);

基于特征矩阵X和距离矩阵D(X, C)计算样本的锚点损失L _sa ；

所述锚点损失L _sa 的具体计算过程为：

其中，

diag(•)表示对角化操作，将其中的方阵对角元素提取出来构成一个行向量；min_r(•)为按行找到最小的数值；m为间隔参数，本方法中设为1；

S10：应用高阶对齐损失L _align 、第一正交约束R ^(nir) _o、第二正交约束R ^(vis) _o、第三正交约束R ^c _o、设备对抗损失L _adv 、分类损失L _SAN 和锚点损失L _sa 构建三叉戟网络模型的训练损失L _feat ：

其中，

β ₁，β ₂，β ₃，β ₄，β ₅权重参数；

所述参数β ₁，β ₂，β ₃，β ₄，β ₅的计算方法为：

其中，

_term∈{1,2,3,4,5}；

β_term _t 和β_term _t-1 为第t轮和第t-1轮训练的权重参数；

ϕ为更新动量，本发明设置为0.5；

其中，

BL为锚点损失L _sa ；

LT=[ L _align , R ^(nir) _o, R ^(vis) _o, R ^c _o, L _adv ]；

计算β ₁时，应用L _align ；

计算β ₂时，应用R ^(nir)；

计算β ₃时，应用R ^(vis) _o；

计算β ₄时，应用R ^c _o；

计算β ₅时，应用L _adv ；

设备区分网络的训练损失L _dis ：所述设备区分网络的训练损失L _dis =L _SAN ；

保持设备区分网络参数不变，最小化训练损失L _feat 实现三叉戟网络模型的训练；

保持三叉戟网络模型参数不变，最小化训练损失L _dis 实现设备区分网络的训练。

实施例

S1：对虹膜图像I ^(s) _raw进行预处理操作获得虹膜归一化图像I ^(s)：

进入PolyU跨光谱数据集官网（http://www4.comp.polyu.edu.hk/~biometrics/）下载PolyU跨光谱数据集。该数据集包括209个个体双眼的眼周图像，全部个体的左眼图像（共计209类6,270张）用于训练，为了保证模型训练，将身份信息一致的图像视为一对样本对（获得90,915对）做为训练数据，用于模型训练；全部个体的右眼图像（共计正样本12,279对，负样本1,275,946对）做测试数据，用于模型测试。使用开源的虹膜预处理项目TVMIRIS（https://www4.comp.

polyu.edu.hk/~csajaykr/tvmiris.htm）对训练数据和测试数据进行预处理（P1：F_pre）。

S2：将近红外归一化图像I ^(nir)和可见光归一化图像I ^(vis)分别送入两个参数不同的可学习Gabor层分别进行图像增强，得到近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor；

如图2所示，所述进行图像增强的具体流程：

S21：基于可学习参数λ、γ、σ和ψ，使用Gabor函数生成卷积核：

其中，,

x和y标明了像素在Gabor核函中的横向和纵向坐标；

h(x,y,n,λ,γ,σ,ψ)表明了是第n个方向的Gabor卷积核；

x _θn 表示横向坐标顺时针旋转θ _n 角度的坐标，为：x _θn =xcosθ _n + ysinθ _n ；

y _θn 表示纵向坐标顺时针旋转θ _n 角度的坐标，为：y _θn =-xsinθ _n + ycosθ _n ；

σ _x 和σ _y 表示在水平和垂直方向的方差，分别为σ _x =σ，σ _y =σ/γ；

而θ _n 表示第

个滤波器的主方向，有

；

S22：调整生成的Gabor卷积核尺寸为7*7；并将调整后的生成的Gabor卷积核设定为卷积层C0的卷积核，该卷积层的步长为1、并且无偏差；

S23：将近红外归一化图像I ^(nir)和可见光归一化图像I ^(vis)分别送入卷积层C0，得到近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor；

S3：将所述近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor输入三叉戟网络模型进行分解，得到包含身份信息的基本元素和包含设备独有性的残差元素；所述身份信息的基本元素包括：近红外图像基本元素X ^b(nir)和可见光图像基本元素X ^b(vis)；所述设备独有性的残差元包括：近红外图像残差元素X ^r(nir)和可见光图像残差元素X ^r(vis)；

如图3所示，所述三叉戟网络模型是由三个结构相同但参数不同的LightCNN9网络构成，第一子网络为近红外图像和可见光图像所共享的基本元素分支，输出为所述近红外图像基本元素X ^b(nir)和可见光图像基本元素X ^b(vis)；第二子网络为近红外图像独有的残差分支，输出为近红外图像残差元素X ^r(nir)；第三子网络为可见光图像独有的残差分支，输出为可见光图像残差元素X ^r(vis)；

S4：将近红外图像基本元素X ^b(nir)和近红外图像残差元素X ^r(nir)按照1:α的比例进行加权融合，得到近红外图像身份特征X ^(nir)；

将可见光图像基本元素X ^b(vis)和可见光图像残差元素X ^r(vis)按照1:α的比例进行加权融合，得到可见光图像身份特征X ^(vis)；所述α=0.5；

S5：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)进行距离度量，获得近红外图像和可见光图像之间的相似度分数sim(X ^(nir) , X ^(vis))；

式中，‖•‖计算了向量的二范数，T表示转置操作；

S6：应用近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)计算高阶对齐损失L _align ：

其中，1_n：元素全为1、长度为n的列向量；

H _n ：大小为n×n的中心化矩阵，

；

||•|| _F ：F范数；

S8：如图4所示，将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)输入设备区分网络，所述设备区分网络是由两个结构相同但参数不同的分类器构成，具体结构为：利用两个全连接层来构建设备区分网络，两个全连接层均为输入256维、输出209维。该特征输入该网络的过程可以表述为：数据输入第一个全连接层，然后通过Softmax层输出可见光分类结果；数据输入第二个全连接层，然后通过Softmax层输出近红外分类结果。两个分类器分别针对近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)进行身份判别，再应用两个分类器输出概率计算设备对抗损失L _adv ：

所述设备对抗损失L _adv 的具体计算过程为：

其中，

和

表示输入特征属于第c类别的概率；

X _k ^(nir)和X _k ^(vis)则分别是X ^(nir 和⁾ X ^(vis)中第

个样本的身份特征；

y _kc ^(•)表示第k个样本是否属于第c类别，当其属于第c类时y _kc ^(•)=1，否则为0；

K和C分别标明了样本数和类别数；

分类损失L _SAN ：

；

S9：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)合并为特征矩阵X=[ X ^(nir) X ^(vis)]；

根据特征矩阵X对应的身份标签Y，遍历全部身份标签Y将每个类别下的全部特征进行均值计算，得到类别中心矩阵C；

度量特征矩阵X和类别中心矩阵C之间的距离，得到距离矩阵D(X, C);

基于特征矩阵X和距离矩阵D(X, C)计算样本的锚点损失L _sa ；

所述锚点损失L _sa 的具体计算过程为：

其中，

diag(•)表示对角化操作，将其中的方阵对角元素提取出来构成一个行向量；min_r(•)为按行找到最小的数值；m为间隔参数，本方法中设为1；

S10：应用高阶对齐损失L _align 、第一正交约束R ^(nir) _o、第二正交约束R ^(vis) _o、第三正交约束R ^c _o、设备对抗损失L _adv 、分类损失L _SAN 和锚点损失L _sa 构建三叉戟网络模型的训练损失L _feat ：

其中，

β ₁，β ₂，β ₃，β ₄，β ₅权重参数；

所述参数β ₁，β ₂，β ₃，β ₄，β ₅的计算方法为：

其中，

_term∈{1,2,3,4,5}；

β_term _t 和β_term _t-1 为第t轮和第t-1轮训练的权重参数；

ϕ为更新动量，本发明设置为0.5；

其中，

BL为锚点损失L _sa ；

LT=[ L _align , R ^(nir) _o, R ^(vis) _o, R ^c _o, L _adv ]；

计算β ₁时，应用L _align ；

计算β ₂时，应用R ^(nir)；

计算β ₃时，应用R ^(vis) _o；

计算β ₄时，应用R ^c _o；

计算β ₅时，应用L _adv ；

设备区分网络的训练损失L _dis ：所述设备区分网络的训练损失L _dis =L _SAN ；

保持设备区分网络参数不变，最小化训练损失L _feat 实现三叉戟网络模型的训练；

保持三叉戟网络模型参数不变，最小化训练损失L _dis 实现设备区分网络的训练。

两部分损失均使用学习率为0.0001的Adam算法失交叉迭代，重复S2-S10，直到模型完全收敛。

S11：相似度计算：和可见光图像身份特征

选择测试图像中的任意一对图像I ^(nir)和I ^(vis)，将步骤S2中的训练图像替换为这两张测试图像，进行步骤S2- S4，获得融合后的近红外身份特征X ^(nir)和可见光身份特征X ^(vis)。按照下面的公式度量两者之间的距离，获得近红外和可见光图像之间的相似度分数：

式中，‖•‖计算了向量的二范数，T表示转置操作；

sim(X ^(nir) , X ^(vis))度量了X ^(nir)和X ^(vis)之间的相似度分数。依据该相似度判断图像对是否来自同一个人，若相似度得分越高则这两张图像属于同一个人的概率越大。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.基于设备独有性感知的异质虹膜识别方法，其特征在于，所述方法包括：

S1：对虹膜图像I ^(s) _raw进行预处理操作获得虹膜归一化图像I ^(s)，其中s表示不同光照条件，当使用近红外光源s = nir，当使用可见光光源时s = vis；

S2：将近红外归一化图像I ^(nir)和可见光归一化图像I ^(vis)分别送入两个参数不同的可学习Gabor层分别进行图像增强，得到近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor；

S3：将所述近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor输入三叉戟网络模型进行分解，得到包含身份信息的基本元素和包含设备独有性的残差元素；所述身份信息的基本元素包括：近红外图像基本元素X ^b(nir)和可见光图像基本元素X ^b(vis)；所述设备独有性的残差元素包括：近红外图像残差元素X ^r(nir)和可见光图像残差元素X ^r(vis)；

S4：将近红外图像基本元素X ^b(nir)和近红外图像残差元素X ^r(nir)按照1:α的比例进行加权融合，得到近红外图像身份特征X ^(nir)；

将可见光图像基本元素X ^b(vis)和可见光图像残差元素X ^r(vis)按照1:α的比例进行加权融合，得到可见光图像身份特征X ^(vis)；

S5：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)进行距离度量，获得近红外图像和可见光图像之间的相似度分数sim(X ^(nir) , X ^(vis))；

S6：应用近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)计算高阶对齐损失L _align ：

其中，1_n：元素全为1、长度为n的列向量；

H _n ：大小为n×n的中心化矩阵，

；

||•|| _F ：F范数；

S7：计算近红外图像基本元素X ^b(nir)和近红外图像残差元素X ^r(nir)的正交约束R ^(nir) _o，记为第一交约束；

计算可见光图像基本元素X ^b(vis)和可见光图像残差元素X ^r(vis)的正交约束R ^(vis) _o，记为第二交约束；

计算近红外图像残差元素X ^r(nir)和可见光图像残差元素X ^r(vis)的正交约束R ^c _o，记为第三交约束；

S8：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)输入设备区分网络，所述设备区分网络是由两个结构相同但参数不同的分类器构成，两个分类器分别针对近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)进行身份判别，再应用两个分类器输出概率计算设备对抗损失L _adv 和分类损失L _SAN ；

S9：将近红外图像身份特征X ^(nir)和可见光图像身份特征X ^(vis)合并为特征矩阵X=[ X ^(nir) X ^(vis)];

根据特征矩阵X对应的身份标签Y，遍历全部身份标签Y将每个类别下的全部特征进行均值计算，得到类别中心矩阵C；

度量特征矩阵X和类别中心矩阵C之间的距离，得到距离矩阵D(X, C);

基于特征矩阵X和距离矩阵D(X, C)计算样本的锚点损失L _sa ；

S10：应用高阶对齐损失L _align 、第一正交约束R ^(nir) _o、第二正交约束R ^(vis) _o、第三正交约束R ^c _o、设备对抗损失L _adv 、分类损失L _SAN 和锚点损失L _sa 构建三叉戟网络模型的训练损失L _feat 和设备区分网络的训练损失L _dis ；

保持设备区分网络参数不变，最小化训练损失L _feat 实现三叉戟网络模型的训练；

保持三叉戟网络模型参数不变，最小化训练损失L _dis 实现设备区分网络的训练。

2.根据权利要求1所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述进行图像增强的具体流程：

S21：基于可学习参数λ、γ、σ和ψ，使用Gabor函数生成卷积核：

其中，

x和y标明了像素在Gabor核函中的横向和纵向坐标；

h(x,y,n,λ,γ,σ,ψ)表明了是第n个方向的Gabor卷积核；

x _θn 表示横向坐标顺时针旋转θ _n 角度的坐标，为：x _θn =xcosθ _n + ysinθ _n ；

y _θn 表示纵向坐标顺时针旋转θ _n 角度的坐标，为：y _θn =-xsinθ _n + ycosθ _n ；

σ _x 和σ _y 表示在水平和垂直方向的方差，分别为σ _x =σ，σ _y =σ/γ；

而θ _n 表示第

个滤波器的主方向，有

；

S22：调整生成的Gabor卷积核尺寸为7*7；并将调整后的生成的Gabor卷积核设定为卷积层C0的卷积核，该卷积层的步长为1、并且无偏差；

S23：将近红外归一化图像I ^(nir)和可见光归一化图像I ^(vis)分别送入卷积层C0，得到近红外增强图像I ^(nir) _Gabor和可见光增强图像I ^(vis) _Gabor。

3.根据权利要求1所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述三叉戟网络模型是由三个结构相同但参数不同的子网络构成，第一子网络为近红外图像和可见光图像所共享的基本元素分支，输出为所述近红外图像基本元素X ^b(nir)和可见光图像基本元素X ^b(vis)；第二子网络为近红外图像独有的残差分支，输出为近红外图像残差元素X ^{r (nir)}；第三子网络为可见光图像独有的残差分支，输出为可见光图像残差元素X ^r(vis)。

4.根据权利要求1所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述第一交约束和第二交约束的具体公式为：

所述第三交约束的具体公式为：

其中，

Tr[•]表示迹操作；

Var(•)表示方差计算操作;

ɛ是为了避免分母出现0的意外情况设定的极小值，设为ɛ=1×10^-8；

I _n 表示大小为n×n的单位矩阵。

5.根据权利要求1所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述设备对抗损失L _adv 的具体计算过程为：

其中，

和

表示输入特征属于第c类别的概率；

X _k ^(nir)和X _k ^(vis)则分别是X ^(nir 和⁾ X ^(vis)中第

个样本的身份特征；

y _kc ^(•)表示第k个样本是否属于第c类别，当其属于第c类时y _kc ^(•)=1，否则为0；

K和C分别标明了样本数和类别数。

6.根据权利要求5所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述分类损失L _SAN 的具体计算过程为：

。

7.根据权利要求1所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述锚点损失L _sa 的具体计算过程为：

其中，

diag(•)表示对角化操作，将其中的方阵对角元素提取出来构成一个行向量；min_r(•)为按行找到最小的数值；m为间隔参数。

8.根据权利要求1所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述设备区分网络的训练损失L _dis =L _SAN 。

9.根据权利要求1所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述三叉戟网络模型的训练损失L _feat 具体的计算方法为：

其中，

β ₁，β ₂，β ₃，β ₄，β ₅权重参数。

10.根据权利要求9所述的基于设备独有性感知的异质虹膜识别方法，其特征在于，所述参数β ₁，β ₂，β ₃，β ₄，β ₅的计算方法为：

其中，

_term∈{1,2,3,4,5}；

β_term _t 和β_term _t-1 为第t轮和第t-1轮训练的权重参数；

ϕ为更新动量；

其中，

BL为锚点损失L _sa ；

LT=[ L _align , R ^(nir) _o, R ^(vis) _o, R ^c _o, L _adv ]；

计算β ₁时，应用L _align ；

计算β ₂时，应用R ^(nir)；

计算β ₃时，应用R ^(vis) _o；

计算β ₄时，应用R ^c _o；

计算β ₅时，应用L _adv 。

Images