CN112364848B - 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置 - Google Patents

基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置 Download PDF

Info

Publication number
CN112364848B
CN112364848B CN202110039305.3A CN202110039305A CN112364848B CN 112364848 B CN112364848 B CN 112364848B CN 202110039305 A CN202110039305 A CN 202110039305A CN 112364848 B CN112364848 B CN 112364848B
Authority
CN
China
Prior art keywords
network
vein
loss
vein image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110039305.3A
Other languages
English (en)
Other versions
CN112364848A (zh
Inventor
赵国栋
李学双
张烜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shengdian Cloud Information Technology Co ltd
Original Assignee
Beijing Shengdian Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shengdian Cloud Information Technology Co ltd filed Critical Beijing Shengdian Cloud Information Technology Co ltd
Priority to CN202110039305.3A priority Critical patent/CN112364848B/zh
Publication of CN112364848A publication Critical patent/CN112364848A/zh
Application granted granted Critical
Publication of CN112364848B publication Critical patent/CN112364848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置，所述的静脉图像识别方法包括以下步骤：1）形成训练集；2）搭建基于SK‑ResNet的生成器网络；3）搭建基于CNN的判别器网络；4）搭建基于SK‑ResNet的分类网络；5）采用正常静脉图像B对基于SK‑ResNet的分类网络进行训练；6）修复缺损静脉图像A形成修复后的静脉图像C；7）更新生成器参数；8）更新基于CNN的判别器网络的参数；9）进行若干次迭代训练；10）基于最优的生成器模型获得修复后的静脉图像；11）提取静脉特征；12）进行识别。本发明在生成器网络以及分类器网络中加入SK‑ResNet结构，大大减少了模型的参数量，减轻了卷积神经网络的梯度消失问题，提高了网络提取静脉图像特征的能力。

Description

基于分类损失的生成对抗网络修复异常静脉图像的识别方法 及装置
技术领域
本发明属于图像处理与生物特征识别领域，尤其涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置。
背景技术
静脉识别包括手掌静脉识别、手静脉识别等，作为一种新兴的身份识别技术，因其防伪能力强、识别迅速和准确率高等特点，其市场在不断扩大，拥有广阔的前景。而静脉图像成像设备镜面上出现脏污块、用户手指和手掌出现蜕皮等情况会引起静脉图像的部分特征缺失，形成异常静脉图像，导致该部分的静脉特征难以提取，最终影响静脉识别系统的识别性能。因此，如何提高静脉识别系统对异常静脉图像识别性能具有重要的理论与现实意义。
图像修复是一种利用图像未破损区域信息对图像破损区域进行预测修复的过程。传统的修复方法主要是以数学和物理的方法为主，采用基于扩散模型或者纹理合成的方法。
基于扩散模型修复图像的方法如中国专利申请CN 110163822 A公开的一种基于超像素分割与图割理论的网状遮挡物去除方法和系统，目的在于对许多摄影场景下网状遮挡物进行去除并修复出原图片中被遮挡的部分。包括以下部分：基于SEEDS算法进行图像超像素分割，基于图割理论进行超像素块融合，获取网状遮挡物样本，SVM分类，全变分法图像修复。
基于纹理合成修复图像的方法如中国专利CN102567970B公开的一种图像修复方法及装置，该方法包括：由外向内获取图像损坏区域的第一层待修补区域，并读取与第一层待修补区域相邻的已知图像区域的结构信息和颜色；根据已知图像区域的结构信息和颜色对第一层待修补区域进行梯度分析和颜色估计，得到第一层待修补区域的梯度信息和颜色；将第一层待修补区域的梯度信息和颜色作为初始值延伸至第一层待修补区域；根据初始值对第一层带修补区域进行纹理合成修复，以获取第一修补结果等步骤。
上述方法研究的对象大多是纹理比较清晰的图像，对静脉这类生物特征图像的修复算法研究较少，静脉图像为灰度图像且分辨率低、信息量少、静脉边缘纹理信息不明显，使得传统修复算法修复效果并不好，容易出现静脉纹理结构模糊、断裂等情况，导致静脉识别系统对异常静脉图像的识别性能不佳。
发明内容
本发明所要解决的技术问题提供一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置，以解决传统修复算法对于静脉图像的修复效果并不好，容易出现静脉纹理结构模糊、断裂等情况，从而导致静脉识别系统对异常静脉图像的识别性能不佳的问题。
为了解决上述技术问题，本发明提供的技术方案为：
本发明涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其包括以下步骤：
1）对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集；
2）搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet残差模块中加入SKNet模块的嵌入式模块；
3）搭建基于CNN的判别器网络；
4）搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，分类器损失函数为SOFTMAX loss和Center Loss；
5）采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；
6）将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C；
7）设计生成器损失函数，固定训练好的基于SK-ResNet的分类器网络参数，将修复后的静脉图像C输入到基于SK-ResNet的分类器网络中，得到分类损失 lossg1，将修复后的静脉图像C与正常静脉图像B的L2范数作为基于SK-ResNet的生成器网络的内容损失函数lossg2，将修复后的静脉图像C输入到基于CNN的判别器网络，获得对抗损失为lossg3，根据分类损失lossg1、损失函数lossg2和对抗损失lossg3计算基于SK-ResNet的生成器网络的损失，并更新生成器参数；
8）设计判别器损失函数，将正常静脉图像B，修复后的静脉图像C输入到基于CNN的判别器网络，计算基于CNN的判别器网络的对抗损失并更新基于CNN的判别器网络的参数；
9）以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.0001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；
10）将异常静脉图像经过步骤1）的归一化处理后，输入到生成器网络中，获得修复后的静脉图像；
11）固定训练好的基于SK-ResNet的分类器网络参数，将修复后的静脉图像与对应正常同类静脉模板图像输入基于SK-ResNet的分类器网络，提取全局平均池化层GAP作为静脉特征向量；
12）计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。
本发明所述的SK模块为Selective Kernel Networks（SKNet）模块。
优选地，所述步骤2）中，基于SK-ResNet的生成器网络包括编码器部分和解码器部分；
所述的编码器部分包括五个层级结构，第一层级包括一层卷积层，BN层和Mish激活层，输入三通道缺损静脉图像，输出通道数为d，第二~五层级结构为子残差块数分别为3，4，6，3的残差块，第二~五层的子残差块中均包括BN层和Mish激活层，静脉图像每经过一层，大小缩小1/2，通道数翻倍，最后的静脉特征图大小为原图的1/16，通道数为16d；
解码器部分有五层级结构，前四个层级每一层均采用反卷积层，BN层，Mish激活层，最后一层级包括卷积层、BN层、tanh激活函数，用于生成和原图相同通道数以及大小的修复图像。
优选地，所述步骤3）中，基于CNN的判别器网络包括五层级结构，第一~四层级均采用卷积层，BN层以及Mish激活层，第五层级为一层全连接层，最后经过Sigmoid激活输出，将数值映射到0到1之间的概率。
优选地，所述步骤4）中，基于SK-ResNet的分类器网络包括七层级结构，前五层级与生成器网络的编码器部分对应，第六层级为一层全局平均池化层GAP，用来提取静脉特征向量，最后一层级为全连接层FC，用于计算分类损失。分类器损失函数采用SOFTMAX Loss以及中心损失Center Loss共同监督分类器网络，SOFTMAX Loss可以保证静脉特征向量的类间可分性，Center Loss可以保证静脉特征向量的类内紧凑性，使得提取的静脉特征向量具有更强的区分力，从而提高识别率。
优选地，所述的基于SK-ResNet的分类器网络的损失函数
Figure 299389DEST_PATH_IMAGE001
：
Figure 36401DEST_PATH_IMAGE002
式中
Figure 202196DEST_PATH_IMAGE003
为SOFTMAX Loss损失函数，
Figure 100882DEST_PATH_IMAGE004
为Center Loss损失函 数，参数
Figure 889978DEST_PATH_IMAGE005
为标量，范围在[0-1]之间，用于平衡两种损失函数，
Figure 492997DEST_PATH_IMAGE006
式中，m为训练集中一个批次图像的数量，
Figure 979211DEST_PATH_IMAGE007
为训练集中静脉图像的类别数，
Figure 48798DEST_PATH_IMAGE008
为全连接层FC的输出，
Figure 574457DEST_PATH_IMAGE009
为全局平均池化层GAP的特征向量，
Figure 466321DEST_PATH_IMAGE010
表 示GAP特征向量
Figure 823353DEST_PATH_IMAGE009
属于类别
Figure 378356DEST_PATH_IMAGE011
权重矩阵，
Figure 328994DEST_PATH_IMAGE012
为偏置项，
Figure 8237DEST_PATH_IMAGE013
式中，m为训练集中一个批次图像的数量，
Figure 970508DEST_PATH_IMAGE009
表示当前图像的全局平均池化层特征 向量，
Figure 444215DEST_PATH_IMAGE014
表示第
Figure 616570DEST_PATH_IMAGE015
类特征向量的中心。
优选地，所述步骤7）中，将分类器最后一层全连接层FC输出送入SOFTMAX loss分 类损失函数
Figure 614351DEST_PATH_IMAGE016
，则
Figure 618079DEST_PATH_IMAGE016
的计算公式为：
Figure 341316DEST_PATH_IMAGE017
式中，m为训练集中一个批次图像的数量，
Figure 63284DEST_PATH_IMAGE007
为训练集中静脉图像的类别数，
Figure 22013DEST_PATH_IMAGE018
为全连接层的输出，
Figure 675322DEST_PATH_IMAGE009
为全局平均池化特征向量，
Figure 756410DEST_PATH_IMAGE010
表示 GAP特征 向量
Figure 513145DEST_PATH_IMAGE009
属于类别
Figure 337881DEST_PATH_IMAGE011
权重矩阵，
Figure 253885DEST_PATH_IMAGE012
为偏置项，
内容损失函数
Figure 755142DEST_PATH_IMAGE019
的计算公式为：
Figure 717282DEST_PATH_IMAGE020
式中，B为正常静脉图像，C为缺损静脉图像A修复后的静脉图像。
优选地，所述步骤7）中基于SK-ResNet的生成器网络的损失为：
Figure 893179DEST_PATH_IMAGE021
式中，
Figure 726006DEST_PATH_IMAGE022
为基于SK-ResNet的生成器网络的损失，
Figure 86580DEST_PATH_IMAGE023
，
Figure 257055DEST_PATH_IMAGE024
，
Figure 485911DEST_PATH_IMAGE025
分别为分类损失、内容损 失、对抗损失的加权系数。
优选地，所述步骤8）中基于CNN的判别器网络的对抗损失的计算公式为：
Figure 189556DEST_PATH_IMAGE026
式中，
Figure 721032DEST_PATH_IMAGE027
为基于CNN的判别器网络的对抗损失，
Figure 126605DEST_PATH_IMAGE028
表示交叉熵损失函 数，目的是计算Sigmoid激活输出的交叉熵，
Figure 346103DEST_PATH_IMAGE029
表示输入正常静脉图像B的判别结果，
Figure 215839DEST_PATH_IMAGE030
表示输入生成器生成的修复后的静脉图像C的判别结果；
Figure 731265DEST_PATH_IMAGE031
式中，
Figure 561817DEST_PATH_IMAGE032
表示交叉熵损失函数，
Figure 70159DEST_PATH_IMAGE033
表示将图像
Figure 515440DEST_PATH_IMAGE034
输入判别器被 判为类别
Figure 513352DEST_PATH_IMAGE035
的概率，
Figure 644250DEST_PATH_IMAGE036
表示将图像
Figure 956283DEST_PATH_IMAGE034
输入判别为类别0的概率，
Figure 675977DEST_PATH_IMAGE034
表示输入图 像，label表示分类结果，取值为0或1。
优选地，所述步骤7）中，采用Adam优化算法更新基于SK-ResNet的生成器网络的参数；所述步骤8）中采用Adam优化算法更新基于CNN的判别器网络的参数。
本发明还涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别装置，其包括：
1）归一化处理模块，用于对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集；
2）生成器网络搭建模块，用于搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet残差模块中加入SKNet模块的嵌入式模块；
3）判别器网络搭建模块，用于搭建基于CNN的判别器网络；
4）分类器网络搭建模块，搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，分类器损失函数为SOFTMAX loss和Center Loss；
5）分类器网络训练模块，采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；
6）静脉图像修复模块，用于将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C；
7）生成器参数更新模块，用于将修复后的静脉图像C输入到分类器网络中，得到分 类损失
Figure 31741DEST_PATH_IMAGE037
，将修复后的静脉图像C与正常静脉图像B的L2范数作为生成器网络的内容损 失函数
Figure 899203DEST_PATH_IMAGE019
，将修复后的静脉图像C输入到判别器网络，获得对抗损失为
Figure 562397DEST_PATH_IMAGE038
，根据分类 损失
Figure 198914DEST_PATH_IMAGE016
、损失函数
Figure 413995DEST_PATH_IMAGE019
和对抗损失
Figure 20950DEST_PATH_IMAGE038
计算生成器网络的损失，并更新生成器参数；
8）判别器网络参数计算模块，用于将正常静脉图像B，修复后的静脉图像C输入到判别器网络，计算判别器网络的对抗损失并更新判别器网络的参数；
9）迭代训练模块，用于以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.0001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；
10）修复模块，用于选取最优的生成器网络模型，将异常静脉图像经过归一化处理后，输入到生成器网络模型中，获得修复后的静脉图像；
11）特征向量提取模块，用于分类器网络将修复后的静脉图像与对应正常同类静脉模板图像输入到分类器网络，提取全局平均池化层GAP作为静脉特征向量；
12）识别模块，用于计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
1、本发明在生成器网络以及分类器网络中加入SK-ResNet结构，大大减少了模型的参数量，减轻了卷积神经网络的梯度消失问题，提高了网络提取静脉图像特征的能力，从而提高识别率。
2、本发明在生成器损失函数增加了分类损失项，通过基于SK-ResNet的分类器网络计算修复图像的分类损失，将其加入生成器的梯度更新中，使得生成器生成的静脉图像细节更加清晰连贯，使得静脉识别系统对异常静脉图像的识别性能得到大大提升。
附图说明
图1为本发明基于分类损失的生成对抗网络修复异常静脉图像的识别方法的流程图。
图2为本发明生成器网络结构图；
图3为本发明判别器网络结构图；
图4为本发明分类器网络结构图；
图5为本发明基于分类损失的生成对抗网络结构图；
图6为基于分类损失的生成对抗网络修复异常静脉图像的识别装置的结构框图；
图7a）为破损静脉图；
图7b）本发明修复的静脉图；
图7c）为Crinimisi修复的静脉图；
图7d）为同类静脉图正常图像；
图8为ROC曲线。
具体实施方式
为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
参照附图1所示，本发明涉及的一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法包括以下步骤：
1）对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集。本实施例中，由于现实中的异常静脉图像几乎不存在合适的标签图像，所以无法利用现实异常静脉图像构造训练集。因此，选取200000张正常静脉图像B，将其与任意掩模图像M（破损部分为0，未破损部分为1）相乘，得到200000张破损静脉图像A，静脉图像归一化尺寸为160*64，并以此作为训练集。
2）搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，参照附图2所示，SK-ResNet的生成器网络包括编码器部分和解码器部分；
所述的编码器部分包括五个层级结构，第一层级包括一层卷积层，BN层和Mish激活层，输入3*160*64缺损静脉图像，输出通道数为64，第二~五层级结构为子残差块数分别为3，4，6，3的残差块，第二~五层的子残差块中均包括BN层和Mish激活层，静脉图像每经过一层，大小缩小1/2，通道数翻倍，最后的静脉特征图大小为原图的10*4，通道数为1024；
解码器部分有四层级结构，前四个层级每一层均采用反卷积层，BN层，Mish激活层，输出通道数分别为512，256，128，64，最后一层级包括卷积层、BN层和tanh激活函数，得到3*160*64的修复图像；
3）搭建基于CNN的判别器网络，参照附图3所示，基于CNN的判别器网络包括五层级结构，第一~四层级均采用卷积层、BN层以及Mish激活层，输出通道数分别为64，128，256，512，第五层级为一层全连接层，输出维度为1*1*1，最后经过Sigmoid激活输出，将数值映射到0到1之间的概率。
4）搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，参照附图4所示，基于SK-ResNet的分类器网络包括七层级结构，前五层级与生成器网络的编码器部分对应，第六层级为一层全局平均池化层GAP，最后一层级为全连接层FC，分类器损失函数为SOFTMAX Loss和CenterLoss；
所述的基于SK-ResNet的分类器网络的损失函数
Figure 753414DEST_PATH_IMAGE001
：
Figure 510018DEST_PATH_IMAGE002
式中
Figure 473163DEST_PATH_IMAGE003
为SOFTMAX Loss损失函数，
Figure 846376DEST_PATH_IMAGE004
为Center Loss损失函 数，参数
Figure 54634DEST_PATH_IMAGE005
为标量，范围在[0-1]之间，用于平衡两种损失函数，
Figure 603427DEST_PATH_IMAGE006
式中，m为训练集中一个批次图像的数量，
Figure 222628DEST_PATH_IMAGE007
为训练集中静脉图像的类别数，
Figure 589194DEST_PATH_IMAGE008
为全连接层FC的输出，
Figure 663460DEST_PATH_IMAGE009
为全局平均池化层GAP的特征向量，
Figure 394656DEST_PATH_IMAGE010
表 示GAP特征向量
Figure 434025DEST_PATH_IMAGE009
属于类别
Figure 922775DEST_PATH_IMAGE011
权重矩阵，
Figure 800732DEST_PATH_IMAGE012
为偏置项，
Figure 120855DEST_PATH_IMAGE013
式中，m为训练集中一个批次图像的数量，
Figure 396372DEST_PATH_IMAGE009
表示当前图像的全局平均池化层特征 向量，
Figure 434735DEST_PATH_IMAGE014
表示第
Figure 709859DEST_PATH_IMAGE015
类特征向量的中心，
SK-ResNet（SKnet）结构的作用在于能够使得网络自动选择不同感受野下的静脉细节信息：给定输入为静脉feature map X，通道数为C，先经过split（分裂）操作，即X分别经过卷积核大小为3*3，5*5的两个完整卷积层（卷积、BN、ReLU激活层），输出静脉featuremap U1、U2，其通道数为C，U1、U2为X在不同感受野下的静脉细节信息；
然后进行fuse（融合）操作，即U1、U2相加得到U，U融合了不同感受野下的静脉信 息，U经过一层全局平均池化层以及两层全连接层后，其输出有SOFTMAX激活输出，得到 U1, U2的权重向量，依次为a，b，维度为c，对应通道数C，a,b
Figure 635221DEST_PATH_IMAGE039
+
Figure 298283DEST_PATH_IMAGE040
=1,i=1,2,…,c,代表了不 同感受野下的静脉细节信息的重要性（例如
Figure 869948DEST_PATH_IMAGE041
,表示在第i个维度，3*3感受野下的静脉 信息U1的重要性大于5*5感受野下的静脉信息U2的重要性，也就是最后的选择操作，U1占比 更大）。最后是select（选择）操作，利用权重向量a，b对U1、U2进行加权求和，即
Figure 479921DEST_PATH_IMAGE042
=
Figure 322106DEST_PATH_IMAGE043
*
Figure 624911DEST_PATH_IMAGE044
+
Figure 890064DEST_PATH_IMAGE040
*
Figure 569307DEST_PATH_IMAGE045
，
Figure 531578DEST_PATH_IMAGE043
+
Figure 270864DEST_PATH_IMAGE040
=1，i=1,2…,C，输出最终静脉feature map V，通道数为C，使得网络学习到了不 同感受野下的静脉细节信息。
5）采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；
6）参照附图5所示，将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C；
7）分类器网络将修复后的静脉图像C输入到基于SK-ResNet的分类器网络中，得到 分类损失
Figure 177640DEST_PATH_IMAGE037
，将修复后的静脉图像C与正常静脉图像B的L2范数作为基于SK-ResNet的生 成器网络的内容损失函数
Figure 175421DEST_PATH_IMAGE019
，将修复后的静脉图像C输入到基于CNN的判别器网络，获得 对抗损失为
Figure 241466DEST_PATH_IMAGE038
，根据
Figure 902385DEST_PATH_IMAGE016
、损失函数
Figure 562037DEST_PATH_IMAGE019
和对抗损失
Figure 583082DEST_PATH_IMAGE038
计算基于SK-ResNet的生 成器网络的损失，并更新生成器参数；
本实施例中采用Adam优化算法更新基于SK-ResNet的生成器网络的参数，具体是：
将分类器最后一层全连接层FC输出送入SOFTMAX loss分类损失函数，则
Figure 21410DEST_PATH_IMAGE016
的 计算公式为：
Figure 836919DEST_PATH_IMAGE046
式中，m为训练集中一个批次图像的数量，
Figure 983867DEST_PATH_IMAGE007
为训练集中静脉图像的类别数，
Figure 559336DEST_PATH_IMAGE018
为全连接层的输出，
Figure 803235DEST_PATH_IMAGE009
为全局平均池化特征向量，
Figure 366810DEST_PATH_IMAGE010
表示 GAP特征 向量
Figure 797791DEST_PATH_IMAGE009
属于类别
Figure 98322DEST_PATH_IMAGE011
权重矩阵，
Figure 947461DEST_PATH_IMAGE012
为偏置项。
内容损失函数
Figure 432669DEST_PATH_IMAGE019
的计算公式为：
Figure 614862DEST_PATH_IMAGE047
式中，B为正常静脉图像，C为缺损静脉图像A修复后的静脉图像；
基于SK-ResNet的生成器网络的损失为：
Figure 719085DEST_PATH_IMAGE048
式中，
Figure 671997DEST_PATH_IMAGE022
为基于SK-ResNet的生成器网络的损失，
Figure 78839DEST_PATH_IMAGE023
，
Figure 749991DEST_PATH_IMAGE024
，
Figure 703910DEST_PATH_IMAGE025
分别为分类损失、内容损 失、对抗损失的加权系数，本发明中取
Figure 449012DEST_PATH_IMAGE049
，
Figure 213706DEST_PATH_IMAGE050
，
Figure 919625DEST_PATH_IMAGE051
。
8）将正常静脉图像B，修复后的静脉图像C输入到判别器网络，计算判别器网络的对抗损失并采用Adam优化算法更新基于CNN的判别器网络的参数，基于CNN的判别器网络的对抗损失的计算公式为：
Figure 427966DEST_PATH_IMAGE026
式中，
Figure 27575DEST_PATH_IMAGE027
为基于CNN的判别器网络的对抗损失，
Figure 215367DEST_PATH_IMAGE028
表示交叉熵损失函 数，目的是计算Sigmoid激活输出的交叉熵，
Figure 657850DEST_PATH_IMAGE029
表示输入正常静脉图像B的判别结果，
Figure 641986DEST_PATH_IMAGE030
表示输入生成器生成的修复图像C的判别结果；
Figure 361681DEST_PATH_IMAGE052
式中，
Figure 812385DEST_PATH_IMAGE032
表示交叉熵损失函数，
Figure 194693DEST_PATH_IMAGE033
表示将图像
Figure 982521DEST_PATH_IMAGE034
输入判别器被 判为类别
Figure 963246DEST_PATH_IMAGE035
的概率，
Figure 443906DEST_PATH_IMAGE036
表示将图像
Figure 736347DEST_PATH_IMAGE034
输入判别为类别0的概率，
Figure 439117DEST_PATH_IMAGE034
表示输入图 像，label表示分类结果，取值为0或1。
9）以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；
10）将异常静脉图像经过步骤1）的归一化处理后，输入到生成器网络中，获得修复后的静脉图像。
11）将修复后的静脉图像与对应正常同类静脉模板图像输入到分类器网络，提取全局平均池化层GAP作为静脉特征向量。
12）计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。
实施例2
参照附图6所示，本实施例涉及一种基于分类损失的生成对抗网络修复异常静脉图像的识别装置，其包括：
1）归一化处理模块，用于对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集，归一化处理模块用于实现实施例1步骤1）的功能；
2）生成器网络搭建模块，用于搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet残差模块中加入SKNet模块的嵌入式模块，生成器网络搭建模块用于实现实施例1步骤2）的功能；
3）判别器网络搭建模块，用于搭建基于CNN的判别器网络，判别器网络搭建模块用于实现实施例1步骤3）的功能；
4）分类器网络搭建模块，搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SK模块的嵌入式模块，分类器损失函数为SOFTMAX loss和Center Loss，分类器网络搭建模块用于实现实施例1步骤4）的功能；
5）分类器网络训练模块，采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；分类器网络训练模块用于实现实施例1步骤5）的功能；
6）静脉图像修复模块，用于将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C，静脉图像修复模块用于实现实施例1步骤6）的功能；
7）生成器参数更新模块，用于分类器网络将修复后的静脉图像C输入到分类器网 络中，得到分类损失
Figure 726879DEST_PATH_IMAGE037
，将修复后的静脉图像C与正常静脉图像B的L2范数作为基于SK- ResNet的生成器网络的内容损失函数
Figure 457069DEST_PATH_IMAGE019
，将修复后的静脉图像C输入到判别器网络，获 得对抗损失为
Figure 971227DEST_PATH_IMAGE038
，根据
Figure 163174DEST_PATH_IMAGE016
、损失函数
Figure 85868DEST_PATH_IMAGE019
和对抗损失
Figure 705068DEST_PATH_IMAGE038
计算生成器网络的损 失，并更新生成器参数，生成器参数更新模块用于实现实施例1步骤7）的功能；
8）判别器网络参数计算模块，用于将正常静脉图像B，修复后的静脉图像C输入到判别器网络，计算判别器网络的对抗损失并更新判别器网络的参数，判别器网络参数计算模块用于实现实施例1步骤8）的功能；
9）迭代训练模块，用于以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.0001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；迭代训练模块用于实现实施例1步骤9）的功能；
10）修复模块，用于将异常静脉图像经过归一化处理后，输入到生成器网络中，获得修复后的静脉图像，修复模块用于实现实施例1步骤10）的功能；
11）特征向量提取模块，用于分类器网络将修复后的静脉图像与对应正常同类静脉模板图像输入到分类器网络，提取全局平均池化层GAP作为静脉特征向量，特征向量提取模块用于实现实施例1步骤11）的功能；
12）识别模块，用于计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。识别模块用于实现实施例1步骤12）的功能。
显然，本实施例的静脉图像修复装置可以作为上述实施例1的基于分类损失的生成对抗网络修复异常静脉图像的识别方法执行主体，因此能够实现基于分类损失的生成对抗网络修复异常静脉图像的识别方法所实现的功能。由于原理相同，本文不再赘述。
实验例
为了验证本发明方法对异常静脉图像的修复效果以及识别性能，选取了50个用户的手指图像，每个用户10张手指图像，包括一个正常图像库和一个受损图像库（镜面脏污块），一共50*10*2=1000副，图像尺寸均为500*200，图像归一化尺寸为160*64。
将受损图像库的受损图像分别用本发明方法生成器修复模块以及传统Crinimisi方法修复，图7 a）为真实脏污块的指静脉图像，图7b）为本发明修复后的指静脉图像，图7c）传统Crinimisi修复方法修复的指静脉图像，可以明显的看到传统Crinimisi方法虽然修复了脏污块，但仍存在一些块状效应，指静脉图像灰度出现了断层、不连续的情况，而采用本发明方法修复的指静脉图像细节更加的清晰连贯，与图7d）所示的同类正常图像相似度更高。
用本发明方法生成器修复模块对受损图像库进行修复，得到修复图像库Inpainting A，用传统Crinimisi方法对受损图像库进行修复，得到修复图像库InpaintingB，通过本发明方法基于SK-ResNet的分类器网络分别提取Inpainting A，Inpainting B、正常图像库以及受损图像库的静脉特征，依次为Feature A，Feature B，Feature C，FeatureD，特征数量均为50*10=500个。本发明方法采用欧式距离作为衡量静脉特征相似度的标准，欧式距离越小，说明两个静脉特征的相似度越高，反之，两个静脉特征的相似度越低。通过Feature C进行1：1不同类比对，共比对122500次，取不同类的最小值作为阈值T，本实例中0误识阈值T=0.67。将Feature A，Feature B，Feature D分别与Feature C进行1：1同类比对，每根手指共比对10*10=100次，Feature A，Feature B，Feature D分别与Feature C比对100*50=5000次，每次比对值小于阈值T，则该次比对成功，反之，则该次比对失败，识别率=（100*比对成功次数/5000）%。统计Feature A，Feature B，Feature D的识别率，其ROC曲线如图8所示，可以看到，由于镜面脏污块的存在，造成指静脉结构信息损失，在未修复的情况下识别性能较差，因此一种有效的异常静脉图像修复识别算法显得尤为重要。本发明算法通过基于SK-ResNet的分类器网络提取静脉特征进行比对识别，在0误识的情况下，相比于未修复、传统Crinimisi算法拒识率分别降低了56.4%，22.09%，静脉识别系统对异常静脉图像的识别性能得到大大提升。
以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。

Claims (10)

1.一种基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：其包括以下步骤：
1）对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集；
2）搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet残差模块中加入SKNet模块的嵌入式模块；
3）搭建基于CNN的判别器网络；
4）搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SKNet模块的嵌入式模块，分类器损失函数为SOFTMAX loss和Center Loss；
5）采用正常静脉图像B对分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；
6）将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C；
7）分类器网络将修复后的静脉图像C输入到分类器网络中，得到分类损失
Figure DEST_PATH_IMAGE001
，将修复后的静脉图像C与正常静脉图像B的L2范数作为生成器网络的内容损失函数
Figure RE-DEST_PATH_IMAGE002
，将修复后的静脉图像C输入到判别器网络，获得对抗损失为
Figure DEST_PATH_IMAGE003
，根据分类损失
Figure RE-DEST_PATH_IMAGE004
、内容损失函数
Figure 744976DEST_PATH_IMAGE002
和对抗损失
Figure 350532DEST_PATH_IMAGE003
计算生成器网络的损失，并更新生成器参数；
8）将正常静脉图像B，修复后的静脉图像C输入到判别器网络，计算判别器网络的对抗损失并更新判别器网络的参数；
9）以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.0001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；
10）将异常静脉图像经过步骤1）的归一化处理后，输入到生成器网络中，获得修复后的静脉图像；
11）分类器网络将修复后的静脉图像与对应正常同类静脉模板图像输入到分类器网络，提取全局平均池化层GAP作为静脉特征向量；
12）计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。
2.根据权利要求1所述的基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：所述步骤2）中，基于SK-ResNet的生成器网络包括编码器部分和解码器部分；
所述的编码器部分包括五个层级结构，第一层级包括一层卷积层，BN层和Mish激活层，输入三通道缺损静脉图像，输出通道数为d，第二~五层级结构为子残差块数分别为3，4，6，3的残差块，第二~五层的子残差块中均包括BN层和Mish激活层，静脉图像每经过一层，大小缩小1/2，通道数翻倍，最后的静脉特征图大小为原图的1/16，通道数为16d；
解码器部分有五层级结构，前四个层级每一层均采用反卷积层，BN层，Mish激活层，最后一层级包括卷积层、BN层、tanh激活函数，用于生成和原图相同通道数以及大小的修复图像。
3.根据权利要求1所述的基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：所述步骤3）中，基于CNN的判别器网络包括五层级结构，第一~四层级均采用卷积层，BN层以及Mish激活层，第五层级为一层全连接层，最后经过Sigmoid激活输出，将数值映射到0到1之间的概率。
4.根据权利要求2所述的基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：所述步骤4）中，基于SK-ResNet的分类器网络包括七层级结构，前五层级与生成器网络的编码器部分对应，第六层级为一层全局平均池化层GAP，用来提取静脉特征向量，最后一层级为全连接层FC，用于计算分类损失。
5.根据权利要求4所述的基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：基于SK-ResNet的分类器网络的损失函数
Figure DEST_PATH_IMAGE005
：
Figure RE-DEST_PATH_IMAGE006
式中
Figure DEST_PATH_IMAGE007
为SOFTMAX Loss损失函数，
Figure RE-DEST_PATH_IMAGE008
为Center Loss损失函数，参数
Figure DEST_PATH_IMAGE009
为标量，范围在[0-1]之间，用于平衡两种损失函数，
Figure RE-DEST_PATH_IMAGE010
式中，m为训练集中一个批次图像的数量，
Figure DEST_PATH_IMAGE011
为训练集中静脉图像的类别数，
Figure RE-DEST_PATH_IMAGE012
为全连接层FC的输出，
Figure DEST_PATH_IMAGE013
为全局平均池化层GAP的特征向量，
Figure RE-DEST_PATH_IMAGE014
表示GAP特征向量
Figure 572347DEST_PATH_IMAGE013
属于类别
Figure DEST_PATH_IMAGE015
权重矩阵，
Figure RE-DEST_PATH_IMAGE016
为偏置项，
Figure DEST_PATH_IMAGE017
式中，m为训练集中一个批次图像的数量，
Figure 715359DEST_PATH_IMAGE013
表示当前图像的全局平均池化层特征向量，
Figure RE-DEST_PATH_IMAGE018
表示第
Figure DEST_PATH_IMAGE019
类特征向量的中心。
6.根据权利要求1所述的基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：将分类器最后一层全连接层FC输出送入SOFTMAX loss分类损失函数
Figure 654365DEST_PATH_IMAGE004
，则
Figure 165243DEST_PATH_IMAGE004
的计算公式为：
Figure RE-DEST_PATH_IMAGE020
式中，m为训练集中一个批次图像的数量，
Figure 556910DEST_PATH_IMAGE011
为训练集中静脉图像的类别数，
Figure DEST_PATH_IMAGE021
为全连接层的输出，
Figure 396557DEST_PATH_IMAGE013
为全局平均池化特征向量，
Figure 65436DEST_PATH_IMAGE014
表示 GAP特征向量
Figure 996483DEST_PATH_IMAGE013
属于类别
Figure 937763DEST_PATH_IMAGE015
权重矩阵，
Figure 612458DEST_PATH_IMAGE016
为偏置项，
内容损失函数
Figure 824259DEST_PATH_IMAGE002
的计算公式为：
Figure RE-DEST_PATH_IMAGE022
式中，B为正常静脉图像，C为缺损静脉图像A修复后的静脉图像。
7.根据权利要求6所述的基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：所述步骤7）中基于SK-ResNet的生成器网络的损失为：
Figure DEST_PATH_IMAGE023
式中，
Figure RE-DEST_PATH_IMAGE024
为基于SK-ResNet的生成器网络的损失，
Figure DEST_PATH_IMAGE025
，
Figure RE-DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE027
分别为分类损失、内容损失、对抗损失的加权系数。
8.根据权利要求1所述的基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：所述步骤8）中基于CNN的判别器网络的对抗损失的计算公式为：
Figure RE-DEST_PATH_IMAGE028
式中，
Figure DEST_PATH_IMAGE029
为基于CNN的判别器网络的对抗损失，
Figure RE-DEST_PATH_IMAGE030
表示交叉熵损失函数，目的是计算Sigmoid激活输出的交叉熵，
Figure DEST_PATH_IMAGE031
表示输入正常静脉图像B的判别结果，
Figure RE-DEST_PATH_IMAGE032
表示输入生成器生成的修复后的静脉图像C的判别结果；
Figure DEST_PATH_IMAGE033
式中，
Figure RE-DEST_PATH_IMAGE034
表示交叉熵损失函数，
Figure DEST_PATH_IMAGE035
表示将图像
Figure RE-DEST_PATH_IMAGE036
输入判别器被判为类别
Figure DEST_PATH_IMAGE037
的概率，
Figure RE-DEST_PATH_IMAGE038
表示将图像
Figure 630934DEST_PATH_IMAGE036
输入判别为类别0的概率，
Figure 810243DEST_PATH_IMAGE036
表示输入图像，label表示分类结果，取值为0或1。
9.根据权利要求1所述的基于分类损失的生成对抗网络修复异常静脉图像的识别方法，其特征在于：所述步骤7）中，采用Adam优化算法更新基于SK-ResNet的生成器网络的参数；所述步骤8）中采用Adam优化算法更新基于CNN的判别器网络的参数。
10.一种基于分类损失的生成对抗网络修复异常静脉图像的识别装置，其特征在于：其包括：
1）归一化处理模块，用于对若干缺损静脉图像A以及与若干缺损静脉图像一一对应的正常静脉图像B进行归一化处理，形成训练集；
2）生成器网络搭建模块，用于搭建基于SK-ResNet的生成器网络，在生成器的编码器中加入SK-ResNet结构，SK-ResNet结构是在ResNet残差模块中加入SKNet模块的嵌入式模块；
3）判别器网络搭建模块，用于搭建基于CNN的判别器网络；
4）分类器网络搭建模块，搭建基于SK-ResNet的分类器网络，在分类器中加入SK-ResNet结构，SK-ResNet结构是在ResNet网络中加入SKNet模块的嵌入式模块，分类器损失函数为SOFTMAX loss和Center Loss；
5）分类器网络训练模块，采用正常静脉图像B对基于SK-ResNet的分类器网络进行训练，当网络损失小于0.001时，停止训练，得到训练好的分类器网络；
6）静脉图像修复模块，用于将缺损静脉图像A输入到基于SK-ResNet的生成器网络中，修复缺损静脉图像A形成修复后的静脉图像C；
7）生成器参数更新模块，用于分类器网络将修复后的静脉图像C输入到分类器网络中，得到分类损失
Figure 773782DEST_PATH_IMAGE001
，将修复后的静脉图像C与正常静脉图像B的L2范数作为生成器网络的内容损失函数
Figure 354936DEST_PATH_IMAGE002
，将修复后的静脉图像C输入到判别器网络，获得对抗损失为
Figure 690102DEST_PATH_IMAGE003
，根据分类损失
Figure 543658DEST_PATH_IMAGE004
、内容损失函数
Figure 307958DEST_PATH_IMAGE002
和对抗损失
Figure 805935DEST_PATH_IMAGE003
计算生成器网络的损失，并更新生成器参数；
8）判别器网络参数计算模块，用于将正常静脉图像B，修复后的静脉图像C输入到判别器网络，计算判别器网络的对抗损失并更新判别器网络的参数；
9）迭代训练模块，用于以生成器网络、判别器网络和分类器网络构建生成对抗网络模型，迭代训练整个生成对抗网络模型若干次，训练过程中返回步骤7）和8）更新生成器和判别器的参数，当生成对抗网络模型的网络训练损失小于0.0001并趋于稳定，说明网络已经收敛，停止迭代训练，得到训练好的生成器网络；
10）修复模块，用于选取最优的生成器网络模型，将异常静脉图像经过归一化处理后，输入到生成器网络模型中，获得修复后的静脉图像；
11）特征向量提取模块，用于分类器网络将修复后的静脉图像与对应正常同类静脉模板图像输入到分类器网络，提取全局平均池化层GAP作为静脉特征向量；
12）识别模块，用于计算修复后的静脉图像特征向量与正常静脉特征向量之间的欧式距离进行识别，比对方式为修复后的静脉图像特征向量与正常静脉特征向量的比率为1：1，输出识别结果。
CN202110039305.3A 2021-01-13 2021-01-13 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置 Active CN112364848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110039305.3A CN112364848B (zh) 2021-01-13 2021-01-13 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110039305.3A CN112364848B (zh) 2021-01-13 2021-01-13 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置

Publications (2)

Publication Number Publication Date
CN112364848A CN112364848A (zh) 2021-02-12
CN112364848B true CN112364848B (zh) 2021-04-13

Family

ID=74534806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110039305.3A Active CN112364848B (zh) 2021-01-13 2021-01-13 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置

Country Status (1)

Country Link
CN (1) CN112364848B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523484B (zh) * 2018-11-16 2023-01-17 中国民航大学 一种基于分形特征的手指静脉血管网络修复方法
CN109740569B (zh) * 2019-01-21 2022-12-27 中国民航大学 基于编码器-解码器的手指静脉成像时残缺信息复原方法
CN110532908B (zh) * 2019-08-16 2023-01-17 中国民航大学 一种基于卷积神经网络的手指静脉图像散射去除方法

Also Published As

Publication number Publication date
CN112364848A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
Sun et al. Domain general face forgery detection by learning to weight
Sun et al. Sparsifying neural network connections for face recognition
Gangwar et al. DeepIrisNet: Deep iris representation with applications in iris recognition and cross-sensor iris recognition
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
Thai et al. Image classification using support vector machine and artificial neural network
CN109344731B (zh) 基于神经网络的轻量级的人脸识别方法
CN112800876B (zh) 一种用于重识别的超球面特征嵌入方法及系统
Zhang et al. Efficient feature learning and multi-size image steganalysis based on CNN
US11935326B2 (en) Face recognition method based on evolutionary convolutional neural network
CN114120041B (zh) 一种基于双对抗变分自编码器的小样本分类方法
CN111582044A (zh) 基于卷积神经网络和注意力模型的人脸识别方法
Rehman et al. Deep learning for face anti-spoofing: An end-to-end approach
CN111783890B (zh) 一种针对图像识别过程中的小像素对抗样本防御方法
CN111222583B (zh) 一种基于对抗训练与关键路径提取的图像隐写分析方法
CN113627543A (zh) 一种对抗攻击检测方法
CN113011253A (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
Gavisiddappa et al. Multimodal biometric authentication system using modified ReliefF feature selection and multi support vector machine
Lakshmi et al. Off-line signature verification using Neural Networks
Qin et al. Finger-vein quality assessment based on deep features from grayscale and binary images
CN112990357B (zh) 一种基于稀疏扰动的黑盒视频对抗样本生成方法
CN111737688B (zh) 基于用户画像的攻击防御系统
CN113011307A (zh) 一种基于深度残差网络的人脸识别身份认证方法
CN112364848B (zh) 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
CN114093003A (zh) 一种更具欺诈辨别性的人脸活体检测方法及其网络模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Recognition method and device for generating anti network repair abnormal vein image based on classification loss

Effective date of registration: 20211224

Granted publication date: 20210413

Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee

Pledgor: Beijing ShengDian cloud Information Technology Co.,Ltd.

Registration number: Y2021990001195

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231220

Granted publication date: 20210413

Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee

Pledgor: Beijing ShengDian cloud Information Technology Co.,Ltd.

Registration number: Y2021990001195

PC01 Cancellation of the registration of the contract for pledge of patent right