CN112488936B - 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法 - Google Patents

一种基于生成对抗网络的手指静脉模糊图像去模糊的方法 Download PDF

Info

Publication number
CN112488936B
CN112488936B CN202011350846.XA CN202011350846A CN112488936B CN 112488936 B CN112488936 B CN 112488936B CN 202011350846 A CN202011350846 A CN 202011350846A CN 112488936 B CN112488936 B CN 112488936B
Authority
CN
China
Prior art keywords
image
loss
finger vein
vein
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011350846.XA
Other languages
English (en)
Other versions
CN112488936A (zh
Inventor
李琦
沈雷
何晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011350846.XA priority Critical patent/CN112488936B/zh
Publication of CN112488936A publication Critical patent/CN112488936A/zh
Application granted granted Critical
Publication of CN112488936B publication Critical patent/CN112488936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于生成对抗网络的手指静脉模糊图像去模糊的方法。本发明利用近邻二值汉明损失约束的26层深度网络生成器还原出清晰图像。首先提出多尺度窗口交替迭代卷积散焦、均值模糊核的方式来制作多态模糊训练集。然后提出用NBP汉明损失作为局部纹理损失，利用提取的局部纹理特征来指导生成器生成高保真度手指静脉图像。再提出步长为1的卷积模式保留更多静脉纹理特征信息量，同时利用26层深度网络结构来增强生成器的学习能力，充分学习纹理信息还原静脉纹理清晰的静脉图像。最后在26层深度网络生成器的残差模块两侧添加残差跳跃连接以防止训练模型退化和过拟合。本发明具有更好的效果，还原图像的静脉纹理更清晰，质量更高。

Description

一种基于生成对抗网络的手指静脉模糊图像去模糊的方法
技术领域
本发明属于计算机视觉领域，特别涉及到图像处理领域。
背景技术
指静脉模糊图像去模糊技术在手指静脉识别过程中起着极其重要的作用，在手指静脉模糊图像采集过程中由于低温环境引起手指静脉收缩，非熟练人群放置压力过大压迫静脉，以及设备不稳定性如红外摄像头曝光过度、失焦等多种情况都会造成采集的手指静脉模糊图像模糊，从而导致识别性能下降。静脉纹理非常模糊，严重影响特征提取，也会导致识别性能下降。因此，对手指静脉模糊图像进行去模糊处理具有重要的现实意义。
发明内容
本发明的目的在于增强手指静脉模糊图像的静脉清晰度，提高静脉识别成功率，本发明提供了一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，本发明采用的技术方案包括以下步骤：
S1、构建基于NB-GAN的手指静脉模糊图像的去模糊网络模型；
S1-1.将手指静脉模糊图像转化为手指静脉清晰图像。图像去模糊就是从目前的模糊图像中还原出清晰图像的过程，手指静脉模糊图像的一般公式如下：
其中imgblur、k、imgclear分别是手指静脉模糊图像、模糊核、潜在的手指静脉清晰图像，表示为卷积。由于手指静脉模糊种类繁多，如低温引起静脉收缩导致的手指静脉图像全局模糊、非熟练人群使用时容易重按压迫静脉导致的手指静脉图像局部模糊等，并且由不同的低温程度导致的静脉收缩程度不一样，以及不同的重压力度导致的静脉压迫程度不一样，所以不同手指静脉模糊图像的模糊核k是不一样的。
S1-2、基于NB-GAN的去模糊网络模型包括：
(1)生成器，生成器的网络结包括4个卷积块、1个残差模块和4 个反卷积块构成，每个卷积块大小为4*4；残差模块由9个残差块组成，且每个残差块(ResBlock)由2个3*3的卷积层构成。残差模块的输入和输出构成跳跃残差连接，生成器的输入输出构成全局残差连接。
(2)判别器，判别器的主要任务是判断输入图像是生成的清晰图像还是真实清晰图像，并不断与生成器进行博弈，判别结果的准确性将直接影响生成器的性能。为保证生成图像的静脉纹理细节清晰，本发明选用马尔可夫判别器(PatchGAN)作为NB-GAN的判别网络，网络结构由5个4*4的卷积块构成。PatchGAN将输入图像随机拆分成多个H*W的图像块，每个图像块都通过PatchGAN输出一个数值，然后对所有输出数值取平均作为最终判别结果，在训练过程中能更专注静脉图像的局部特征，从而使得生成图像的静脉纹理细节更清晰。
S2、设计基于NB-GAN的去模糊网络模型的损失函数，去模糊网络模型包含生成器和判别器两个子网络，网络训练过程是一个极大化与极小化的博弈过程：两个子网络的目的都是最大化对方的损失函数，并且最小化自身的损失函数，随着算法的收敛，生成器所生成的图像越逼近真实清晰图像。本发明提出的NB-GAN包含一个判别器损失函数和一个生成器损失函数。
S2-1.判别器损失：
为解决由于手指静脉模糊图像的信息量少，在训练过程中梯度消失过快，从而导致网络对提取的纹理特征学习不够充分，还原图像依旧存在纹理模糊的问题，本发明提出使用最小二乘损失函数作为判别器损失。本发明所提出的基于NB-GAN的去模糊网络模型的判别器损失函数定义如下：
其中，imgclear～pc表示imgclear取自静脉清晰图像集pc，imgblur～pb表示 imgblur取自静脉模糊图像集pb。
S2-2、生成器损失：
为提升还原手指静脉模糊图像的保真度、静脉纹理清晰度，保证还原的图像背景区域平滑且更逼近真实手指静脉清晰图像，本发明提出融合局部纹理特征损失、平均绝对误差损失(MAE，又称为L1损失) 和最小二乘损失作为生成器损失，表达式为：
式(3)中LossG-NBP、LossG-MAE、LossG-LS分别代表局部纹理损失、L1 损失、最小二乘损失，为防止L1损失权重过大导致图像过度锐化，影响静脉纹理特征提取，文中λ1，λ2，λ3分别取0.4，0.2，0.4。
其中，局部纹理特征损失是为提升还原手指静脉模糊图像的保真度，本发明提出用指静脉模糊图像的局部NBP特征来描述整体静脉纹理特征，并将生成清晰图像与清晰图像的NBP特征之间的汉明距离作为生成器损失函数的一部分。这样可以帮助生成器更准确的学习到清晰静脉图像的纹理细节，从而保证输入图像与生成图像的结构高度相似。由于手指静脉纹理较细，本发明采用3*3窗口的NBP算子，设(x,y) 为图像上的像素点，从窗口的左上开始，顺时针对(x,y)周围的八个像素点编号，依次为p7,p6,…,p0。NBP特征提取函数NBP(*)如式(4)所示：
其中(4)
则NBP汉明距离损失函数如式(6)所示：
式(6)中T表示图像的通道数，R表示图像的高，C表示图像的宽， M表示图像数量，hanm(*)表示汉明距离计算函数。
其中，L1损失是为解决在实际应用场景中指静脉模糊图像采集设备的相机容易高曝光，造成采集的图像边缘像素点异常，影响网络模型的训练结果，进而导致去模糊效果差的问题，本发明采用L1损失作为生成器损失的一部分。L1损失会在训练过程中忽略一些异常值，减少生成图像中的模糊效果。L1损失函数的表达式如下：
其中，最小二乘损失是为了进一步延缓手指静脉模糊图像在训练过程中梯度下降过快，保证对提取静脉纹理信息的充分学习，本发明在生成器损失中也加入了最小二乘损失，其中作为生成器损失部分的函数定义如下：
本发明有益效果如下：
本发明提出基于NB-GAN的手指静脉去模糊算法，所提算法首先用多尺度窗口交替迭代卷积散焦、均值模糊核的方式制作出多种模糊类型和模糊程度的手指静脉模糊图像训练集，提高网络泛化能力。再提出所有卷积步长为1的设计模式，保留更多可学习的信息量，然后使用26层深度网络来增强网络的学习能力，以增强还原静脉图像的纹理清晰度。最后用NBP汉明损失表征手指静脉的局部纹理信息，指导生成器生成与输入图像结构相似度更高的手指静脉模糊图像。经过理论与试验证明，本发明所提的NB-GAN算法相较于DeblurGAN在手指静脉去模糊上具有更好的效果，还原图像的静脉纹理更清晰，质量更高。
附图说明
图1(a)、图1(b)、图1(c)为清晰图片、重压导致静脉压迫的模糊图片和模拟重压的图片对比图；
图2(a)、图2(b)、图2(c)为清晰图片、低温导致静脉收缩的模糊图片和模拟低温的图片对比图；
图3为NB-GAN的判别器网络架构；
图4为基于NB-GAN的指静脉模糊图像盲去模糊算法原理框图；
图5为NB-GAN的26层深度网络生成器网络架构；
图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、图6(f)为静脉压迫手指采集图片及本发明所述方法生成图片；
图7(a)、图7(b)、图7(c)、图7(d)、图7(e)、图7(f)为静脉收缩手指采集图片及本发明所述方法生成图片；
图8为模拟手指静脉模糊图像测试集在不同去模糊模型下的ROC 曲线；
图9为静脉压迫模糊测试集在不同去模糊模型下的ROC曲线；
图10为静脉收缩模糊测试集在不同去模糊模型下的ROC曲线。
具体实施方式
下面结合附图对本发明的具体实施例作进一步的说明。
如图1-10所示，基于生成对抗网络的手指静脉模糊图像去模糊的方法，包括以下步骤：
S1、数据集制作分析，指静脉模糊图像的模糊类别大致可分为由于放置压力过大压迫静脉导致的局部模糊和低温等环境因素引起静脉收缩造成的全局模糊，且不同因素造成的模糊程度不同。根据手指静脉模糊图像多模糊类型多模糊程度的特点，本发明提出了使用多尺度窗口交替迭代卷积散焦、均值模糊核的方式制作手指静脉多态模糊图像训练集。为了使得退化的模糊图像更逼近真实模糊图像，再将迭代模糊的手指静脉模糊图像通过图像线性归一化的方式消除卷积窗口边缘的层次感。提出的模糊退化模型可以表示如下：
其中：
0≤kR≤R,0≤kC≤C
式(9)中x,y为像素点坐标，R,C分别为图像的高宽，文中使用的图像尺寸为300*120，即R＝300，C＝120，kR,kC分别为卷积窗口的高宽。 B(x,y)为模糊核卷积后的模糊图像，I(x,y)为输入图像，h(x,y,l)为半径为l的散焦模糊核扩散函数h(x,y,l)主要对静脉纹理边缘进行模糊，其表示如下：
g(x,y,r)是半径为r的均值模糊核扩散函数，主要对卷积窗口整体进行模糊，使得模糊后的手指静脉模糊图像更逼近真实模糊图像，如式(11)所示：
经过多次迭代后得到手指静脉模糊图像，用不同的模糊方式来实现手指静脉模糊图像训练集的多种程度和多种类型模糊。对于指静脉局部模糊特征，设kR0和kC0为预设窗口的高和宽，用预设窗口大小来模拟手指重压时的受力区域大小，在采集图像时手指放置的姿态不同，受力区域大小也不同。设n为第n次模糊核卷积迭代，N为总迭代次数，则n∈[0,1,2,…,N-1]，已知手指静脉局部模糊图像的模糊程度为受力区域向外围降低，本发明将卷积过程中的卷积窗口高宽kR、kC随n线性扩大来实现受力区域向外围扩散，同时线性减小模糊核的半径l、r来实现模糊程度向外围逐渐降低。式(3)中的卷积窗口高宽计算表达式如下：
式(12)中为向下取整符号，散焦模糊核和均值模糊核的半径计算表达式为：
在式(13)中l0和r0分别表示预设的散焦模糊核和均值模糊核的半径大小，λl和λr分别为散焦模糊核和均值模糊核的半径在迭代卷积过程中的减小速率，代表手指静脉模糊图像中的模糊程度扩散速度。综上所诉，本发明通过调整迭代次数N、预设窗口大小kR0和kC0、预设模糊核半径大小l0和r0、以及模糊核半径的减小速率λl和λr制作出了多种程度的手指静脉局部模糊图像训练集。
图1(a)为用户在正常压力放置情况下采集的图像，图1(b)为相同手指在重压放置情况下采集的图像，可以发现由于放置压力过大导致的静脉模糊程度为中心区域向外围逐渐降低，图1(c)为当总迭代次数N为7次，即n∈[0,6]，n为整数，以及kR0＝100，kC0＝40，l0＝5， r0＝4，λl＝0.6，λr＝0.5时制作出来的手指静脉局部模糊图像。比较图 1(b)与图1(c)可以发现通过本发明方法模拟的手指静脉局部模糊图像与真实手指静脉局部模糊图像的模糊特征基本一致。
对于全局模糊特征，需要固定卷积窗口高宽为图像高宽，即卷积窗口的高为kR＝R，宽为kC＝C，通过在卷积过程中线性减小模糊核的半径l、r来模拟手指静脉全局模糊，全局模糊核的半径的计算方式与局部模糊核的一样，如式(13)所示。不同温度情况下导致的静脉收缩程度是不一样的，即造成采集的手指静脉模糊图像的模糊程度是不一样的，本发明通过调整迭代次数N、预设模糊核半径大小l0和r0、以及模糊核半径的减小速率λl和λr制作出了多种程度的手指静脉全局模糊图像训练集。
图2(a)为用户在夏天手指温度正常的情况下采集的手指静脉模糊图像，图2(b)为相同手指在冬天手指冰冷时采集的图像，图2(c) 为当总迭代次数N为5，即，n为整数,l0＝3，r0＝4，以及λl＝0.4，λr＝0.7 时制作出的手指静脉n∈[0,4]全局模糊图像。比较图2(c)和图2(b)可以发现通过本发明方法模拟的手指静脉全局模糊图像与真实手指静脉全局模糊图像的模糊特征基本一致。
S2、训练集制作，本发明使用的手指静脉模糊图像尺寸均为300*120。训练图像集包含106个用户，每个用户采集了2～6根手指，总共427个手指，每个手指采集了1～3幅图像，总共982幅图像。根据实际中指静脉模糊图像的模糊特征，其中630幅制作成局部模糊手指静脉模糊图像，352幅制作成全局模糊手指静脉模糊图像。在单模糊度训练集的制作过程中固定模糊核半径r,l和模糊核半径减小速率λr,λl，并以5种不同的总迭代次数N以及预设卷积窗口大小kR0,kC0制作局部模糊手指静脉模糊图像集(每种630/5＝126幅图像)，再以 8种不同的N制作全局模糊手指静脉模糊图像集。多态模糊训练集包含63组不同r,l,λl和λr的局部模糊手指静脉模糊图像组，每组10幅图像，每组平均采取了5种不同的N以及kR0,kC0。以及22组不同r,l, λl和λr的全局模糊手指静脉模糊图像组，每组16幅图像，每组平均采取了8种不同的N。
S3、测试集制作，模拟模糊图像库包括80根手指，每根手指10 幅图像，总共800幅图像。其中包括100组不同r,l,λl和λr的局部模糊手指静脉模糊图像组，每组5幅图像，每幅图像都采用不同的N以及kR0，kC0。以及60组r,l,λl和λr不同的全局模糊手指静脉模糊图像组，每组5幅图像，每幅图像都采用不同的N。自采手指静脉压迫模糊测试集包含60根手指，每个手指采集20幅图像，其中10幅图像为本校在杭州的实验室人员在夏天重压放置后采集的手指静脉模糊图像，另外10幅图像为相同人员在夏天正常压力放置后采集的正常手指静脉模糊图像，总共1200幅图像。自采手指静脉收缩模糊测试集测试集包含100根手指，每个手指采集20幅图像，其中10幅图像为本校在杭州的实验室人员并且在冬天手指冰冷的情况下正常压力放置采集的手指静脉模糊图像，另外10幅为相同人员并且在夏天体温正常情况下正常压力放置采集的正常手指静脉模糊图像，总共 2000幅图像。
S4、将手指静脉模糊图像imgblur经过生成器得到生成的清晰图像 G(imgblur)，然后将G(imgblur)与其对应的清晰图像输入到判别器，根据判别器的结果来指导生成器不断学习清晰图像的分布，直到判别器难以辨别真实图像imgclear以及生成图像G(imgblur)，则说明当前网络达到最优。对抗目标函数为：
其中D和G表示判别器和生成器，E(*)表示分布函数的期望值， x～Pr(x)和x’～Pg(x’)分别表示x取自真实清晰图像集Pr(x)和x’取自生成的清晰图像集Pg(x’)，即x＝imgclear，x'＝G(imgblur)，D(x)表示将样本清晰图像x判别为真的概率。
图像质量主观分析
1、静脉压迫模糊
图6(a)为重压放置采集的手指静脉模糊图像，图6(f)为正常压力放置采集的手指静脉模糊图像，图6(b)～(e)为在图6(a)为输入图像的前提下，4种不同去模糊网络模型的还原的指静脉清晰图像。图 6(b)为24层DeblurGAN生成器还原的手指静脉模糊图像，比较图6(a) 和图6(b)可以看出，图6(b)的静脉纹理依旧存在模糊。在使用本发明提出的26层深度网络生成器后，还原的手指静脉模糊图像如图6(c) 所示，静脉纹理清晰度相较于图6(b)有明显提高，但在图像边缘高曝光部分存在少许失真。在26层深度网络生成器基础上加入NBP汉明距离损失之后，解决了图6(c)中的曝光异常失真问题，还原图像保真度更高，如图6(d)所示。最后通过丰富手指静脉模糊图像训练集的模糊程度以增强网络的泛化能力，还原静脉清晰图像如图6(e) 所示，还原图像的静脉纹理相较于图6(d)更清晰，且与图6(f)的静脉纹理结构高度相似。
2、静脉收缩模糊
图7(a)为冬天手指冰冷的情况下采集的手指静脉模糊图像，图 7(f)为夏天手指温度正常的情况下采集的手指静脉模糊图像，图 7(b)～(e)为在图7(a)为输入图像的前提下，4种不同去模糊网络模型的还原的指静脉清晰图像。图7(b)为24层DeblurGAN生成器还原的手指静脉模糊图像，比较图7(a)和图7(b)可以看出，DeblurGAN的去模糊效果并不明显，还原图像存在静脉纹理模糊。在使用本发明提出的26层深度网络生成器之后，相较于图7(b)静脉纹理更清晰，但存在部分背景粗糙，还原图像如图7(c)所示。在深度网络结构生成器的基础上加入NBP汉明损失之后，还原图像相较于图7(c)背景更平滑，更逼近真实手指静脉清晰图像，保真度更高，如图7(d)所示，但训练集模糊程度不多，网络的泛化性较弱。使用多态模糊训练集后，增强了网络的泛化性，还原的手指静脉模糊图像如图7(e)所示，相较于图7(d)静脉纹理更清晰，且静脉结构与图7(f)基本一致。
以下是基于图像数据库对本发明所提算法的实验数据分析，本发明以PSNR、SSIM作为本发明提出算法与DeblurGAN算法的质量评判标准。PSNR通过衡量两幅图像对应像素点之间的误差来评价图像质量，值越大说明还原图像的质量越高。SSIM用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量，最大值为1，值越大说明两副图像的相似度越高。
对模拟模糊测试集的800幅模糊图像去模糊后与对应的清晰图像进行比较，最终结果取均值，如表1所示。
表1不同去模糊模型下的PNSR和SSIM比较
从表1中可以看出本发明提出的26层深度网络生成器还原的静脉图像相较于24层DeblurGAN生成器还原的静脉图像，PSNR有所提高，但SSIM有所降低，证明本发明研究的生成器生成的指静脉清晰图像更逼近真实指静脉清晰图像，但也确实存在特殊点失真和背景粗糙等影响结构相似度的问题。在26层深度网络生成器的基础上加入 NBP汉明距离损失之后，SSIM提高至0.9768，说明加入NBP汉明损失提高了生成图像的保真度。最后在将训练集优化成更多模糊程度的训练集之后，PSNR与SSIM进一步提高，说明网络的泛化性更高，还原的手指静脉模糊图像的静脉纹理清晰度进一步提高。
本发明使用NBP识别算法评价图像识别性能，将两副图像的NBP 特征的汉明距离作为两副图像的特征匹配值，当匹配值小于给定阈值 t时则判定两副图像来自同一根手指。本发明在等错误率(ERR)，误识率(FAR)和拒误识率(FRR)的标准下比较算法的识别性能，FRR越低说明识别性能越好。由于在高安全性场景下，期望FAR尽可能小，因此下文讨论的去模糊算法的FRR均为FAR＝0％时的FRR。在模拟的手指静脉模糊图像测试集中，类间匹配次数为485181，类内匹配次数为 6773，ROC曲线如图8所示；在手指静脉压迫模糊测试集中，类间匹配次数为708000(60×20×59×10)，类内匹配次数为11400ROC 曲线如图9所示；在手指静脉收缩模糊测试集中，类间匹配次数为 1980000(100×20×99×10)，类内匹配次数为19000/>ROC曲线如图10所示。
图8、图9、图10的ROC曲线表明，模拟手指静脉模糊测试集、静脉压迫模糊测试集和静脉收缩模糊测试集在不处理的情况下的FRR 高达50.72％，27.8％，40.78％，说明手指静脉模糊图像模糊会严重影响特征提取，导致识别性能下降；经过DeblurGAN处理之后，FRR下降至39.51％，22.18％，36.68％，识别性能有一定提升，但由于还原的手指静脉模糊图像依旧存在静脉纹理模糊，识别率提高不多；在使用本发明提出的26层深度网络生成器之后，FRR下降至39.06％， 21.78％，35.78％，增强了还原手指静脉模糊图像的纹理清晰度，但还原图像存在曝光异常点失真和背景粗糙等问题；在此基础上加入NBP 汉明损失约束后，解决了背景粗糙和失真的问题，提高了还原手指静脉模糊图像的保真度，FRR下降至38.79％，20.77％，32.63％；最后再使用多态模糊训练集训练网络模型提升网络的泛化能力，进一步提升还原手指静脉模糊图像的清晰度，FRR下降至38.33％，19.25％， 29.61％。
上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出得各种变化，也应视为本发明的保护范围。

Claims (4)

1.一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于包括如下步骤：
S1、构建基于NB-GAN的手指静脉模糊图像的去模糊网络模型；去模糊网络模型包含生成器和判别器两个子网络；
S2、设计基于NB-GAN的去模糊网络模型的损失函数，包含一个判别器损失函数和一个生成器损失函数；
步骤S1具体实现如下：
S1-1.将手指静脉模糊图像转化为手指静脉清晰图像；手指静脉模糊图像的公式如下：
S1-2、基于NB-GAN的去模糊网络模型包括：
(1)生成器，生成器的网络结包括4个卷积块、1个残差模块和4个反卷积块构成，每个卷积块大小为4*4；残差模块由9个残差块组成，且每个残差块由2个3*3的卷积层构成；残差模块的输入和输出构成跳跃残差连接，生成器的输入输出构成全局残差连接；
(2)判别器，选用马尔可夫判别器作为NB-GAN的判别网络，网络结构由5个4*4的卷积块构成；马尔可夫判别器将输入图像随机拆分成多个H*W的图像块，每个图像块都通过PatchGAN输出一个数值，然后对所有输出数值取平均作为最终判别结果；
步骤S2具体实现如下：
S2-1.判别器损失：
使用最小二乘损失函数作为判别器损失，基于NB-GAN的去模糊网络模型的判别器损失函数定义如下：
S2-2、生成器损失：
提出融合局部纹理特征损失、平均绝对误差损失和最小二乘损失作为生成器损失，表达式为：
LossG＝λ1LossG-NBP+λ2LossG-MAE+λ3LossG-LS (3)
λ1+λ2+λ3＝1
式(3)中LossG-NBP、LossG-MAE、LossG-LS分别代表局部纹理损失、平均绝对误差损失、最小二乘损失，为防止平均绝对误差损失权重过大导致图像过度锐化，影响静脉纹理特征提取，文中λ1，λ2，λ3分别取0.4，0.2，0.4。
2.根据权利要求1所述的一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于局部纹理特征损失具体实现如下：
用指静脉模糊图像的局部NBP特征来描述整体静脉纹理特征，并将生成清晰图像与清晰图像的NBP特征之间的汉明距离作为生成器损失函数的一部分；采用3*3窗口的NBP算子，设(x,y)为图像上的像素点，从窗口的左上开始，顺时针对(x,y)周围的八个像素点编号，依次为p7,p6,…,p0；NBP特征提取函数NBP(*)如式(4)所示：
则NBP汉明距离损失函数如式(6)所示：
式(6)中T表示图像的通道数，R表示图像的高，C表示图像的宽，M表示图像数量，hanm(*)表示汉明距离计算函数。
3.根据权利要求2所述的一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于平均绝对误差损失和最小二乘损失具体实现如下：
平均绝对误差损失的函数表达式如下：
最小二乘损失的函数定义如下：
4.根据权利要求2所述的一种基于生成对抗网络的手指静脉模糊图像去模糊的方法，其特征在于手指静脉模糊图像数据集的制作如下：
使用多尺度窗口交替迭代卷积散焦、均值模糊核的方式制作手指静脉多态模糊图像训练集，提出的模糊退化模型表示如下：
其中：
0≤kR≤R,0≤kC≤C
式(9)中x,y为像素点坐标，R,C分别为图像的高宽，图像尺寸为300*120，即R＝300，C＝120，kR,kC分别为卷积窗口的高宽；B(x,y)为模糊核卷积后的模糊图像，I(x,y)为输入图像，h(x,y,l)为半径为l的散焦模糊核扩散函数h(x,y,l)主要对静脉纹理边缘进行模糊，其表示如下：
g(x,y,r)是半径为r的均值模糊核扩散函数，主要对卷积窗口整体进行模糊，使得模糊后的手指静脉模糊图像更逼近真实模糊图像，如式(11)所示：
经过多次迭代后得到手指静脉模糊图像，用不同的模糊方式来实现手指静脉模糊图像训练集的多种程度和多种类型模糊；对于指静脉局部模糊特征，设kR0和kC0为预设窗口的高和宽，用预设窗口大小来模拟手指重压时的受力区域大小，在采集图像时手指放置的姿态不同，受力区域大小也不同；设n为第n次模糊核卷积迭代，N为总迭代次数，则n∈[0,1,2,…,N-1]，已知手指静脉局部模糊图像的模糊程度为受力区域向外围降低，将卷积过程中的卷积窗口高宽kR、kC随n线性扩大来实现受力区域向外围扩散，同时线性减小模糊核的半径l、r来实现模糊程度向外围逐渐降低；式(3)中的卷积窗口高宽计算表达式如下：
式(12)中为向下取整符号，散焦模糊核和均值模糊核的半径计算表达式为：
在式(13)中l0和r0分别表示预设的散焦模糊核和均值模糊核的半径大小，λl和λr分别为散焦模糊核和均值模糊核的半径在迭代卷积过程中的减小速率，代表手指静脉模糊图像中的模糊程度扩散速度；通过调整迭代次数N、预设窗口大小kR0和kC0、预设模糊核半径大小l0和r0、以及模糊核半径的减小速率λl和λr制作出了多种程度的手指静脉局部模糊图像训练集。
CN202011350846.XA 2020-11-26 2020-11-26 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法 Active CN112488936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011350846.XA CN112488936B (zh) 2020-11-26 2020-11-26 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011350846.XA CN112488936B (zh) 2020-11-26 2020-11-26 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法

Publications (2)

Publication Number Publication Date
CN112488936A CN112488936A (zh) 2021-03-12
CN112488936B true CN112488936B (zh) 2024-02-06

Family

ID=74935204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011350846.XA Active CN112488936B (zh) 2020-11-26 2020-11-26 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法

Country Status (1)

Country Link
CN (1) CN112488936B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205467A (zh) * 2021-05-24 2021-08-03 新相微电子(上海)有限公司 基于模糊检测的图像处理方法及装置
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675329A (zh) * 2019-08-06 2020-01-10 厦门大学 基于视觉语义引导的图像去模糊方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872909B2 (en) * 2010-06-10 2014-10-28 The Hong Kong Polytechnic University Method and apparatus for personal identification using finger imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675329A (zh) * 2019-08-06 2020-01-10 厦门大学 基于视觉语义引导的图像去模糊方法

Also Published As

Publication number Publication date
CN112488936A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN108830818B (zh) 一种快速多聚焦图像融合方法
Yin et al. Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data
CN102063708B (zh) 基于Treelet和非局部均值的图像去噪
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN112419242A (zh) 基于自注意力机制gan网络的无参考图像质量评价方法
CN112488936B (zh) 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法
CN110349112B (zh) 一种基于自适应奇异值阈值的两阶段图像去噪方法
CN110599411A (zh) 一种基于条件生成对抗网络的图像修复方法及系统
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN116051408B (zh) 一种基于残差自编码的图像深度去噪方法
CN110969089A (zh) 噪声环境下的轻量级人脸识别系统及识别方法
CN112733665B (zh) 一种基于轻量化网络结构设计的人脸识别方法及系统
CN110321777A (zh) 一种基于栈式卷积稀疏去噪自编码器的人脸识别方法
CN116523794A (zh) 一种基于卷积神经网络的低光照图像增强方法
CN114331913B (zh) 基于残差注意力块的运动模糊图像复原方法
CN117151990A (zh) 一种基于自注意力编码解码的图像去雾方法
CN118155251A (zh) 一种基于语义通信式联邦学习的掌静脉识别方法
CN110569763B (zh) 一种用于细粒度人脸识别的眼镜去除方法
CN113435488B (zh) 一种图像采样概率提升方法及其应用
CN116091330A (zh) 一种基于生成对抗网络的图像修复方法
CN110427892B (zh) 基于深浅层自相关融合的cnn人脸表情特征点定位方法
CN114862696A (zh) 一种基于轮廓和语义引导的人脸图像修复方法
CN112488238A (zh) 一种基于对抗自编码器的混合异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant