CN110532908A - 一种基于卷积神经网络的手指静脉图像散射去除方法 - Google Patents

一种基于卷积神经网络的手指静脉图像散射去除方法 Download PDF

Info

Publication number
CN110532908A
CN110532908A CN201910757994.4A CN201910757994A CN110532908A CN 110532908 A CN110532908 A CN 110532908A CN 201910757994 A CN201910757994 A CN 201910757994A CN 110532908 A CN110532908 A CN 110532908A
Authority
CN
China
Prior art keywords
finger venous
venous image
finger
image
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910757994.4A
Other languages
English (en)
Other versions
CN110532908B (zh
Inventor
张海刚
杜杉杉
杨金锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN201910757994.4A priority Critical patent/CN110532908B/zh
Publication of CN110532908A publication Critical patent/CN110532908A/zh
Application granted granted Critical
Publication of CN110532908B publication Critical patent/CN110532908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种基于卷积神经网络的手指静脉图像散射去除方法。其包括对手指静脉图像散射去除模型进行改进；构建卷积神经网络；构建手指静脉图像数据集；对原始手指静脉图像进行预处理及增强，得到手指静脉主干网络图像并作为带标签的手指静脉图像；将原始手指静脉图像和步骤带标签的手指静脉图像训练卷积神经网络，最终由卷积神经网络输出复原手指静脉图像。本发明提供的基于卷积神经网络的手指静脉图像散射去除方法能够端到端地输出复原手指静脉图像。复原手指静脉图像的背景更加均匀，并且手指静脉区域和背景之间的对比度增加，因此手指静脉特征更加清晰，从而进一步提高了手指静脉识别的性能。

Description

一种基于卷积神经网络的手指静脉图像散射去除方法
技术领域
本发明属于手指静脉图像识别技术领域，特别是涉及一种基于卷积神经网络的手指静脉图像散射去除方法。
背景技术
作为一种新兴的身份认证技术，手指静脉识别在生物特征识别领域引起了广泛关注。与其他的生物特征识别技术(例如指纹识别，虹膜识别，人脸识别)相比，该技术具有以下的优点：天然的防伪性、活体识别、对用户友好、安全性高。由于人体血管中的血红蛋白可以大量吸收波长在700-900nm范围内的近红外光，因此在实际成像设备中多采用这一范围内的近红外光波段对手指静脉图像进行造影成像。但是，人体生物组织可以被视为一种复杂的异质光学介质，当近红外光传播到该介质中时，会在一定程度上被生物组织中的粒子吸收、反射和散射。在手指静脉图像采集过程中，因光在生物组织中的多重散射作用而有可能使采集到的手指静脉图像严重退化，对比度较低，这给后续的手指静脉识别带来了困难。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于卷积神经网络的手指静脉图像散射去除方法(Finger Vein Image Scattering Removal Network，简称FVSR-Net)。
为了达到上述目的，本发明提供的基于卷积神经网络的手指静脉图像散射去除方法包括按顺序进行的下列步骤：
(1)对手指静脉图像散射去除模型进行改进，获得待估计参数的求解公式；
(2)构建用于估计步骤(1)中待估计参数及获得复原手指静脉图像的卷积神经网络，并设置卷积神经网络的参数；
(3)采集多张手指静脉图像，然后从每一张手指静脉图像中获取该图像的感兴趣区域图像而作为原始手指静脉图像，由所有原始手指静脉图像构成手指静脉图像数据集；
(4)对步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像进行预处理及增强，得到手指静脉主干网络图像并作为带标签的手指静脉图像；
(5)将步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像分为训练集和验证集，然后利用训练集中的原始手指静脉图像和步骤(4)中获得的带标签的手指静脉图像训练上述卷积神经网络，最终由卷积神经网络输出复原手指静脉图像，并利用验证集中的原始手指静脉图像进行验证。
在步骤(1)中，所述的对手指静脉图像散射去除模型进行改进，获得待估计参数的求解公式的方法是：
手指静脉图像散射去除模型可以表示为：
I(x)＝I0(x)T(x)+(1-T(x))Ir(x) (1)
其中，I(x)为原始手指静脉图像，I0(x)为未退化的手指静脉图像，即复原手指静脉图像，Ir(x)可看作是局部背景光照射，表示散射幅度的强度，T(x)表示非散射传输图，可以进一步表示为：
T(x)＝eμD(x) (2)
其中μ表示皮肤组织的散射系数，D(x)表示皮肤介质层的深度函数；
在公式(1)所示的手指静脉图像散射去除模型的基础上，复原手指静脉图像可由下式得到：
将公式(3)进一步改进为：
I0(x)＝E(x)I(x)-E(x)+a (4)
其中，
如公式(5)所示，待估计的散射幅度的强度Ir(x)和非散射传输图T(x)被整合在同一个待估计参数E(x)中；a表示常数偏差，默认值被设为1。
在步骤(2)中，所述的构建用于估计步骤(1)中待估计参数及获得复原手指静脉图像的卷积神经网络，并设置卷积神经网络的参数的方法是：
所述的用于估计上述待估计参数E(x)及获得复原手指静脉图像的卷积神经网络包括10层卷积层：卷积层CONV1、卷积层CONV2、卷积层CONV3、卷积层CONV4、卷积层CONV5、卷积层CONV6、卷积层CONV7、卷积层CONV8、卷积层CONV9和卷积层CONV10，且每个卷积层的激活函数均为ReLu；
卷积神经网络采用连接具有相同尺寸的卷积层的方法，即卷积层concat1是由卷积层CONV1和卷积层CONV2连接而成，卷积层concat2是由卷积层CONV3和卷积层CONV4连接而成，卷积层concat3是由卷积层CONV5和卷积层CONV6连接而成；类似地，卷积层concat4是由卷积层concat1和卷积层concat2连接而成，卷积层concat5是由卷积层concat2和卷积层concat3连接而成。
在步骤(3)中，所述的采集多张手指静脉图像，然后从每一张手指静脉图像中获取该图像的感兴趣区域图像而作为原始手指静脉图像，由所有原始手指静脉图像构成手指静脉图像数据集的方法是：
首先利用手指静脉图像采集系统采集多张不同个体的手指静脉图像，该系统上安装有760nm的近红外光LED阵列源，然后采用定位和分割方法从每一张手指静脉图像中获取该图像的感兴趣区域图像而作为原始手指静脉图像，由所有原始手指静脉图像构成手指静脉图像数据集。
在步骤(4)中，所述的对步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像进行预处理及增强，得到手指静脉主干网络图像并作为带标签的手指静脉图像的方法是：
首先对原始手指静脉图像进行包括背景消除、直方图均衡、中值滤波、归一化在内的预处理而获得预处理后的手指静脉图像，然后选用3尺度8方向的偶对称Gabor滤波器对预处理后的手指静脉图像进行增强，该滤波器可以表示如下：
其中，k为方向指数，代表对预处理后的手指静脉图像进行k个方向的滤波，被设置为8；m为尺度指数，被设置为3；θ为Gabor滤波器的方向，f0为Gabor滤波器的中心频率，σ和γ分别为标准差以及椭圆高斯包络的纵横比，xθ，yθ分别为x轴，y轴旋转之后的坐标。
在步骤(5)中，所述的将步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像分为训练集和验证集，然后利用训练集中的原始手指静脉图像和步骤(4)中获得的带标签的手指静脉图像训练上述卷积神经网络，最终由卷积神经网络输出复原手指静脉图像，并利用验证集中的原始手指静脉图像进行验证的方法是：
随机选取手指静脉图像数据集中90％的原始手指静脉图像作为训练集，其余原始手指静脉图像作为验证集；采用Adam优化器，权重衰减为0.0001，动量为0.9，学习率和批量大小分别设置为0.001和4，网络的权重由高斯随机变量初始化；卷积神经网络的训练采用结构相似性指数SSIM作为损失函数，公式如下：
其中，μx、μy分别为原始手指静脉图像X和带标签的手指静脉图像Y的均值，σx、σy分别为原始手指静脉图像X和带标签的手指静脉图像Y的方差，C1、C2均为常数；LSSIM(X,Y)为SSIM损失函数表达式。
本发明提供的基于卷积神经网络的手指静脉图像散射去除方法能够端到端地输出复原手指静脉图像。复原手指静脉图像的背景更加均匀，并且手指静脉区域和背景之间的对比度增加，因此手指静脉特征更加清晰，从而进一步提高了手指静脉识别的性能。
附图说明
图1为本发明提供的基于卷积神经网络的手指静脉图像散射去除方法流程图。
图2为皮肤组织中物质相互作用示意图。
图3为本发明构建的卷积神经网络(E-Net)示意图。
图4为手指静脉主干网络图像获取过程流程图。
图5为带标签的手指静脉图像获取过程示意图。图5(a)为原始手指静脉图像；图5(b)为预处理后的手指静脉图像；图5(c)为手指静脉主干网络图像。
图6为退化的手指静脉图像的复原结果。图6(a)为原始手指静脉图像；图6(b)为待估计参数E(x)的输出估计图；图6(c)为复原手指静脉图像；图6(d)为原始手指静脉图像对应的带标签的手指静脉图像。
图7为手指静脉图像不同复原方法的比较。图7(a)为五张原始手指静脉图像；图7(b)为基于BOM的复原结果；图7(c)为基于WBOM的复原结果；图7(d)为基于AOD-Net的复原结果；图7(e)为本发明方法。
图8为低质量的手指静脉图像不同复原方法的比较。图8(a)为五张原始手指静脉图像；图8(b)为基于BOM的复原结果；图8(c)为基于WBOM的复原结果；图8(d)为基于AOD-Net的复原结果；图8(e)为本发明方法。
图9为不同方法下的手指静脉图像复原结果的ROC曲线。其中图9(a)代为测试集A的结果；图9(b)为测试集B的结果。
具体实施方式
下面结合附图和具体实施例对本发明提供的基于卷积神经网络的手指静脉图像散射去除方法进行详细说明。
如图1所示，本发明提供的基于卷积神经网络的手指静脉图像散射去除方法包括按顺序进行的下列步骤：
(1)对手指静脉图像散射去除模型进行改进，获得待估计参数的求解公式；
人体皮肤由三层组成：表皮层、真皮层和皮下层，其可以被视为吸收和散射颗粒的集合体。通过人体皮肤组织传播的近红外光可被皮肤中的颗粒折射、吸收和散射。实际上，从生物光子学的角度来看，透射光由弹道光子、蛇形光子和漫射光子组成。弹道光子通过介质以直线传播；蛇形光子受到一些轻微的散射，但仍然以前向或近前向的方式传播；漫射光子经历多次散射并以随机方式传播。因此，皮肤组织中的近红外光将不可避免地受到一系列的多重散射。如图2所示，近红外光在皮肤组织中传播时会发生直接衰减和散射衰减，正是由于散射衰减的存在，手指静脉成像时会出现退化性模糊。
基于上述原理，手指静脉图像散射去除模型可以表示为：
I(x)＝I0(x)T(x)+(1-T(x))Ir(x) (1)
其中，I(x)为原始手指静脉图像，I0(x)为未退化的手指静脉图像，即复原手指静脉图像，Ir(x)可看作是局部背景光照射，表示散射幅度的强度，T(x)表示非散射传输图，可以进一步表示为：
T(x)＝eμD(x) (2)
其中μ表示皮肤组织的散射系数，D(x)表示皮肤介质层的深度函数。
在公式(1)所示的手指静脉图像散射去除模型的基础上，复原手指静脉图像可由下式得到：
可以看出，只要估计出散射幅度的强度Ir(x)和非散射传输图T(x)，便可以通过公式(3)获得复原手指静脉图像I0(x)，由此获得较为清晰的手指静脉纹理特征。但是，在实际应用中，对散射幅度的强度Ir(x)和非散射传输图T(x)的估计方法的选择受限于手指静脉数据集的特征、运算效率等条件。
为了解决上述问题，本发明将公式(3)进一步改进为：
I0(x)＝E(x)I(x)-E(x)+a (4)
其中，
如公式(5)所示，待估计的散射幅度的强度Ir(x)和非散射传输图T(x)被整合在同一个待估计参数E(x)中。a表示常数偏差，默认值被设为1。这种将未知的散射幅度的强度Ir(x)和非散射传输图T(x)这两个参数联合估计的方法可以使它们相互制约，产生更为可靠的恢复手指静脉图像，也是本发明利用卷积神经网络端到端地输出复原手指静脉图像的关键。
(2)构建用于估计步骤(1)中待估计参数E(x)及获得复原手指静脉图像的卷积神经网络，并设置卷积神经网络的参数；
如图3所示，本发明构建的用于估计上述待估计参数E(x)及获得复原手指静脉图像的卷积神经网络(简称E-Net)包括10层卷积层：卷积层CONV1、卷积层CONV2、卷积层CONV3、卷积层CONV4、卷积层CONV5、卷积层CONV6、卷积层CONV7、卷积层CONV8、卷积层CONV9和卷积层CONV10，且每个卷积层的激活函数均为ReLu。表1给出了E-Net中各卷积层的具体参数,可以看出，E-Net应用了不同大小(1×1,3×3,5×5,7×7)的卷积核形成了多尺度特征。
表1、E-Net参数设置
此外，为了更好地利用多尺度特征，本发明采用了连接具有相同尺寸的卷积层的方法，即卷积层concat1是由卷积层CONV1和卷积层CONV2连接而成，卷积层concat2是由卷积层CONV3和卷积层CONV4连接而成，卷积层concat3是由卷积层CONV5和卷积层CONV6连接而成。类似地，卷积层concat4是由卷积层concat1和卷积层concat2连接而成，卷积层concat5是由卷积层concat2和卷积层concat3连接而成。这种连接方式有利于将原始手指静脉图像的低层特征与高层特征连接起来，提高了输出的复原手指静脉图像的可靠性。
(3)采集多张手指静脉图像，然后从每一张手指静脉图像中获取该图像的感兴趣区域图像而作为原始手指静脉图像，由所有原始手指静脉图像构成手指静脉图像数据集；
首先利用手指静脉图像采集系统采集多张不同个体的手指静脉图像，该系统上安装有760nm的近红外光LED阵列源，然后采用定位和分割方法从每一张手指静脉图像中获取该图像的感兴趣区域(ROI)图像而作为原始手指静脉图像，由所有原始手指静脉图像构成手指静脉图像数据集。
(4)对步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像进行预处理及增强，得到手指静脉主干网络图像并作为带标签的手指静脉图像；
当入射光通过皮肤组织传播时，手指静脉的主干网络和分支部分会受到同样程度散射的影响，因此可以将手指静脉主干网络图像看作卷积神经网络训练时所需的带标签的手指静脉图像，获取手指静脉主干网络图像的流程图如图4所示。为了获得稳定的手指静脉主干网络图像，首先应对图5(a)所示的原始手指静脉图像进行包括背景消除、直方图均衡、中值滤波、归一化在内的预处理而获得如图5(b)所示的预处理后的手指静脉图像。从图5(b)可以看出，预处理后，手指静脉主干网络依稀可见，但它们仍然被大量噪声所包围，因此，需要对预处理后的手指静脉图像进行增强。本发明选用3尺度8方向的偶对称Gabor滤波器对预处理后的手指静脉图像进行增强，该滤波器可以表示如下：
其中，k为方向指数，代表对预处理后的手指静脉图像进行k个方向的滤波，本发明中k被设置为8。m为尺度指数，本发明中m被设置为3。θ为Gabor滤波器的方向，f0为Gabor滤波器的中心频率，σ和γ分别为标准差以及椭圆高斯包络的纵横比，xθ，yθ分别为x轴，y轴旋转之后的坐标。
如图5(c)所示，通过3尺度8方向的偶对称Gabor滤波器对预处理后的手指静脉图像进行增强后，手指静脉区域的清晰度增加，且手指静脉区域和背景区域的对比度增加。
(5)将步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像分为训练集和验证集，然后利用训练集中的原始手指静脉图像和步骤(4)中获得的带标签的手指静脉图像训练上述卷积神经网络，最终由卷积神经网络输出复原手指静脉图像，并利用验证集中的原始手指静脉图像进行验证。
本发明随机选取手指静脉图像数据集中90％的原始手指静脉图像作为训练集，其余原始手指静脉图像作为验证集。为了训练卷积神经网络，本发明采用Adam优化器，权重衰减为0.0001，动量为0.9，学习率和批量大小分别设置为0.001和4，网络的权重由高斯随机变量初始化。卷积神经网络的训练采用结构相似性指数(Structural Similarity Index，简称SSIM)作为损失函数，公式如下：
其中，μx、μy分别为原始手指静脉图像X和带标签的手指静脉图像Y的均值，σx、σy分别为原始手指静脉图像X和带标签的手指静脉图像Y的方差，C1、C2均为常数。LSSIM(X,Y)为SSIM损失函数表达式。以上参数设置完成后，本发明的实验在Ubuntu16.04系统中进行，编程语言为Python3.6，深度学习框架为PyTorch1.0。卷积神经网络在NVidia GTX 1080TiGPU，Intel Xeon(R)sliver 4110CPU@2.10GHz和32GB RAM的配置下训练10次。
图6为退化的手指静脉图像的复原结果，其中图6(a)为三张原始手指静脉图像，图6(b)为待估计参数E(x)的输出估计图，图6(c)为复原手指静脉图像，图6(d)为原始手指静脉图像对应的带标签的手指静脉图像。从图6(b)可以看出，E-Net描述了原始手指静脉区域的粗略轮廓。如图6(c)所示，输出估计图通过改进的手指静脉图像散射去除模型后，散射效应被有效抑制，手指静脉区域和背景区域之间的对比度显着增加，这表明本发明方法对手指静脉散射去除具有显著的作用。
在本发明中，本发明人共制备了A，B两个手指静脉图像数据集，其中手指静脉图像数据集A中包括585个个体共5850张原始手指静脉图像，每一个体提供10张原始手指静脉图像。数据集B包括68个个体共2040张原始手指静脉图像，每一个体提供30张原始手指静脉图像。
为了进一步验证本发明方法的有效性，本发明人分别从视觉性能和识别性能两个方面对复原手指静脉图像进行了分析，并与其它现有方法进行了比较。
如图7所示，将本发明方法与两种常用的手指静脉图像复原方法进行了比较：基于生物光学模型(BOM)的方法和基于加权生物光学模型(WBOM)的方法。除此之外，在将退化的手指静脉图像直接看作有雾图像的情况下，本发明直接采用基于去雾的图像复原方法(AOD-Net)来对原始手指静脉图像进行了去模糊化处理。
如图7(b)所示，可以看出，虽然基于BOM的方法对原始手指静脉图像的复原具有较好的效果，但此方法得到的复原手指静脉图像仍存在大量噪声。从图7(c)可以看出，尽管基于WBOM的方法在原始手指静脉图像复原方面具有比图7(b)更好的性能，但与图7(d)相比，图7(c)中仍存在大量的散射效应。另外，如图7(d)所示的基于AOD-Net的方法获得了很好的散射去除效果，但手指静脉区域与背景之间的对比度仍可以被进一步改善。从图7(e)可以看出，本发明方法在手指静脉纹理特征的保存和散射去除方面均优于这些现有方法。
然而，在实际应用中，本发明人发现虽然基于WBOM的方法在复原弱散射图像方面表现出较好的结果，但此方法在强散射图像和低质量图像的复原方面表现不佳。图8(a)为五张低质量的原始手指静脉图像，它们具有低对比度并且失真严重。如图8(b)和图8(c)所示，基于BOM和WBOM的方法得到的复原手指静脉图像仍然难以区分手指静脉区域和背景区域，这将会带来较差的识别性能。特别值得一提的是，如图8(e)所示，本发明方法不仅可以获得更好的弱散射图像复原结果，而且还可以弥补现有方法在复原强散射手指静脉图像方面的不足。
除了对复原手指静脉图像进行视觉性能的分析，本发明人还利用ROC评价标准和识别等错误率(Equal Error Rate，简称EER)对上述不同方法的识别性能进行了对比分析。为了评估手指静脉识别性能，本发明人从数据集A中随机选取100类手指的1000张原始手指静脉图像作为测试集A，同时从数据集B中随机选取68类手指的2040张原始手指静脉图像作为测试集B。结果见图9和表2。从图9和表2可以清楚地看出，本发明方法的EER最低，即本发明方法获得了最佳的识别性能，这表明本发明方法能够可靠有效地输出手指静脉特征。
表2、不同方法下的等错误率(％)

Claims (6)

1.一种基于卷积神经网络的手指静脉图像散射去除方法，其特征在于：所述的基于卷积神经网络的手指静脉图像散射去除方法包括按顺序进行的下列步骤：
(1)对手指静脉图像散射去除模型进行改进，获得待估计参数的求解公式；
(2)构建用于估计步骤(1)中待估计参数及获得复原手指静脉图像的卷积神经网络，并设置卷积神经网络的参数；
(3)采集多张手指静脉图像，然后从每一张手指静脉图像中获取该图像的感兴趣区域图像而作为原始手指静脉图像，由所有原始手指静脉图像构成手指静脉图像数据集；
(4)对步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像进行预处理及增强，得到手指静脉主干网络图像并作为带标签的手指静脉图像；
(5)将步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像分为训练集和验证集，然后利用训练集中的原始手指静脉图像和步骤(4)中获得的带标签的手指静脉图像训练上述卷积神经网络，最终由卷积神经网络输出复原手指静脉图像，并利用验证集中的原始手指静脉图像进行验证。
2.根据权利要求1所述的基于卷积神经网络的手指静脉图像散射去除方法，其特征在于：在步骤(1)中，所述的对手指静脉图像散射去除模型进行改进，获得待估计参数的求解公式的方法是：
手指静脉图像散射去除模型可以表示为：
I(x)＝I0(x)T(x)+(1-T(x))Ir(x) (1)
其中，I(x)为原始手指静脉图像，I0(x)为未退化的手指静脉图像，即复原手指静脉图像，Ir(x)可看作是局部背景光照射，表示散射幅度的强度，T(x)表示非散射传输图，可以进一步表示为：
T(x)＝eμD(x) (2)
其中μ表示皮肤组织的散射系数，D(x)表示皮肤介质层的深度函数；
在公式(1)所示的手指静脉图像散射去除模型的基础上，复原手指静脉图像可由下式得到：
将公式(3)进一步改进为：
I0(x)＝E(x)I(x)-E(x)+a (4)
其中，
如公式(5)所示，待估计的散射幅度的强度Ir(x)和非散射传输图T(x)被整合在同一个待估计参数E(x)中；a表示常数偏差，默认值被设为1。
3.根据权利要求1所述的基于卷积神经网络的手指静脉图像散射去除方法，其特征在于：在步骤(2)中，所述的构建用于估计步骤(1)中待估计参数及获得复原手指静脉图像的卷积神经网络，并设置卷积神经网络的参数的方法是：
所述的用于估计上述待估计参数E(x)及获得复原手指静脉图像的卷积神经网络包括10层卷积层：卷积层CONV1、卷积层CONV2、卷积层CONV3、卷积层CONV4、卷积层CONV5、卷积层CONV6、卷积层CONV7、卷积层CONV8、卷积层CONV9和卷积层CONV10，且每个卷积层的激活函数均为ReLu；
卷积神经网络采用连接具有相同尺寸的卷积层的方法，即卷积层concat1是由卷积层CONV1和卷积层CONV2连接而成，卷积层concat2是由卷积层CONV3和卷积层CONV4连接而成，卷积层concat3是由卷积层CONV5和卷积层CONV6连接而成；类似地，卷积层concat4是由卷积层concat1和卷积层concat2连接而成，卷积层concat5是由卷积层concat2和卷积层concat3连接而成。
4.根据权利要求1所述的基于卷积神经网络的手指静脉图像散射去除方法，其特征在于：在步骤(3)中，所述的采集多张手指静脉图像，然后从每一张手指静脉图像中获取该图像的感兴趣区域图像而作为原始手指静脉图像，由所有原始手指静脉图像构成手指静脉图像数据集的方法是：
首先利用手指静脉图像采集系统采集多张不同个体的手指静脉图像，该系统上安装有760nm的近红外光LED阵列源，然后采用定位和分割方法从每一张手指静脉图像中获取该图像的感兴趣区域图像而作为原始手指静脉图像，由所有原始手指静脉图像构成手指静脉图像数据集。
5.根据权利要求1所述的基于卷积神经网络的手指静脉图像散射去除方法，其特征在于：在步骤(4)中，所述的对步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像进行预处理及增强，得到手指静脉主干网络图像并作为带标签的手指静脉图像的方法是：
首先对原始手指静脉图像进行包括背景消除、直方图均衡、中值滤波、归一化在内的预处理而获得预处理后的手指静脉图像，然后选用3尺度8方向的偶对称Gabor滤波器对预处理后的手指静脉图像进行增强，该滤波器可以表示如下：
其中，k为方向指数，代表对预处理后的手指静脉图像进行k个方向的滤波，被设置为8；m为尺度指数，被设置为3；θ为Gabor滤波器的方向，f0为Gabor滤波器的中心频率，σ和γ分别为标准差以及椭圆高斯包络的纵横比，xθ，yθ分别为x轴，y轴旋转之后的坐标。
6.根据权利要求1所述的基于卷积神经网络的手指静脉图像散射去除方法，其特征在于：在步骤(5)中，所述的将步骤(3)中获得的手指静脉图像数据集中的原始手指静脉图像分为训练集和验证集，然后利用训练集中的原始手指静脉图像和步骤(4)中获得的带标签的手指静脉图像训练上述卷积神经网络，最终由卷积神经网络输出复原手指静脉图像，并利用验证集中的原始手指静脉图像进行验证的方法是：
随机选取手指静脉图像数据集中90％的原始手指静脉图像作为训练集，其余原始手指静脉图像作为验证集；采用Adam优化器，权重衰减为0.0001，动量为0.9，学习率和批量大小分别设置为0.001和4，网络的权重由高斯随机变量初始化；卷积神经网络的训练采用结构相似性指数SSIM作为损失函数，公式如下：
其中，μx、μy分别为原始手指静脉图像X和带标签的手指静脉图像Y的均值，σx、σy分别为原始手指静脉图像X和带标签的手指静脉图像Y的方差，C1、C2均为常数；LSSIM(X,Y)为SSIM损失函数表达式。
CN201910757994.4A 2019-08-16 2019-08-16 一种基于卷积神经网络的手指静脉图像散射去除方法 Active CN110532908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910757994.4A CN110532908B (zh) 2019-08-16 2019-08-16 一种基于卷积神经网络的手指静脉图像散射去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910757994.4A CN110532908B (zh) 2019-08-16 2019-08-16 一种基于卷积神经网络的手指静脉图像散射去除方法

Publications (2)

Publication Number Publication Date
CN110532908A true CN110532908A (zh) 2019-12-03
CN110532908B CN110532908B (zh) 2023-01-17

Family

ID=68663419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910757994.4A Active CN110532908B (zh) 2019-08-16 2019-08-16 一种基于卷积神经网络的手指静脉图像散射去除方法

Country Status (1)

Country Link
CN (1) CN110532908B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289447A (zh) * 2020-10-30 2021-01-29 四川大学华西医院 一种手术切口愈合等级判别系统
CN112364848A (zh) * 2021-01-13 2021-02-12 北京圣点云信息技术有限公司 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置
CN113420690A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 基于感兴趣区域的静脉识别方法、装置、设备及存储介质
CN115631206A (zh) * 2022-12-23 2023-01-20 南京理工大学 针对散射场景下的图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326886A (zh) * 2016-11-07 2017-01-11 重庆工商大学 基于卷积神经网络的手指静脉图像质量评估方法及评估系统
CN109190566A (zh) * 2018-09-10 2019-01-11 中国民航大学 一种融合局部编码与cnn模型手指静脉识别方法
US20190066268A1 (en) * 2017-08-31 2019-02-28 Shhanghai United Imaging Healthcare Co., Ltd. System and method for determining a trained neural network model for scattering correction
CN109978799A (zh) * 2019-04-15 2019-07-05 武汉理工大学 一种基于深度学习的海事无人机视频图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326886A (zh) * 2016-11-07 2017-01-11 重庆工商大学 基于卷积神经网络的手指静脉图像质量评估方法及评估系统
US20190066268A1 (en) * 2017-08-31 2019-02-28 Shhanghai United Imaging Healthcare Co., Ltd. System and method for determining a trained neural network model for scattering correction
CN109190566A (zh) * 2018-09-10 2019-01-11 中国民航大学 一种融合局部编码与cnn模型手指静脉识别方法
CN109978799A (zh) * 2019-04-15 2019-07-05 武汉理工大学 一种基于深度学习的海事无人机视频图像去雾方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUI HU: "FV-Net: learning a finger-vein feature representation based on a CNN", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
JINFENG YANG ET AL.: "Scattering Removal for Finger-Vein Image Restoration", 《SENSORS》 *
WENMING YANG ET AL.: "FV-GAN: Finger Vein Representation Using Generative Adversarial Networks", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289447A (zh) * 2020-10-30 2021-01-29 四川大学华西医院 一种手术切口愈合等级判别系统
CN112289447B (zh) * 2020-10-30 2022-03-08 四川大学华西医院 一种手术切口愈合等级判别系统
CN112364848A (zh) * 2021-01-13 2021-02-12 北京圣点云信息技术有限公司 基于分类损失的生成对抗网络修复异常静脉图像的识别方法及装置
CN113420690A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 基于感兴趣区域的静脉识别方法、装置、设备及存储介质
CN115631206A (zh) * 2022-12-23 2023-01-20 南京理工大学 针对散射场景下的图像分割方法

Also Published As

Publication number Publication date
CN110532908B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN110532908A (zh) 一种基于卷积神经网络的手指静脉图像散射去除方法
CN106473750B (zh) 基于光电容积脉搏波最佳周期波形的身份识别方法
CN106530279B (zh) 一种图像处理方法及系统
Gai et al. Speckle noise reduction in medical ultrasound image using monogenic wavelet and Laplace mixture distribution
Guo et al. Unsupervised denoising of optical coherence tomography images with nonlocal-generative adversarial network
Yang et al. Towards finger-vein image restoration and enhancement for finger-vein recognition
Yang et al. Finger–vein ROI localization and vein ridge enhancement
CN106022218A (zh) 一种基于小波变换和Gabor滤波器的掌纹掌静脉图像层融合方法
CN102542281B (zh) 非接触式生物特征识别方法和系统
CN109784242A (zh) 基于一维残差卷积神经网络的脑电信号去噪方法
US10380444B2 (en) 3D mask face anti-spoofing with remote photoplethysmography
Zhang et al. Finger vein image enhancement based on guided tri-Gaussian filters
CN104951774A (zh) 基于两种子空间相融合的掌静脉特征提取和匹配方法
EP2649558A1 (en) Method and an apparatus for determining vein patterns from a colour image
CN104239769A (zh) 基于手指静脉特征的身份识别方法及系统
CN110390282A (zh) 一种基于余弦中心损失的指静脉识别方法及系统
CN102567708B (zh) 生物特征提取方法、装置及生物识别方法、系统
You et al. A bilayer image restoration for finger vein recognition
CN109171713A (zh) 基于多模态信号的上肢运动想象模式识别方法
CN106940904B (zh) 基于人脸识别和语音识别的考勤系统
CN108932507A (zh) 一种基于oct指纹图像的自动防伪方法及系统
Zhao et al. Biometric identification based on low-quality hand vein pattern images
CN108182399A (zh) 指静脉特征比对方法、装置、存储介质和处理器
Zhang et al. Biometric authentication via finger photoplethysmogram
CN108197535A (zh) 指静脉图像质量评判方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant