CN108009520B - 基于卷积变分自编码器网络的手指静脉识别方法及系统 - Google Patents

基于卷积变分自编码器网络的手指静脉识别方法及系统 Download PDF

Info

Publication number
CN108009520B
CN108009520B CN201711392384.6A CN201711392384A CN108009520B CN 108009520 B CN108009520 B CN 108009520B CN 201711392384 A CN201711392384 A CN 201711392384A CN 108009520 B CN108009520 B CN 108009520B
Authority
CN
China
Prior art keywords
image
finger vein
neural network
encoder
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711392384.6A
Other languages
English (en)
Other versions
CN108009520A (zh
Inventor
严如强
侯博瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Geweixi United Technology Co., Ltd.
Original Assignee
Xi'an Geweixi United Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Geweixi United Technology Co ltd filed Critical Xi'an Geweixi United Technology Co ltd
Priority to CN201711392384.6A priority Critical patent/CN108009520B/zh
Publication of CN108009520A publication Critical patent/CN108009520A/zh
Application granted granted Critical
Publication of CN108009520B publication Critical patent/CN108009520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

本发明公开了一种基于卷积变分自编码器神经网络的手指静脉识别方法及系统，该系统包括图像采集模块、图像预处理模块、图像特征提取模块、图像训练模块和图像识别模块；识别方法包括获取待识别用户的手指静脉图像；对手指静脉图像信息进行图像预处理，提取手指静脉感兴趣区域(ROI)图像；通过卷积变分自编码器神经网络提取所述手指静脉感兴趣区域中的手指静脉特征编码；将特征编码输入到一个全连接网络中进行识别处理，识别所述待识别用户的身份信息。本发明能够有效地提取手指静脉特征，提高了对噪声的冗余性，明显改善手指静脉识别系统的识别精度。

Description

基于卷积变分自编码器网络的手指静脉识别方法及系统
技术领域
本发明涉及生物特征识别方法，特别是涉及一种基于卷积变分自编码器神经网络的手指静脉识别方法及系统。
背景技术
生物识别技术是通过人体生物特征或者行为特征进行人体身份认证的技术。其中，行为特征包括步态、语音、签名等，人体生物特征主要包括两大类，外部生物特征：如脸型、掌型、指纹、虹膜等；内部生物特征：如手掌静脉、手指静脉和手背静脉等。目前通用的身份识别手段如指纹、语音、签名、脸型等存在易伪造，易损等问题，而且虹膜、DNA等存在检测方法复杂不友好的问题。
手指静脉识别是一种基于人的生理特点的身份识别技术，它利用手指掌侧浅静脉进行身份识别。手指静脉识别具备速度快、精度高和安全等级高等优势。因此，手指静脉识别成为近年来生物识别技术领域的热点，并在银行、楼宇门禁、PC登录、ATM存取款机、汽车安全等领域得到应用。
手指静脉识别通常红外成像方式获取手指静脉图像，然后从手指静脉图像中提取静脉特征，进行特征匹配，从而实现了手指静脉识别，确认使用者身份。但是，在手指静脉识别过程中，传统的手指静脉图像识别方法受到多种因素的影响，在实际应用存在以下缺陷：1)在手指静脉图像获取中容易受到环境的影响，很多情况如环境光、环境温度、光散射，都会影响识别率；2)静脉图像易受到噪声干扰进而影响到图像中与静脉特征相关的分布；3)通常情况下，很难建立有效的数学模型去提取每个分布的特征。因此，目前基于手工特征的方法很难有效地提取到手指静脉纹路信息，导致认证系统的识别性能有限。
发明内容
发明目的：为解决现有技术的不足，提供一种可以较大程度的提取手指静脉特征信息，并且在特征分类阶段使用一个三层全连接神经网络进行特征分类的基于卷积变分自编码器神经网络的手指静脉识别方法及系统。
技术方案：本发明的一种基于卷积变分自编码器神经网络的手指静脉识别系统，该系统包括图像采集模块、图像预处理模块、图像特征提取模块、图像训练模块和图像识别模块；其中，所述图像采集模块用于采集用户的手指静脉原始图像；所述图像预处理模块用于对所述用户的手指静脉原始图像进行预处理；所述图像特征提取模块用于提取预处理后的手指静脉原始图像的特征信息；所述图像训练模块根据待训练用户的手指静脉原始图像进行训练，得到训练参数；所述图像识别模块根据训练参数识别待识别用户的身份信息。
进一步的，所述图像预处理模块包括灰度化单元、降噪单元、ROI单元以及归一化单元，其中，所述灰度化单元用于对用户手指静脉原始图像进行灰度化；所述降噪单元用于对灰度化后的手指静脉图像进行高斯低通滤波去除噪声干扰；所述ROI单元使用边缘检测算子进行边缘检测获取边缘检测图像中手指边缘区域，以确定手指图像位置，即提取手指静脉感兴趣区域图像；所述归一化单元采用MAX-MIN方法对所提取的手指静脉感兴趣区域图像进行像素归一化处理，处理后每个像素点的像素在[0,1]范围；并采用双线性插值法对像素归一化后图像信息的图像尺寸进行归一化处理，处理后的图像尺寸大小相同，方便下一步处理。
进一步的，所述图像训练模块为卷积变分自编码器神经网络模型，其包括用于获取所有用户的手指静脉图像信息的图像获取单元；对所述所有用户的手指静脉图像信息进行图像预处理的图像预处理单元，获取预处理后的ROI图像；对所述预处理后待识别图像信息输入卷积变分自编码器神经网络进行训练，得到训练后的卷积变分自编码器神经网络的网络参数，采用训练后的卷积变分自编码器神经网络编码器处理输入图像提取编码值作为特征值，获取所有用户的手指静脉编码值的特征提取单元；采用全连接神经网络训练获取的所有用户手指静脉编码值，获取训练后的全连接神经网络参数的训练单元。
进一步的，所述卷积变分自编码器神经网络包括卷积编码器和反卷积解码器，所述卷积编码器包括依次配合使用的输入层、卷积层、全连接层和输出层；所述反卷积解码器包括依次配合使用的输入层、全连接层、反卷积层和卷积层，卷积编码器的输出为反卷积解码器的输入。
另一实施例中，一种基于卷积变分自编码器神经网络的手指静脉识别方法，该方法包括以下步骤：
(1)获取用户的手指静脉原始图像；
(2)对所获取的用户的手指静脉原始图像进行预处理，并提取手指静脉原始图像ROI区域信息；
(3)将预处理后的手指静脉ROI图像输入卷积变分自编码器神经网络进行训练，得到训练后的卷积变分自编码器神经网络的网络参数，采用训练后的卷积变分自编码器神经网络编码器处理输入图像提取编码值作为特征值，获取所有用户的手指静脉编码值；采用全连接神经网络训练获取的手指静脉编码值，获取训练后的全连接神经网络参数；
(4)采用全连接神经网络对待识别用户的手指静脉编码值进行识别处理，识别所述待识别用户的身份信息，输出待识别用户的分类结果。
进一步的，所述步骤(2)包括：
对手指静脉图像灰度化；
对图像进行高斯低通滤波去除噪声干扰；
使用水平边缘检测算子进行边缘检测；
获取边缘检测图像中手指边缘区域，以确定手指图像位置；
沿着水平方向检测上下边缘的中心点，并使用最小二乘法拟合中线，计算出中线与水平线的夹角，根据夹角对手指进行旋转校正；
根据两侧边缘信息，去除背景；
采用MAX-MIN方法对所提取的ROI图像进行像素归一化处理，处理后所述图像每个像素点的像素值在[0,1]范围；
采用双线性插值法对所述像素归一化后图像信息的图像尺寸进行归一化处理，处理后的所述图像尺寸大小相同，方便下一步处理。
进一步的，所述步骤(3)包括：
将所述手指静脉ROI图像作为训练图像，输入至所述卷积变分自编码器神经网络中训练，卷积变分自编码器的输入即为输出。卷积变分自编码器由卷积编码器和反卷积解码器组成，采用卷积变分自编码器神经网络提取图像法的特征，统一训练卷积编码器和反卷积解码器。完成训练后，选取卷积变分自编码器神经网络模型中编码器的输出作为输入图像的特征值，因此，所述卷积变分自编码器将输入图像变成了一个特征向量，若干所述特征向量组成特征向量集合。
进一步的，所述步骤(4)包括：
获取待识别用户的手指静脉图像信息；
对所述待识别用户的手指静脉图像信息进行图像预处理，获取预处理后待识别的ROI图像；
将所述预处理后待识别的ROI图像信息输入训练后的卷积变分自编码器神经网络提取特征编码，获取待识别用户的手指静脉特征编码信息；
采用全连接神经网络处理获取的待识别用户手指静脉特征编码信息，得到识别结果。
又一实施例中，一种基于卷积变分自编码器神经网络的手指静脉识别方法，该方法包括以下步骤：
(1)获取用户的手指静脉原始图像；
(2)对所获取的用户的手指静脉原始图像进行预处理，并提取手指静脉ROI图像；
(3)将预处理后的手指静脉ROI图像输入卷积变分自编码器神经网络进行训练，得到训练后的卷积变分自编码器神经网络的网络参数，采用训练后的卷积变分自编码器神经网络编码器处理输入图像处理输入图像提取编码值作为特征值，获取所有用户的手指静脉编码值；
(4)采用全连接神经网络训练获取的手指静脉编码值，获取训练后的全连接神经网络参数；
(5)采用全连接神经网络对待识别用户的手指静脉编码值进行识别处理，识别所述待识别用户的身份信息，输出待识别用户的分类结果。
进一步的，所述步骤(2)包括：
对手指静脉图像灰度化；
对图像进行高斯低通滤波去除噪声干扰；
使用水平边缘检测算子进行边缘检测；
获取边缘检测图像中手指边缘区域，以确定手指图像位置；
沿着水平方向检测上下边缘的中心点，并使用最小二乘法拟合中线，计算出中线与水平线的夹角，根据夹角对手指进行旋转校正；
根据两侧边缘信息，去除背景；
采用MAX-MIN方法对所提取的ROI图像进行像素归一化处理，处理后所述每个像素点的像素值在[0,1]范围；
采用双线性插值法对所述像素归一化后图像信息的图像尺寸进行归一化处理，处理后的所述图像尺寸大小相同，方便下一步处理。
进一步的，所述步骤(5)包括：
获取待识别用户的手指静脉图像信息；
对所述待识别用户的手指静脉图像信息进行图像预处理，获取预处理后待识别的ROI图像；
将所述预处理后待识别的ROI图像信息输入训练后的卷积变分自编码器神经网络提取编码值作为特征值，获取待识别用户的手指静脉编码值；
采用全连接神经网络处理获取的待识别用户手指静脉编码值，得到识别结果。
有益效果：与现有技术相比，本发明具有以下优点：
(1)本发明提出的基于卷积变分自编码器神经网络具备可以较大程度解决指静脉识别系统对于光线变化的问题，提高了对噪声的冗余性。
(2)本发明提出的基于卷积变分自编码器神经网络，通过使用变分自编码器对提取了手指静脉的特征编码进行真伪分类，提高了指静脉识别系统的安全性。
(3)本发明提出的基于卷积变分自编码器神经网络在提取手指静脉的编码值作为特征值后利用一个三层全连接神经网络过对编码值进行的分类，从而有效地提高了静脉特征分割的精度。
附图说明
图1是本发明方法的流程示意图；
图2是提出的卷积变分自编码器网络模型；
图3是提出的三层全连接神经网络模型；
图4是本发明方法中识别步骤流程图；
图5是本发明方法的区域提取模块的结构框图。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
如图1至图3所示，本发明提供的一种基于卷积变分自编码器神经网络的手指静脉识别系统，该系统包括：图像采集模块、图像预处理模块、图像特征提取模块、图像训练模块和图像识别模块；其中，图像采集模块用于采集用户的手指静脉原始图像；图像预处理模块用于对所述用户的手指静脉原始图像进行预处理；图像特征提取模块用于提取预处理后的手指静脉原始图像的特征信息；所述图像训练模块根据待训练用户的手指静脉原始图像进行训练，得到训练参数；所述图像识别模块根据训练特征集识别待识别用户的身份信息。
其中，图像预处理模块包括灰度化单元、降噪单元、ROI单元以及归一化单元，灰度化单元用于对用户手指静脉原始图像进行灰度化；降噪单元用于对灰度化后的手指静脉图像进行高斯低通滤波去除噪声干扰；ROI单元使用边缘检测算子进行边缘检测获取边缘检测图像中手指边缘区域，以确定手指图像位置，即提取手指静脉感兴趣区域图像；归一化单元采用MAX-MIN方法对所提取的手指静脉感兴趣区域图像进行像素归一化处理，处理后每个像素点的像素值在[0,1]范围；并采用双线性插值法对像素归一化后图像信息的图像尺寸进行归一化处理，处理后的图像尺寸大小相同(本实施例取96*64)，方便下一步处理。
图像训练模块为卷积变分自编码器神经网络模型，其包括：用于获取所有用户的手指静脉图像信息的图像获取单元；对所述所有用户的手指静脉图像信息进行图像预处理，获取预处理后的ROI图像的图像预处理单元；对所述预处理后待识别图像信息输入卷积变分自编码器神经网络进行训练，得到训练后的卷积变分自编码器神经网络的网络参数，采用训练后的卷积变分自编码器神经网络编码器处理输入图像提取特征编码，获取所有用户的手指静脉特征编码信息的特征提取单元；采用全连接神经网络训练获取的所有用户手指静脉特征编码信息，获取训练后的全连接神经网络参数的训练单元。
其中，卷积变分自编码器神经网络包括卷积编码器和反卷积解码器，卷积编码器包括依次配合使用的输入层、卷积层、全连接层和输出层；反卷积解码器包括依次配合使用的输入层、全连接层、反卷积层、卷积层和输出层，卷积编码器的输出为反卷积解码器的输入。卷积编码器的输入为96*64*3维，输出为2×m维，这里m指代特征编码的维数。可以将卷积编码器的输出(2×m个数)分别视作为m个高斯分布的均值和方差的对数。反卷积解码器的输入为2×m维，输出为96*64*3维。在一个完整的卷积变分自编码器中，反卷积解码器的输入(2×m维)就是卷积编码器的输出，卷积解码器的输出(96*64*3维)就是卷积编码器的输入。
另一实施例中：一种基于卷积变分自编码器神经网络的手指静脉识别系统，包括用于采集待识别用户的手指静脉图像的采集器和用于对图像信息进行处理的处理器；处理器包括用于对所获得的待识别用户的手指静脉图像进行预处理提取图像的感兴趣区域图像的预处理模块、用于编码获取编码值的卷积变分自编码器以及采用三层全连接神经网络对待识别用户的手指静脉特征信息进行识别处理的识别模块；其中卷积变分自编码器包括卷积编码器与反卷积解码器。
使用时，首先提取出图像中手指区域，然后采用卷积变分自编码器神经网络对手指静脉图像进行编码，以此实现对手指静脉图像中的静脉纹路特征的提取，最后一个三层全连接神经网络过对经过编码后的数据进行特征分类以此识别用户。
模型训练步骤包括：获取待识别用户的手指静脉图像信息；对所述待识别用户的手指静脉图像信息进行图像预处理，获取预处理后待识别的ROI图像；对所述预处理后待识别图像信息进行卷积变分自编码处理提取特征编码，获取待识别用户的手指静脉特征编码信息；采用三层全连接神经网络训练获取全连接神经网络的训练模型。
一个实施例中，如图1所示，一种基于卷积变分自编码器神经网络的手指静脉识别方法，该方法包括以下步骤：
(1)获取待识别用户的手指静脉原始图像；
(2)对所获取的用户的手指静脉原始图像进行预处理，并提取手指静脉原始图像感兴趣区域(ROI区域)信息；具体包括：
对手指静脉图像灰度化；
对图像进行高斯低通滤波去除噪声干扰；
使用水平边缘检测算子进行边缘检测；
获取边缘检测图像中手指边缘区域，以确定手指图像位置；
沿着水平方向检测上下边缘的中心点，并使用最小二乘法拟合中线，计算出中线与水平线的夹角，根据夹角对手指进行旋转校正；
根据两侧边缘信息，去除背景；
采用MAX-MIN方法对所提取的ROI图像进行像素归一化处理，处理后所述图像每个像素点的像素值在[0,1]范围；
采用双线性插值法对所述像素归一化后图像信息的图像尺寸进行归一化处理，处理后的所述图像尺寸大小相同，方便下一步处理，图像尺寸大小均为96*64。
(3)将预处理后的手指静脉ROI图像输入卷积变分自编码器神经网络进行训练，得到训练后的卷积变分自编码器神经网络的网络参数，采用训练后的卷积变分自编码器神经网络编码器处理输入图像，提取编码值作为特征值，获取所有用户的手指静脉编码值；采用全连接神经网络训练获取的手指静脉编码值，获取训练后的全连接神经网络参数；具体为：
将所述手指静脉ROI图像作为训练图像，将所述训练样本集合输入至所述卷积变分自编码器神经网络中训练，卷积变分自编码器的输入即为输出；卷积变分自编码器由卷积编码器和反卷积解码器组成，采用卷积变分自编码器神经网络提取图像法的特征，统一训练卷积编码器和反卷积解码器，完成训练后，选取卷积神经网络模型中编码器的输出，即图像编码值，作为输入图像的特征值，因此，所述卷积变分自编码器将输入图像变成了一组特征向量，若干所述特征向量组成特征向量集合用以表示所有的训练样本。
(4)采用全连接神经网络对步骤3中得到的特征向量集合，即所有待识别用户手指静脉编码值的集合，进行识别处理，识别所述待识别用户的身份信息，输出待识别用户的分类结果；包括：
获取待识别用户的手指静脉图像信息；
对所述待识别用户的手指静脉图像信息进行图像预处理，获取预处理后待识别的ROI图像；
将所述预处理后待识别的ROI图像信息输入训练后的卷积变分自编码器神经网络提取特征编码，获取待识别用户的手指静脉编码值；
采用全连接神经网络处理获取的待识别用户手指静脉编码值，得到识别结果。
另一实施例中，如图4所示，本发明实施例中提供了一种基于卷积变分自编码器神经网络的手指静脉识别方法，具体包括以下步骤：
(1)获取待识别用户的手指静脉图像，并保存获取到的待识别用户的手指静脉图像，通常采用红外成像方式获取手指静脉图像。
(2)对所获取得所述手指静脉原始图像进行预处理，提取手指静脉感兴趣区域(ROI)图像信息
对获取到的待识别用户的手指静脉图像进行预处理，由所述手指静脉图像中提取手指静脉感兴趣区域图像；如图5所示，具体图像预处理处理时：首先对图像进行灰度化，再进行高斯低通滤波处理，利用边缘检测方法从采集图像中分割出手指区域。然后，计算手指区域图像的中心线得到手指的旋转量。根据夹角对手指进行旋转校正；最后对手指区域图像进行归一化。
对步骤(2)作进一步说明：
对所述手指静脉图像信息进行图像信息预处理，获取预处理后图像信息；其中预处理过程中，先后需要进行图像感兴趣区域提取和图像归一化处理。进一步的包括：图像灰度化：将RBG图像转换为灰度图像；图像边缘检测：对所述手指静脉图像的边缘进行检测得到手指边缘图像J，同时将获取边缘检测图像中手指边缘区域，以确定手指图像位置；沿着手指边缘图像J中水平方向检测上下边缘的中心点，并使用最小二乘法拟合中线，计算出中线与水平线的夹角，根据夹角对手指进行旋转校正；根据两侧边缘信息，去除背景，提取ROI图像；采用MAX-MIN方法对所述图像信息的每个像素点进行归一化处理，处理后所述每个像素点的像素值在[0,1]范围；采用双线性插值法对所述降噪后灰度化图像信息的图像尺寸进行归一化处理，处理后的所述图像尺寸大小为 96*64。
其中，对所述手指静脉图像信息灰度化处理过程中，采用符合人眼特性的灰度化方法，令：
G＝0.299R+0.587G+0.114B (1)；
其中，R、G、B为原始彩色输入图像的三通道值，G表示灰度化的图像。
其中对所述灰度化图像信息进行滤波降噪处理的过程中，采用高斯低通滤波来实现，令：
Gσ＝I*G (2)；
其中，G表示灰度图像，Gσ表示经过高斯低通降噪后的图像，I表示使用的二维高斯核，
Figure GDA0001582368200000091
σ表示标准差，x和y分别表示图像的横纵坐标。
其中，像素灰度值归一化，将每一个像素点的灰度值归一化为0到1之间，归一化方法为MAX-MIN方法，归一化公式如下：
Figure GDA0001582368200000092
其中，Z(x,y)为每个像素点归一化后的灰度值，g(x,y)表示原图像的灰度值。其中，采用双线性插值法进行尺度归一化处理，遍历图像信息上的每一个像素点，在x,y方向上进行插值和调整进行尺度归一化处理，本实施例中图像尺寸大小归一化为96*64。
(3)通过卷积变分自编码器对提取所述手指静脉ROI图像进行编码，获取特征编码值，具体方法如下。
选取所述归一化后的手指静脉ROI图像作为训练图像，将训练图像输入卷积变分自编码器中进行训练，卷积变分自编码器的输入即为输出，卷积变分自编码器由卷积编码器和反卷积解码器组成。采用卷积神经网络提取图像法的特征，统一训练卷积编码器和反卷积解码器。完成训练后，选取卷积神经网络模型中编码器神经网络的输出，即图像编码值，作为输入图像的特征值。因此，所述卷积变分自编码器将输入图像变成了一组特征向量，若干所述特征向量组成特征向量集合用以表示所有的训练样本。
具体为：
卷积变分自编码器由卷积编码器和反卷积解码器组成。由变分自编码器对手指静脉图像进行编码提取特征值。卷积变分自编码器的输入和输出均为相同的手指静脉图像。假设变分自编码器中能观测到的数据为X(即输入和输出数据)，而数据通过隐变量(编码)Z生成，p(x|z)代表编码模型的条件概率，从自编码器的角度来看，就是解码器；而由代表解码模型的条件概率，是识别模型类似于自编码器的解码器。给出这两个概率分布的隐变量产生概率的KL散度：
Figure GDA0001582368200000101
p(z|x)是编码模型下编码Z关于数据X的概率分布，对KL散度这个评价模型进行优化，首先对KL散度进行拆分：
Figure GDA0001582368200000102
由贝叶斯公式：
Figure GDA0001582368200000103
可得：
KL＝∑p(z|x)[logq(z|x)-logp(x,z)]+logp(x) (6)；
其中，p(x)代表输入数据x的分布概率，p(x,z)＝p(x|z)p(z)，p(x,z)是数据X和编码Z的联合概率分布，令损失函数为：
L＝∑p(z|x)[-logq(z|x)+logp(x,z)] (7)；
则：
log p(x)＝KL+L (8)；
假设概率优化的够好，让变分下界尽可能的大，那么KL散度就会越来越小，两个概率分布的相似性就会越来越好，进而可以通过特征编码重构输入数据X。
那么：
log p(x)≥L＝Eq(z|x)[-logq(z|x)+logp(x,z)] (9)；
通过一系列的变换，结合贝叶斯公式，可以得到损失函数为：
L＝-KL(q(z|x)|p(z))+Eq(z|x)[logp(x,z)] (10)；
p(z)代表编码的概率分布，一般采用高斯分布。通过优化损失函数，求解编码特征值。
本实施例中，步骤(3)中所述卷积变分自编码器由卷积编码器和反卷积解码器组成：卷积变分自编码器神经网络，第一层中，卷积核大小为1×1，步长大小为2，输出3个特征图；第二层中，卷积核大小变为5×5，步长大小为2，输出32个特征图；第三层中，卷积核大小为3×3，步长大小为2，输出64个特征图；第四层中，卷积核大小为 3×3，步长大小为1，输出192个特征图；第五层中，卷积核大小为3×3，步长大小为1，输出160个特征图；第六层中，卷积核大小为3×3，步长大小为2，输出160个特征图；连接到节点个数为2048的全连接层。随后是两个节点数为m的全连接层，m为选定的特征编码的长度。两个节点数为m的全连接层分别代表图像采样特征高斯分布的均值 Zmean和高斯分布方差的对数表达Zlogstd。最后以此建立一个采样函数，作为反卷积解码器的输入。采样信号为：
Figure GDA0001582368200000111
其中，和Zlogstd分别是由编码器得到的图像高斯分布的均值和方差的对数表达，noise是随机生成的噪声函数。
反卷积解码器，输入层为卷积编码器采样信号，随后连接节点数为15360的全连接层，并将全连接层转换为160*12*8，第一反卷积层中，卷积核大小为3×3，步长大小为 2，输出160个特征图；第二反卷积层中，卷积核大小为3×3，步长大小为1，输出160 个特征图；第三反卷积层中，卷积核大小为3×3，步长大小为1，输出192个特征图；第四反卷积层中，卷积核大小为3×3，步长大小为2，输出64个特征图；第五反卷积层中，卷积核大小为5×5，步长大小为2，输出32个特征图；输出层为一个卷积层，卷积核大小为1×1，步长大小为1，卷积核数目为3。
表一：提出的卷积变分自编码神经网络模型
Figure GDA0001582368200000121
训练好步骤(3)中网络后，使用步骤(3)中网络对手指静脉图像信息进行编码，作为图像特征信息，采用步骤(4)中方法进行分类识别。
(4)将步骤(32)中组成的所述深度特征向量集合通过一个三层全连接神经网络进行分类，对步骤(4)作进一步说明：
步骤(4)采用全连接神经网络模型对所述待识别用户的所述指静脉特征信息进行识别处理，识别所述待识别用户的身份信息，包括：将步骤(3)中获取的所述待识别用户的指静脉特征编码信息输入通过一个三层全连接神经网络模型进行分类处理，输出待识别用户的分类结果，识别所述待识别用户的身份信息。步骤(4)中全连接神经网络包括：输入为步骤(3)中提取到的特征编码值；第一层全连接层，节点个数为2048；第二层全连接层节点个数为1024；输出层节点个数由待识别用户数决定。在训练过程中采用随机丢弃50％节点的方法防止神经网络过拟合。
表二：提出的全连接神经网络模型
Figure GDA0001582368200000131
为了证明该方法的优越性，本实施例比较了传统纹理特征提取方法LBP、HOG和PBBM的性能，在天津智能信号与图像处理重点实验室手指静脉图像公开数据库和清华大学指静脉数据库上进行实验，结果如表三所示。
表3.等误率对比
LBP HOG LBP+HOG PBBM 本实例方法
天津数据库 3.54％ 2.62％ 0.93％ 0.46％ 0.35％
清华数据库 26.95％ 23.53％ 35.16％ 4.55％
在天津智能信号与图像处理重点实验室指静脉数据库上，基于LBP和HOG的融合识别结果等误率为0.93％，基于PBBM识别结果等误率为0.46％，使用本实施例提取特征识别等误率为0.35％。在清华大学的手指静脉数据库中，手指图像受到偏转和图像模糊等情况影响，使用LBP和HOG融合时等误率为35.16％，本实施例提取特征识别时，手指静脉识别等误率下降到4.55％。本实例方法中提取的特征更能表达手指静脉根本信息。所以使用本实例方法提取指静脉图像特征更加有效。
本实施例提出基于卷积变分自编码器神经网络模型的指静脉识别方法，同时使用两个数据库中的图像进行训练，在两个数据库上的识别率都比传统方法的识别率要高，证明了该方法确实可以获得更好的识别性能，对于不同场景采集的数据库依然适用。

Claims (5)

1.一种基于卷积变分自编码器神经网络的手指静脉识别系统，其特征在于，该系统包括图像采集模块、图像预处理模块、图像特征提取模块、图像训练模块和图像识别模块；其中，
所述图像采集模块用于采集用户的手指静脉原始图像；
所述图像预处理模块用于对所述用户的手指静脉原始图像进行预处理；所述图像预处理模块包括灰度化单元、降噪单元、ROI单元以及归一化单元，其中，
所述灰度化单元用于对用户手指静脉原始图像进行灰度化；
所述降噪单元用于对灰度化后的手指静脉图像进行高斯低通滤波去除噪声干扰；
所述ROI单元使用边缘检测算子进行边缘检测获取边缘检测图像中手指边缘区域，以确定手指图像位置，即提取手指静脉感兴趣区域(ROI)图像；
所述归一化单元采用MAX-MIN方法对所提取的手指静脉感兴趣区域图像进行像素归一化处理，处理后每个像素点的像素在[0,1]范围；并采用双线性插值法对像素归一化后图像信息的图像尺寸进行归一化处理，处理后的图像尺寸大小相同，方便下一步处理；
所述图像特征提取模块用于提取预处理后的手指静脉原始图像的特征信息；
所述图像训练模块根据待训练用户的手指静脉原始图像进行训练，得到训练参数；所述图像训练模块包括卷积变分自编码器神经网络模型和全连接神经网络模型，具体包括：
图像获取单元：用于获取所有用户的手指静脉图像信息；
图像预处理单元：对所述所有用户的手指静脉图像信息进行图像预处理，获取预处理后的ROI图像；
特征提取单元：对所述预处理后待识别图像信息输入卷积变分自编码器神经网络进行训练，得到训练后的卷积变分自编码器神经网络的网络参数，采用训练后的卷积变分自编码器神经网络编码器处理输入图像提取特征编码，获取所有用户的手指静脉编码值作为特征值；
训练单元：采用全连接神经网络训练获取的所有用户手指静脉编码值，获取训练后的全连接神经网络参数；
所述图像识别模块根据训练参数识别待识别用户的身份信息。
2.根据权利要求1所述的一种基于卷积变分自编码器神经网络的手指静脉识别系统，其特征在于：所述卷积变分自编码器神经网络包括卷积编码器和反卷积解码器，所述卷积编码器包括依次配合使用的输入层、卷积层、全连接层和输出层；所述反卷积解码器包括依次配合使用的输入层、全连接层、反卷积层和卷积层，卷积编码器的输出为反卷积解码器的输入。
3.一种基于卷积变分自编码器神经网络的手指静脉识别方法，其特征在于，该方法包括以下步骤：
(1)获取用户的手指静脉原始图像；
(2)对所获取的用户的手指静脉原始图像进行预处理，并提取手指静脉感兴趣区域(ROI)图像；包括：
对手指静脉图像灰度化；
对图像进行高斯低通滤波去除噪声干扰；
使用水平边缘检测算子进行边缘检测；
获取边缘检测图像中手指边缘区域，以确定手指图像位置；
沿着水平方向检测上下边缘的中心点，并使用最小二乘法拟合中线，计算出中线与水平线的夹角，根据夹角对手指进行旋转校正；
根据两侧边缘信息，去除背景；
采用MAX-MIN方法对所提取的ROI图像进行像素归一化处理，处理后所述图像每个像素点的像素值在[0,1]范围；
采用双线性插值法对所述像素归一化后图像信息的图像尺寸进行归一化处理，处理后的所述图像尺寸大小相同，方便下一步处理；
(3)将预处理后的手指静脉ROI图像输入卷积变分自编码器神经网络进行训练，得到训练后的卷积变分自编码器神经网络的网络参数，采用训练后的卷积变分自编码器神经网络编码器处理输入图像，得到的编码值作为图像的特征值，获取所有用户的手指静脉编码值用于识别；采用全连接神经网络训练获取的手指静脉编码值，获取训练后的全连接神经网络参数；
包括：选取所述手指静脉感兴趣区域(ROI)图像作为训练图像，将训练样本集合输入至所述卷积变分自编码器神经网络中训练，卷积变分自编码器的输入与输出相同；卷积变分自编码器由卷积编码器和反卷积解码器组成，采用卷积神经网络提取图像法的特征，统一训练卷积编码器和反卷积解码器，完成训练后，选取卷积变分自编码器神经网络模型中编码器的输出作为输入图像的特征值，因此，所述卷积变分自编码器将输入图像变成了一个手指静脉编码值，若干所述手指静脉编码值组成手指静脉编码值集合，以此来表示输入图像；
(4)采用全连接神经网络对待识别用户的手指静脉编码值进行识别处理，识别所述待识别用户的身份信息，输出待识别用户的分类结果。
4.根据权利要求3所述的一种基于卷积变分自编码器神经网络的手指静脉识别方法，其特征在于，所述步骤(4)包括：
获取待识别用户的手指静脉图像信息；
对所述待识别用户的手指静脉图像信息进行图像预处理，获取预处理后待识别的ROI图像；
将所述预处理后待识别的ROI图像信息输入训练后的卷积变分自编码器神经网络提取特征编码，获取待识别用户的手指静脉编码值作为特征值；
采用全连接神经网络处理获取的待识别用户手指静脉编码值，得到识别结果。
5.一种基于卷积变分自编码器神经网络的手指静脉识别方法，其特征在于，该方法包括以下步骤：
(1)获取用户的手指静脉原始图像；
(2)对所获取的用户的手指静脉原始图像进行预处理，并提取手指静脉感兴趣区域(ROI)图像；
(3)将预处理后的手指静脉ROI图像输入卷积变分自编码器神经网络进行训练，得到训练后的卷积变分自编码器神经网络的网络参数，采用训练后的卷积变分自编码器神经网络编码器处理输入图像，得到的编码值作为图像的特征值，获取所有用户的手指静脉编码值用于识别；
(4)采用全连接神经网络训练获取的手指静脉编码值作为特征值，获取训练后的全连接神经网络参数；
(5)采用步骤(4)训练后得到的全连接神经网络对待识别用户的手指静脉编码值进行识别处理，识别所述待识别用户的身份信息，输出待识别用户的分类结果。
CN201711392384.6A 2017-12-21 2017-12-21 基于卷积变分自编码器网络的手指静脉识别方法及系统 Active CN108009520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711392384.6A CN108009520B (zh) 2017-12-21 2017-12-21 基于卷积变分自编码器网络的手指静脉识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711392384.6A CN108009520B (zh) 2017-12-21 2017-12-21 基于卷积变分自编码器网络的手指静脉识别方法及系统

Publications (2)

Publication Number Publication Date
CN108009520A CN108009520A (zh) 2018-05-08
CN108009520B true CN108009520B (zh) 2020-09-01

Family

ID=62060441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711392384.6A Active CN108009520B (zh) 2017-12-21 2017-12-21 基于卷积变分自编码器网络的手指静脉识别方法及系统

Country Status (1)

Country Link
CN (1) CN108009520B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034016B (zh) * 2018-07-12 2021-10-15 辽宁工业大学 一种普适性的基于s-cnn模型的手背静脉图像识别方法
CN109213975B (zh) * 2018-08-23 2022-04-12 重庆邮电大学 一种基于字符层级卷积变分自编码的推特文本表示方法
US11030480B2 (en) * 2018-08-31 2021-06-08 Samsung Electronics Co., Ltd. Electronic device for high-speed compression processing of feature map of CNN utilizing system and controlling method thereof
CN109190566B (zh) * 2018-09-10 2021-09-14 中国民航大学 一种融合局部编码与cnn模型手指静脉识别方法
CN109543535B (zh) * 2018-10-23 2021-12-21 华南理工大学 三维指静脉特征提取方法及其匹配方法
CN109543838B (zh) * 2018-11-01 2021-06-18 浙江工业大学 一种基于变分自编码器的图像增量学习方法
CN109325127B (zh) * 2018-11-28 2021-11-19 创新先进技术有限公司 一种风险识别方法和装置
CN111310515A (zh) * 2018-12-11 2020-06-19 上海耕岩智能科技有限公司 编码遮罩生物特征分析方法、存储介质及神经网络
CN109815869A (zh) * 2019-01-16 2019-05-28 浙江理工大学 一种基于fcn全卷积网络的指静脉识别方法
CN109740569B (zh) * 2019-01-21 2022-12-27 中国民航大学 基于编码器-解码器的手指静脉成像时残缺信息复原方法
CN111460858B (zh) * 2019-01-21 2024-04-12 杭州易现先进科技有限公司 图像中指尖点的确定方法、装置、存储介质及电子设备
CN109754024B (zh) * 2019-01-29 2021-08-24 北京云测信息技术有限公司 图像分类方法和装置
CN109919864A (zh) * 2019-02-20 2019-06-21 重庆邮电大学 一种基于稀疏去噪自编码网络的图像压缩感知方法
CN110217205A (zh) * 2019-02-26 2019-09-10 郑永康 基于图像识别的车辆清洗方法和系统
ES2943287T3 (es) * 2019-02-26 2023-06-12 Identy Inc Método para verificar la identidad de un usuario identificando un objeto dentro de una imagen que tiene una característica biométrica del usuario y separando una porción de la imagen que comprende la característica biométrica de otras porciones de la imagen
CN111696069A (zh) * 2019-03-14 2020-09-22 杭州朝厚信息科技有限公司 利用基于变分自编码器的深度学习神经网络产生表示目标牙齿布局的数字数据集的方法
CN110084238B (zh) * 2019-04-09 2023-01-03 五邑大学 基于LadderNet网络的指静脉图像分割方法、装置和存储介质
CN110147732A (zh) * 2019-04-16 2019-08-20 平安科技（深圳）有限公司 指静脉识别方法、装置、计算机设备及存储介质
CN110334597A (zh) * 2019-05-30 2019-10-15 中国地质大学（武汉） 基于Gabor神经网络的指静脉识别方法及系统
CN110532851B (zh) * 2019-07-04 2022-04-15 珠海格力电器股份有限公司 指静脉识别方法、装置、计算机设备和存储介质
CN110334667B (zh) * 2019-07-10 2023-07-25 广东工业大学 基于ircnn和mtcnn的具有尺度旋转不变性的静脉识别方法及系统
CN110414576A (zh) * 2019-07-12 2019-11-05 西安格威西联科技有限公司 一种基于余弦中心损失的识别方法及一种卷积神经网络
CN110260925B (zh) * 2019-07-12 2021-06-25 重庆赛迪奇智人工智能科技有限公司 司机停车技术优劣的检测方法及其系统、智能推荐方法、电子设备
CN110390282A (zh) * 2019-07-12 2019-10-29 西安格威西联科技有限公司 一种基于余弦中心损失的指静脉识别方法及系统
CN110555380A (zh) * 2019-07-30 2019-12-10 浙江理工大学 基于Center Loss损失函数的指静脉识别方法
CN110717469B (zh) * 2019-10-16 2022-04-12 山东浪潮科学研究院有限公司 一种基于相关性语义特征学习的手指静脉识别方法及系统
CN110826627A (zh) * 2019-11-06 2020-02-21 广东三维家信息科技有限公司 图像相似度测量方法、装置及电子设备
CN111178221A (zh) * 2019-12-24 2020-05-19 珠海格力电器股份有限公司 身份识别方法及装置
CN111310688B (zh) * 2020-02-25 2023-04-21 重庆大学 一种基于多角度成像的手指静脉识别方法
CN111368795B (zh) * 2020-03-19 2023-04-18 支付宝(杭州)信息技术有限公司 一种人脸特征提取方法、装置及设备
CN111415009B (zh) * 2020-03-19 2021-02-09 四川大学 基于遗传算法的卷积变分自编码器网络结构搜索方法
CN111652041A (zh) * 2020-04-14 2020-09-11 河北地质大学 基于深度子空间聚类的高光谱波段选择方法、设备和装置
CN111950461B (zh) * 2020-08-13 2022-07-12 南京邮电大学 基于卷积神经网络的形变检测与矫正的手指静脉识别方法
CN112015932A (zh) * 2020-09-11 2020-12-01 深兰科技（上海）有限公司 一种基于神经网络的图片存储方法、介质及装置
CN112232157B (zh) * 2020-09-30 2022-03-18 墨奇科技（北京）有限公司 指纹区域检测方法、装置、设备、存储介质
WO2022068931A1 (zh) * 2020-09-30 2022-04-07 墨奇科技（北京）有限公司 非接触指纹识别方法、装置、终端及存储介质
CN112749747B (zh) * 2021-01-13 2022-11-11 上海交通大学 垃圾分类质量评估方法及系统
CN112926505B (zh) * 2021-03-24 2022-11-11 重庆大学 基于dtc-vae神经网络的旋转机械健康指标构建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067396B (zh) * 2017-04-26 2021-11-16 中国人民解放军总医院 一种基于自编码器的核磁共振图像处理装置与方法
CN107392114A (zh) * 2017-06-29 2017-11-24 广州智慧城市发展研究院 一种基于神经网络模型的手指静脉识别方法及系统

Also Published As

Publication number Publication date
CN108009520A (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
CN108009520B (zh) 基于卷积变分自编码器网络的手指静脉识别方法及系统
CN107729820B (zh) 一种基于多尺度hog的手指静脉识别方法
CN110543822A (zh) 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法
JP7130905B2 (ja) フィードフォワード畳み込みニューラルネットワークを使用した高速且つ堅牢な皮膚紋理の印のマニューシャの抽出
CN110287780B (zh) 一种光照下人脸图像特征提取方法
CN110570443B (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
CN112597812A (zh) 一种基于卷积神经网络和sift算法的手指静脉识别方法及系统
CN110555380A (zh) 基于Center Loss损失函数的指静脉识别方法
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN113095156B (zh) 一种基于逆灰度方式的双流网络签名鉴定方法及装置
CN114973308A (zh) 弹性权重固化和多元相似损失的手指静脉识别方法及系统
CN114821682A (zh) 一种基于深度学习算法的多样本混合掌静脉识别方法
Rehman et al. Identity verification using palm print microscopic images based on median robust extended local binary pattern features and k‐nearest neighbor classifier
CN105488460A (zh) 基于生理特征的图像处理方法
Achban et al. Wrist hand vein recognition using local line binary pattern (LLBP)
CN110443217B (zh) 一种基于多光谱的指纹防伪方法及系统
CN114973307A (zh) 生成对抗和余弦三元损失函数的指静脉识别方法及系统
CN113657498B (zh) 生物特征提取方法、训练方法、认证方法、装置和设备
Thiyaneswaran et al. Iris Recognition using Left and Right Iris Feature of the Human Eye for Biometric Security System
Deepamalar et al. An enhanced palm vein recognition system using multi-level fusion of multimodal features and adaptive resonance theory
Jose et al. Towards building a better biometric system based on vein patterns in human beings
Mansour Iris recognition using gauss laplace filter
Hariprasath et al. Bimodal biometric pattern recognition system based on fusion of iris and palmprint using multi-resolution approach
Punyani et al. Iris recognition system using morphology and sequential addition based grouping
CN105426853A (zh) 基于图像的人体特征识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190917

Address after: 712000 East Section of Lanchi Avenue, Qin-Han New Town, Xixian New District, Xianyang City, Shaanxi Province

Applicant after: Xi'an Geweixi United Technology Co., Ltd.

Address before: 211189 Jiangsu Road, Jiangning District, Southeast University, No. 2, No.

Applicant before: Southeast University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant