CN106529468B - 一种基于卷积神经网络的手指静脉识别方法及系统 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络的手指静脉识别方法及系统，该方法包括采集原始注册的手指静脉图像；将原始注册的所述手指静脉图像进行处理，由所述手指静脉图像中提取手指静脉感兴趣区域图像；通过卷积神经网络提取所述手指静脉感兴趣区域中的手指静脉深度特征，并将其输入到支持向量机中进行分类得到手指静脉增强图像；通过二值化增强图像得到手指静脉特征图像；利用该模型对预识别的所述手指静脉图像进行特征提取，并匹配这些特征实现身份认证。本发明能够有效地提取手指静脉特征，明显改善手指静脉识别系统的识别精度。

Description

一种基于卷积神经网络的手指静脉识别方法及系统

技术领域

本发明属于生物特征识别技术领域，特别涉及一种基于卷积神经网络的手指静脉识别方法及系统。

背景技术

生物特征识别技术是利用人体生物特征或者行为特征进行人体身份认证，其中，行为特征包括签名、语音、步态等，人体生物特征主要包括两大类：外部生物特征，如指纹、掌型、虹膜视、脸型等；内部生物特征，如手指静脉、手背静脉和手掌静脉等，在外部生物特征中，由于指纹识别具有很强的唯一性、稳定性、易用性等特点，应用极为广泛。但是，在指纹识别中，必须要求使用者在录入指纹时保持手指洁净、光滑，因为任何存在于指纹上的脏东西或污点都能给识别带来困难，且指纹易于伪造，甚至出现一种用硅树脂制造的克隆指纹，导致指纹识别技术的安全系数比较低，与外部生物特征相比，内部生物特征很难盗取和伪造，因此具有更高的安全性能，在内部生物特征中，因为手指静脉特征具有很强的普遍性和唯一性，因此，手指静脉识别成为近年来生物识别技术开辟的新领域。

手指静脉识别通常利用透射光或反射光两种方式获取手指静脉图像，然后从手指静脉图像中提取静脉特征，进行特征匹配，从而实现了手指静脉识别，确认使用者身份。为此，在手指静脉识别过程中，由于手指静脉图像的采集受多种因素的影响，如环境光、环境温度、光散射，所以手指静脉识别仍然面临着严峻的挑战。在实际应用中这些因素很难被控制和克服，所以采集的图像中包含了许多模糊区域，在这些区域中，手指静脉特征与背景之间的区分度很差，一般情况下，匹配图像中模糊区域会导致认证精度的大大降低。

为了实现有效地通过手指静脉特征识别实现使用者身份认证，目前学者提出了不同的方法来提取手指静脉的网络纹理结构，这些方法在不同的手指静脉数据库上取得不错的识别效果。例如现有专利公开号为CN105518716A公开的手指静脉识别方法及装置，该技术中假设手指静脉像素点的灰度值是线形分布，然后建立数学模型检测其分布特征实现对手指静脉纹路特征的提取，该专利提供的方法在具体使用时存在以下缺陷：1)在很多情况下，这些假设条件不成立。例如，一些手指静脉特征经过噪声腐蚀后，它们分布不具备明显的谷形或者线形特征。相反地，一些背景区域在噪声的干扰下产生一些与假设相似的分布特性。因此，这些方法的识别性能有限；2)由于图像像素点对应的区域能够产生不同的分布，因此不可能研究所有与静脉特征相关的分布；3)通常情况下，即使知道了静脉像素灰度值的分布，但是由于这些分布相当复杂，因此也很难建立有效的数学模型去提取每个分布的特征。因此，目前基于手工特征的方法很难有效地提取到手指静脉纹路信息，导致认证系统的识别性能有限。

发明内容

为了解决现有的手指静脉识别技术中手指静脉图形不清晰，无法有效地提取到手指静脉纹路信息，进而导致认证系统的识别性能有限等问题，本发明提供了一种能够准确的提取图像手指静脉纹路信息，减少提取错误特征和漏掉真实特征，同时可以提高整个系统的识别精度的基于卷积神经网络的手指静脉识别方法及系统。

本发明具体技术方案如下：

本发明提供了一种基于卷积神经网络的手指静脉识别方法，该方法包括以下步骤：

S1、采集原始注册的手指静脉图像；

S2、将原始注册的所述手指静脉图像进行处理，由所述手指静脉图像中提取手指静脉感兴趣区域图像；

S3、通过卷积神经网络提取所述手指静脉感兴趣区域中的手指静脉深度特征，并经过概率支持向量机得到手指静脉特征图像，具体方法如下：

S3-1、选取所述手指静脉感兴趣区域作为训练图像，在所述训练图像的清晰区域中标注背景像素点和静脉像素点，同时分别以所述背景像素点和所述静脉像素点为中心划分为若干背景子块和静脉子块，并分别对所述背景子块和所述静脉子块标注标签，若干标注有标签的所述背景子块和所述静脉子块组成训练样本集合；

S3-2、将所述训练样本集合输入至所述卷积神经网络中进行分类模型的训练，所述卷积神经网络对应每个标注有标签的所述背景子块和所述静脉子块均输出一个深度特征向量，若干所述深度特征向量组成深度特征向量集合；

S3-3、将步骤S3-2中组成的所述深度特征向量集合通过概率支持向量机进行分类计算若干所述深度特征向量属于手指静脉特征的概率值；

S3-4、将步骤S3-3中得到的所述概率值显示在一个矩阵中得到增强的手指静脉特征图像；

S3-5、对步骤S3-4中得到的所述手指静脉特征图像进行二值化处理即得到手指静脉网络结构；

S4、采集待识别的所述手指静脉图像，并依次经过步骤S2、步骤S3的处理，同时根据所述手指静脉特征图像进行匹配和认证：

S4-1、将待识别的所述手指静脉图像首先经过S2处理得到待识别的手指静脉感兴趣区域图像，然后以每个像素点为中心，将待识别的手指静脉感兴趣区域图像经过步骤S3-1处理分为若干个子块，然后经过步骤S3-2、S3-3、S3-4和S3-5处理得到待识别的手指静脉特征图像；

S4-2、将原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像进行延伸得到模板图像，将待识别的所述手指静脉特征图像在所述模板图像上沿水平或垂直方向平移，并计算不同位置时两幅所述手指静脉特征图像中手指静脉特征的重合度；

S4-3、选取所有位置上对应的最大重合度作为两幅所述手指静脉特征图像的匹配分数，若所述匹配分数小于预设的阈值，则认证失败，反之，则认证成功。

进一步的，步骤S2中，所述手指静脉感兴趣区域的提取方法包括以下步骤：

S2-1、对所述手指静脉图像的边缘进行检测得到手指边缘图像，同时将所述手指静脉图像进行二值化处理得到二值图像，然后将所述二值图像减去所述手指边缘图像即得到差值图像；

S2-2、通过预设的阈值将所述差值图像中剔除面积较小的噪声和背景区域，即得到仅含有手指区域的二值图像；

S2-3、对仅含有手指区域的二值图像和原始的所述手指静脉图像进行归一化处理并进行相乘后即得到所述手指静脉感兴趣区域图像。

进一步的，步骤S2-3中，对仅含有手指区域的二值图像和原始的所述手指静脉图像进行归一化处理的方法包括以下步骤：

①旋转方向的纠正：计算所述差值图像的p+q阶距m_pq及重心和

其p+q阶中心距u_pq的计算如下

通过上面等式计算矩u₁₁、u₁₂和u₂₂，然后下面的公式计算旋转角度θ：

利用计算得到的所述旋转角度θ对原始的所述手指静脉图像和仅含有手指区域的二值图像进行纠正；

②平移方向的纠正：计算所述差值图像的中心距u₀₀，u₁₀和u₀₁，并利用中心距u₀₀，u₁₀和u₀₁计算出其水平方向和竖直方向的偏移量Δ_x＝u₁₀/u₀₀和Δ_y＝u₀₁/u₀₀，利用计算得到的所述偏移量对步骤①中纠正后的原始的所述手指静脉图像和仅含有手指区域的二值图像在水平和垂直方向进行归一化处理；

③计算平移和旋转后的所述手指静脉感兴趣区域图像：将经过步骤①和步骤②纠正后的原始的所述手指静脉图像和仅含有手指区域的二值图像进行相乘得到仅含有手指区域的灰度图像，即为所述手指静脉感兴趣区域图像。

进一步的，步骤S3-3中，所述概率支持向量机通过以下公式计算所述深度特征向量集合内若干所述深度特征向量属于手指静脉特征的概率值P，

其中,ξ(v)表示概率支持向量机的输出值，ω和γ表示概率支持向量机训练得到的两个参数。

优选的，步骤S3中所述的卷积神经网络由依次配合使用的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全链接层和输出层组成。

优选的，所述第一卷积层、第二卷积层中，第l层的特征图像按照如下公式计算：

其中，是第l层的输入谱，是第m个输入和n个输出特征谱之间的卷积核，*是卷积操作,M^l-1是输入特征谱的数量,是第n个输出谱的偏移。

优选的，步骤S4-2中，通过以下公式计算两幅所述手指静脉特征图像的匹配分数N(T,R)，

其中，

若匹配分数N(T,R)小于预设的阈值，则认证失败；反之，则认证成功；

其中，R为原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像，T为待识别的所述手指静脉图像经过处理得到的所述手指静脉特征图像，为模板图像，m为原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像的宽度，n为原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像的高度，w为两幅所述手指静脉特征图像在水平方向移动的距离，h为两幅所述手指静脉特征图像在垂直方向移动的距离。

本发明还提供了一种基于卷积神经网络的手指静脉识别系统，包括数据库和与所述数据库相通讯的采集模块、区域提取模块、手指静脉特征提取模块、识别模块，所述采集模块用于采集原始注册的手指静脉图像和待识别的所述手指静脉图像；所述区域提取模块用于将所述手指静脉图像中提取手指静脉感兴趣区域图像；所述手指静脉特征提取模块通过卷积神经网络提取所述手指静脉感兴趣区域中的手指静脉特征，并得到手指静脉特征图像；所述识别模块用于根据所述手指静脉特征图像，对待识别的所述手指静脉图像进行匹配和认证；

所述手指静脉特征提取模块包括子块标记模块、训练样本集合建立模块、卷积神经网络训练模块、深度特征向量集合建立模块、概率支持向量机训练模块，所述子块标记模块用于将所述背景像素点和所述静脉像素点为中心划分为若干背景子块和静脉子块，同时分别对所述背景子块和所述静脉子块标注标签，并发送至所述训练样本集合建立模块；所述训练样本集合建立模块用于将若干标注有标签的所述背景子块和所述静脉子块组成训练样本集合，同时将所述训练样本集合发送至所述卷积神经网络训练模块；所述卷积神经网络训练模块包括相通讯的第一接收单元、第一训练单元和第一输出单元，所述第一接收单元用于接收所述训练样本集合，所述第一训练单元用于根据所述训练样本集合对卷积神经网络进行训练，所述第一输出单元用于对应每个标注有标签的所述背景子块和所述静脉子块均输出一个深度特征向量，并发送至所述深度特征向量集合建立模块；

所述深度特征向量集合建立模块用于将若干所述深度特征向量组成深度特征向量集合并发送至所述概率支持向量机训练模块；

所述概率支持向量机训练模块包括相通讯的第二接收单元、第二训练单元、概率输出单元和图像处理单元，所述第二接收单元用于接收所述深度特征向量集合，所述第二训练单元用于根据所述深度特征向量集合对概率支持向量机进行训练，所述概率输出单元通过概率支持向量机进行分类用于对应每个标注有标签的所述深度特征向量集合输出一个特征向量值，并用于计算若干所述特征向量值属于手指静脉特征的概率值，若干所述概率值显示在一个矩阵中形成一幅增强的手指静脉特征图像，所述图像处理单元用于将所述手指静脉特征图像进行二值化处理即得到手指静脉的网络结构；

所述识别模块包括相通讯的模板建立单元、匹配分数计算单元和识别单元，所述模板建立单元用于将原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像进行延伸得到模板图像；所述匹配分数计算单元用于将待识别的所述手指静脉图像经过处理得到的所述手指静脉特征图像在所述模板图像上沿水平或垂直方向平移，并计算两幅所述手指静脉特征图像中手指静脉特征的匹配分数；所述识别单元用于比较所述匹配分数与预设的阈值的大小，若所述匹配分数小于预设的阈值，则认证失败，反之，则认证成功。所述区域提取模块包括相通讯的图像预处理单元、手指区域筛选单元和兴趣区域提取单元，所述图像预处理单元用于对所述手指静脉图像的边缘进行检测得到手指边缘图像，同时将所述手指静脉图像进行二值化处理得到二值图像；所述手指区域筛选单元用于将所述二值图像减去所述手指边缘图像即得到差值图像，同时通过预设的阈值将所述差值图像中剔除面积较小的噪声和背景区域，即得到仅含有手指区域的二值图像；所述兴趣区域提取单元用于对仅含有手指区域的二值图像和原始的所述手指静脉图像进行归一化处理并进行相乘后得到所述手指静脉感兴趣区域图像。

本发明的有益效果如下：本发明提出的基于深度卷积神经网络静脉识别方法，能够很大程度上提升手指静脉识别的准确度和正确率，与其他手指静脉识别方法相比，其有益效果体现在以下几个方面：

1.本发明提出的手指静脉图像预处理方法能够提取图像的感兴趣区域并能有效对其进行旋转和平移纠正，有效提高图像之间的匹配精度；2.本发明是首次将卷积神经网络用于手指静脉特征的分割，实现对个人身份的有效认证；3.本发明利用概率支持向量对深度特征进行的分类，从而有效地提高了静脉特征分割的精度；4.本发明提出的基于深度卷积神经网络的手指静脉识别方法，不仅适用于手指静脉图像的分割，而且可以应用到手背静脉和手掌静脉图像的分割中。

附图说明

图1为实施例1所述的一种基于卷积神经网络的手指静脉识别方法的流程图；

图2为实施例4所述的一种基于卷积神经网络的手指静脉识别方法中卷积神经网络的训练流程图；

图3为实施例5所述的一种基于卷积神经网络的手指静脉识别系统的结构框图；

图4为实施例6所述的一种基于卷积神经网络的手指静脉识别系统中区域提取模块的结构框图。

其中：1、数据库；2、采集模块；3、区域提取模块；31、图像预处理单元；32、手指区域筛选单元；33、兴趣区域提取单元；4、手指静脉特征提取模块；41、子块标记模块；42、训练样本集合建立模块；43、卷积神经网络训练模块；431、第一接收单元；432、第一训练单元；433、第一输出单元；44、深度特征向量集合建立模块；45、概率支持向量机训练模块；451、第二接收单元；452、第二训练单元；453、概率输出单元；454、图像处理单元；5、识别模块；51、模板建立单元；52、匹配分数计算单元；53、识别单元。

具体实施方式

下面结合附图和以下实施例对本发明作进一步详细说明。

实施例1

如图1所示，本发明实施例1提供了一种基于卷积神经网络的手指静脉识别方法，本发明在使用时，首先提取出图像中手指区域并利用中心矩阵对手指区域进行旋转和平移纠正，然后对手指静脉图像中的静脉像素点和背景像素点进行标注，并根据这些标注的像素点把图像划分层不同的子块，利用这些子块对深度卷积神经网络进行训练得到其高层次特征表达，实现对手指静脉图像中的静脉纹路特征的提取，最后通过计算两幅特征图像的相似度对个人身份进行认证。

具体方法包括以下步骤：

S1、采集原始注册的手指静脉图像，手指静脉图像保存在系统中。

S2、将原始注册的所述手指静脉图像进行处理，由所述手指静脉图像中提取手指静脉感兴趣区域图像；具体图像处理时：首先利用阈值分割技术和边缘检测方法从采集图像中分割出手指区域。然后，计算手指区域图像的中心矩得到手指的旋转和平移量。最后利用它们对采集图像(灰度图像)和手指区域图像(二值图像)同时进行归一化。通过归一化后两幅图像相乘得到只含有手指区域的灰度图像，即得到手指静脉感兴趣区域图像。

S3、通过卷积神经网络提取所述手指静脉感兴趣区域中的手指静脉深度特征，并得到手指静脉特征图像，具体方法如下。

S3-1、选取所述手指静脉感兴趣区域作为训练图像，在所述训练图像的清晰区域(即肉眼容易够分辨的区域)中标注背景像素点和静脉像素点，同时分别以所述背景像素点和所述静脉像素点为中心划分为若干背景子块和静脉子块，并分别对所述背景子块和所述静脉子块标注标签，若干标注有标签的所述背景子块和所述静脉子块组成训练样本集合。

S3-2、将所述训练样本集合输入至所述卷积神经网络中进行分类模型的训练，完成训练后，选取卷积神经网络模型中全连接层的输出为输入块的深度特征表达。因此，所述卷积神经网络对应每个标注有标签的所述背景子块和所述静脉子块均输出一个深度特征向量，若干所述深度特征向量组成深度特征向量集合。

S3-3、将步骤S3-2中组成的所述深度特征向量集合通过概率支持向量机进行分类计算若干所述深度特征向量属于手指静脉特征的概率值。

S3-4、将步骤S3-3中得到的所述概率值显示在一个矩阵中得到增强的手指静脉特征图像。

S3-5、对步骤S3-4中得到的所述手指静脉特征图像进行二值化处理即得到手指静脉网络结构。

S4、采集待识别的所述手指静脉图像，并依次经过步骤S2、步骤S3的处理，同时根据所述手指静脉特征图像进行匹配和认证：

S4-1、将待识别的所述手指静脉图像首先经过S2处理得到待识别的手指静脉感兴趣区域图像，然后以每个像素点为中心，将待识别的手指静脉感兴趣区域图像经过步骤S3-1处理分为若干个子块，然后经过步骤S3-2、S3-3、S3-4和S3-5处理得到待识别的手指静脉特征图像。

S4-2、将原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像进行延伸得到模板图像，将待识别的所述手指静脉特征图像在所述模板图像上沿水平或垂直方向平移，并计算不同位置时两幅所述手指静脉特征图像中手指静脉特征的重合度。

S4-3、选取所有位置上对应的最大重合度作为两幅所述手指静脉特征图像的匹配分数，若所述匹配分数小于预设的阈值，则认证失败，反之，则认证成功。

对于一幅待识别的手指静脉图像中任意一像素点，以该点为中心可以到一个子块。然后把该子块输出到卷积神经网络模型中提取到深度特征并将该特征向量输入到概率支持向量机中得到该像素点属于静脉特征的概率。重复这个过程直到计算出所有像素点概率后，最终得到增强的静脉图像。然后通过对其进行二值化得到静脉纹路信息。本发明利用概率支持向量对深度特征进行的分类，从而有效地提高了静脉特征分割的精度。本发明提出的基于深度卷积神经网络的手指静脉识别方法，不仅适用于手指静脉图像的分割，而且可以应用到手背静脉和手掌静脉图像的分割中。

实施例2

本技术方案中，为了提高静脉特征分割的精度，能够有效对手指静脉图像进行精确识别。

进一步的，步骤S3-3中，所述概率支持向量机通过以下公式计算所述深度特征向量集合内若干所述深度特征向量属于手指静脉特征的概率值P，

其中，ξ(v)表示概率支持向量机的输出值，ω和γ表示概率支持向量机训练得到的两个参数。

实施例3

本技术方案中，在实施例1和实施例2的基础上进一步限定了如何进行预识别图像的匹配认证，步骤S4-2中，通过以下公式计算两幅所述手指静脉特征图像的匹配分数N(T,R)，

其中，

若匹配分数N(T,R)小于预设的阈值，则认证失败；反之，则认证成功；

其中，R为原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像，T为待识别的所述手指静脉图像经过处理得到的所述手指静脉特征图像，为模板图像，m为原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像的宽度，n为原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像的高度，w为两幅所述手指静脉特征图像在水平方向移动的距离，h为两幅所述手指静脉特征图像在垂直方向移动的距离。

在测试阶段，对于一幅待识别的手指静脉图像F，首先根据每个像素点(x,y)得到它的子块，利用训练后的卷积神经网络提出深度特征，然后进行识别认证。

实施例4

本发明实施例4在实施例1-3的基础上，提供了以下实验例，有效证明本发明实施例的可实施性。

本发明以香港理工大学手指静脉数据库进行举例说明。香港理工大学手指图像数据库由来自男女志愿者同时采集手指静脉和手指表面纹理图像构建而成。2009年4月开始在香港理工大学校园内使用非接触式成像设备来完成手指静图像的采集，并在2010年3月完成。当前手指静脉数据库包含156人的3132幅手指静脉图像。数据的采集分两个阶段，其最小时间间隔为一个月，最大时间间隔超过六个月。每个人提供两根手指，在每一个采集阶段中每根手指提供6幅图像样本，所以在两个阶段每个人提供了24幅图像。其中，前面105人参与了两个阶段的采集，所以有2520图像来至两个阶段。剩下51个人只参与第二个阶段的图像采集，总共有612幅图像。由于两个阶段图像更符合实际情况，本发明仅仅使用了从105个人中采集的2520图像(105个人×2根手指×6幅图像×2个阶段)。

(1)步骤S2中，手指静脉图像的预处理及所述手指静脉感兴趣区域的提取方法包括以下步骤：

图像二值化和边缘检测：对所述手指静脉图像的边缘进行检测得到手指边缘图像J，同时将所述手指静脉图像进行二值化处理得到二值图像B，同时将所述二值图像B减去所述手指边缘图像J即得到差值图像D；

其中，I(x,y)表示在像素点(x,y)处的灰度值，t是一个阈值；

差值图像D＝B-J。

手指区域的提取：通过预设的阈值将所述差值图像中剔除面积较小的噪声和背景区域，即得到仅含有手指区域的二值图像；预设获得差值图像D中有N个8联通区域,第i个区域的面积大小R_i，i＝1,2,…,N和对应区域的坐标集合为z_i，

S2-3、对仅含有手指区域的二值图像和原始的所述手指静脉图像进行归一化处理并进行相乘后即得到所述手指静脉感兴趣区域图像。

进一步的，步骤S2-3中，对仅含有手指区域的二值图像和原始的所述手指静脉图像进行归一化处理的方法包括以下步骤：

①旋转方向的纠正：计算所述差值图像的p+q阶距m_pq及重心和

其p+q阶中心距u_pq的计算如下

通过上面等式计算矩u₁₁、u₁₂和u₂₂，然后下面的公式计算旋转角度θ：

利用计算得到的所述旋转角度θ对原始的所述手指静脉图像和仅含有手指区域的二值图像进行纠正；

②平移方向的纠正：计算所述差值图像的中心距u₀₀，u₁₀和u₀₁，并利用中心距u₀₀，u₁₀和u₀₁计算出其水平方向和竖直方向的偏移量Δ_x＝u₁₀/u₀₀和Δ_y＝u₀₁/u₀₀，利用计算得到的所述偏移量对步骤①中纠正后的原始的所述手指静脉图像和仅含有手指区域的二值图像在水平和垂直方向进行归一化处理；

③计算平移和旋转后的所述手指静脉感兴趣区域图像：将经过步骤①和步骤②纠正后的原始的所述手指静脉图像和仅含有手指区域的二值图像进行相乘得到仅含有手指静脉区域的灰度图像，即为所述手指静脉感兴趣区域图像。

经过旋转方向和平移方向纠正的图像，能够有效提高图像之间的匹配精度。

(2)静脉和背景像素点的标注

在数据库中，利用步骤(1)每幅图像进行预处理后得到归一化的感兴趣区域图像。当每根手指被当作一个类别，那么总共有210类(105个人×2根手指)。然后，选取前105根手指的1260幅图像作为训练集合，剩下的图像作为测试集合。对于训练集合类的所有图像，人为的标注每幅图像中静脉像素点和背景像素点(例如，1表示静脉像素点和0表示背景像素点)，对于肉眼很难分辨的模糊的区域像素点不与标注。随后，以这些像素点为中心将图像划分成不同的块(背景块和静脉块)，建立训练数据集合。

(3)基于卷积神经网络的深度特征表达

如图2所示，展示一个静脉子块输入到卷积神经网络进行训练的过程。

第一步卷积神经网络

优选的，步骤S3中所述的卷积神经网络由依次配合使用的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全链接层和输出层组成。

优选的，所述第一卷积层、第二卷积层中，第l层的特征图像按照如下公式计算：

其中，是第l层的输入谱，是第m个输入和n个输出特征谱之间的卷积核，*是卷积操作,M^l-1是输入特征谱的数量,是第n个输出谱的偏移。

池化层：I^k表示k个卷积核与输入特征图像进行卷积后得到第k个输出谱。然后，在I^k中s×s局部区域内进行池化后的值计算如下：

丢弃法：在全连接层中，随机地让一半的神经元为0。

输出层：在输出层中，利用softmax函数来预测到N个类的概率。

其中，最后一个隐含层的输出x_m的线性组合。

第二步卷积神经网络的训练

对于一图像子块，它的标签为q∈{0,1}。训练集合表示为{(F₁,q₁),(F₂,q₂),…,(F_N,q_N)},其中N表示训练集合子块的个数。通过该选练集合对卷积神经网络进行训练。然后，全链接层输出每一子块的深度特征向量v，并由这些所述深度特征向量组成一个深度特征向量集合对概率支持向量机进行训练。

(4)静脉特征提取

利用深度特征向量v及它的标签q∈{0,1}对概率支持向量机(P-SVM)进行训练，其输出概率值为p。

其中，ξ(v)表示传统概率支持向量机的输出，ω和γ表示概率支持向量机训练得到的两个参数。经过训练后，概率支持向量机可以计算任意输入特征向量v的属于静脉特征的概率。

在测试阶段，对于一幅待识别的手指静脉图像F，首先根据每个像素点(x,y)得到它的子块，利用训练后的卷积神经网络提出深度特征并将其输入到概率支持向量机中计算该点属于静脉特征的概率。当计算图像中所有像素点的概率后，得到一幅增强的图像F'。通过对其进行二值化得到静脉网络结构f(x,y)。

(5)静脉特征的匹配和认证

假设R和T表示注册和测试静脉特征图像，其大小为m×n。通过对图像R宽度和高度延伸到2w+m和2h+n得到模板图像其表达式如下

然后，R和T之间的匹配分数N(T,R)计算如下

其中，w和h控制两幅图像在水平和垂直方向上移动的距离。Φ定义如下：

如果N(T,R)小于一个阈值，认证失败；否则，认证成功。

实施例5

如图3所示，本发明实施例5在实施例1-4提供的识别方法的基础上同时提供了一种基于卷积神经网络的手指静脉识别系统，包括数据库1和与所述数据库1相通讯的采集模块2、区域提取模块3、手指静脉特征提取模块4、识别模块5，所述采集模块2用于采集原始注册的手指静脉图像和待识别的所述手指静脉图像；所述区域提取模块3用于将所述手指静脉图像中提取手指静脉感兴趣区域图像；所述手指静脉特征提取模块4通过卷积神经网络提取所述手指静脉感兴趣区域中的手指静脉特征，并得到手指静脉特征图像；所述识别模块5用于根据所述手指静脉特征图像，对待识别的所述手指静脉图像进行匹配和认证。

所述手指静脉特征提取模块4包括子块标记模块41、训练样本集合建立模块42、卷积神经网络训练模块43、深度特征向量集合建立模块44、概率支持向量机训练模块45，所述子块标记模块41用于将所述背景像素点和所述静脉像素点为中心划分为若干背景子块和静脉子块，同时分别对所述背景子块和所述静脉子块标注标签，并发送至所述训练样本集合建立模块42；所述训练样本集合建立模块42用于将若干标注有标签的所述背景子块和所述静脉子块组成训练样本集合，同时将所述训练样本集合发送至所述卷积神经网络训练模块43；所述卷积神经网络训练模块43包括相通讯的第一接收单元431、第一训练单元432和第一输出单元433，所述第一接收单元431用于接收所述训练样本集合，所述第一训练单元432用于根据所述训练样本集合对卷积神经网络进行训练，所述第一输出单元433用于对应每个标注有标签的所述背景子块和所述静脉子块均输出一个深度特征向量，并发送至所述深度特征向量集合建立模块44。

所述深度特征向量集合建立模块44用于将若干所述深度特征向量组成深度特征向量集合并发送至所述概率支持向量机训练模块45。

所述概率支持向量机训练模块45包括相通讯的第二接收单元451、第二训练单元452、概率输出单元453和图像处理单元454，所述第二接收单元451用于接收所述深度特征向量集合，所述第二训练单元452用于根据所述深度特征向量集合对概率支持向量机进行训练，所述概率输出单元453通过概率支持向量机进行分类用于对应每个标注有标签的所述深度特征向量集合输出一个特征向量值，并用于计算若干所述特征向量值属于手指静脉特征的概率值，若干所述概率值显示在一个矩阵中形成一幅增强的手指静脉特征图像，所述图像处理单元454用于将所述手指静脉特征图像进行二值化处理即得到手指静脉的网络结构。

所述识别模块5包括相通讯的模板建立单元51、匹配分数计算单元52和识别单元53，所述模板建立单元51用于将原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像进行延伸得到模板图像；所述匹配分数计算单元52用于将待识别的所述手指静脉图像经过处理得到的所述手指静脉特征图像在所述模板图像上沿水平或垂直方向平移，并计算两幅所述手指静脉特征图像中手指静脉特征的匹配分数；所述识别单元53用于比较所述匹配分数与预设的阈值的大小，若所述匹配分数小于预设的阈值，则认证失败，反之，则认证成功。

本发明实施例5提供的系统结构简单，使用方便，其能够准确提取手指静脉纹路信息，很大程度上提升手指静脉图像的识别精度，能够有效用于身份识别，减少提取错误特征和漏掉真实特征，同时可以提高整个系统的识别精度，实用性强。

实施例6

如图4所示，本发明实施例6在实施例5的基础上，进一步限定了所述区域提取模块3包括相通讯的图像预处理单元31、手指区域筛选单元32和兴趣区域提取单元33，所述图像预处理单元31用于对所述手指静脉图像的边缘进行检测得到手指边缘图像，同时将所述手指静脉图像进行二值化处理得到二值图像；所述手指区域筛选单元32用于将所述二值图像减去所述手指边缘图像即得到差值图像，同时通过预设的阈值将所述差值图像中剔除面积较小的噪声和背景区域，即得到仅含有手指区域的二值图像；所述兴趣区域提取单元33用于对仅含有手指区域的二值图像和原始的所述手指静脉图像进行归一化处理并进行相乘后得到所述手指静脉感兴趣区域图像。

本发明提供的系统能够有效对手指静脉图像进行处理，同时能够提高待识别的手指静脉图像的识别精度，能够准确的提取图像手指静脉纹路信息，减少提取错误特征和漏掉真实特征，同时可以提高整个系统的识别精度。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络的手指静脉识别方法，其特征在于，该方法包括以下步骤：

S1、采集原始注册的手指静脉图像；

S2、将原始注册的所述手指静脉图像进行处理，由所述手指静脉图像中提取手指静脉感兴趣区域图像；

所述手指静脉感兴趣区域的提取方法包括以下步骤：

S2-1、对所述手指静脉图像的边缘进行检测得到手指边缘图像，同时将所述手指静脉图像进行二值化处理得到二值图像，然后将所述二值图像减去所述手指边缘图像即得到差值图像；

S2-2、通过预设的阈值将所述差值图像中剔除面积较小的噪声和背景区域，即得到仅含有手指区域的二值图像；

S2-3、对仅含有手指区域的二值图像和原始的所述手指静脉图像进行归一化处理并进行相乘后得到所述手指静脉感兴趣区域图像；

S3、通过卷积神经网络提取所述手指静脉感兴趣区域中的手指静脉深度特征，并经过概率支持向量机得到手指静脉特征图像，具体方法如下：

S3-1、选取所述手指静脉感兴趣区域作为训练图像，在所述训练图像的清晰区域中标注背景像素点和静脉像素点，同时分别以所述背景像素点和所述静脉像素点为中心划分为若干背景子块和静脉子块，并分别对所述背景子块和所述静脉子块标注标签，若干标注有标签的所述背景子块和所述静脉子块组成训练样本集合；

S3-2、将所述训练样本集合输入至所述卷积神经网络中进行分类模型的训练，所述卷积神经网络对应每个标注有标签的所述背景子块和所述静脉子块均输出一个深度特征向量，若干所述深度特征向量组成深度特征向量集合；

S3-3、将步骤S3-2中组成的所述深度特征向量集合通过概率支持向量机进行分类计算若干所述深度特征向量属于手指静脉特征的概率值；

S3-4、将步骤S3-3中得到的所述概率值显示在一个矩阵中得到增强的手指静脉特征图像；

S3-5、对步骤S3-4中得到的所述手指静脉特征图像进行二值化处理即得到手指静脉网络结构；

S4、采集待识别的所述手指静脉图像，依次经过步骤S2、步骤S3的处理，同时根据所述手指静脉特征图像进行匹配和认证：

S4-1、将待识别的所述手指静脉图像首先经过S2处理得到待识别的手指静脉感兴趣区域图像，然后以每个像素点为中心，将待识别的手指静脉感兴趣区域图像经过步骤S3-1处理分为若干个子块，然后经过步骤S3-2、S3-3、S3-4和S3-5处理得到待识别的手指静脉特征图像；

S4-2、将原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像进行延伸得到模板图像，将待识别的所述手指静脉特征图像在所述模板图像上沿水平或垂直方向平移，并计算不同位置时两幅所述手指静脉特征图像中手指静脉特征的重合度；

S4-3、选取所有位置上对应的最大重合度作为两幅所述手指静脉特征图像的匹配分数，若所述匹配分数小于预设的阈值，则认证失败，反之，则认证成功。

2.如权利要求1所述的一种基于卷积神经网络的手指静脉识别方法，其特征在于，步骤S3-3中，所述概率支持向量机通过以下公式计算所述深度特征向量集合内若干所述深度特征向量属于手指静脉特征的概率值P，

其中,ξ(v)表示概率支持向量机的输出值，ω和γ表示概率支持向量机训练得到的两个参数。

3.如权利要求1所述的一种基于卷积神经网络的手指静脉识别方法，其特征在于，步骤S3中所述的卷积神经网络由依次配合使用的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全链接层和输出层组成。

4.如权利要求3所述的一种基于卷积神经网络的手指静脉识别方法，其特征在于，所述第一卷积层、第二卷积层中，第l层的特征图像按照如下公式计算：

其中，是第l层的输入谱，是第m个输入和n个输出特征谱之间的卷积核，*是卷积操作,M^l-1是输入特征谱的数量,是第n个输出谱的偏移。

5.一种基于卷积神经网络的手指静脉识别系统，其特征在于，包括数据库(1)和与所述数据库(1)相通讯的采集模块(2)、区域提取模块(3)、手指静脉特征提取模块(4)、识别模块(5)，所述采集模块(2)用于采集原始注册的手指静脉图像和待识别的所述手指静脉图像；所述区域提取模块(3)用于将所述手指静脉图像中提取手指静脉感兴趣区域图像；所述手指静脉特征提取模块(4)通过卷积神经网络提取所述手指静脉感兴趣区域中的手指静脉特征，并得到手指静脉特征图像；所述识别模块(5)用于根据所述手指静脉特征图像，对待识别的所述手指静脉图像进行匹配和认证；

所述手指静脉特征提取模块(4)包括子块标记模块(41)、训练样本集合建立模块(42)、卷积神经网络训练模块(43)、深度特征向量集合建立模块(44)、概率支持向量机训练模块(45)，所述子块标记模块(41)用于将背景像素点和静脉像素点为中心划分为若干背景子块和静脉子块，同时分别对所述背景子块和所述静脉子块标注标签，并发送至所述训练样本集合建立模块(42)；所述训练样本集合建立模块(42)用于将若干标注有标签的所述背景子块和所述静脉子块组成训练样本集合，同时将所述训练样本集合发送至所述卷积神经网络训练模块(43)；所述卷积神经网络训练模块(43)包括相通讯的第一接收单元(431)、第一训练单元(432)和第一输出单元(433)，所述第一接收单元(431)用于接收所述训练样本集合，所述第一训练单元(432)用于根据所述训练样本集合对卷积神经网络进行训练，所述第一输出单元(433)用于对应每个标注有标签的所述背景子块和所述静脉子块均输出一个深度特征向量，并发送至所述深度特征向量集合建立模块(44)；

所述深度特征向量集合建立模块(44)用于将若干所述深度特征向量组成深度特征向量集合并发送至所述概率支持向量机训练模块(45)；所述概率支持向量机训练模块(45)包括相通讯的第二接收单元(451)、第二训练单元(452)、概率输出单元(453)和图像处理单元(454)，所述第二接收单元(451)用于接收所述深度特征向量集合，所述第二训练单元(452)用于根据所述深度特征向量集合对概率支持向量机进行训练，所述概率输出单元(453)通过概率支持向量机进行分类用于对应每个标注有标签的所述深度特征向量集合输出一个特征向量值，并用于计算若干所述特征向量值属于手指静脉特征的概率值，若干所述概率值显示在一个矩阵中形成一幅增强的手指静脉特征图像，所述图像处理单元(454)用于将所述手指静脉特征图像进行二值化处理即得到手指静脉的网络结构；

所述识别模块(5)包括相通讯的模板建立单元(51)、匹配分数计算单元(52)和识别单元(53)，所述模板建立单元(51)用于将原始注册的所述手指静脉图像经过处理得到的所述手指静脉特征图像进行延伸得到模板图像；所述匹配分数计算单元(52)用于将待识别的所述手指静脉图像经过处理得到的所述手指静脉特征图像在所述模板图像上沿水平或垂直方向平移，并计算两幅所述手指静脉特征图像中手指静脉特征的匹配分数；所述识别单元(53)用于比较所述匹配分数与预设的阈值的大小，若所述匹配分数小于预设的阈值，则认证失败，反之，则认证成功；所述区域提取模块(3)包括相通讯的图像预处理单元(31)、手指区域筛选单元(32)和兴趣区域提取单元(33)，所述图像预处理单元(31)用于对所述手指静脉图像的边缘进行检测得到手指边缘图像，同时将所述手指静脉图像进行二值化处理得到二值图像；所述手指区域筛选单元(32)用于将所述二值图像减去所述手指边缘图像即得到差值图像，同时通过预设的阈值将所述差值图像中剔除面积较小的噪声和背景区域，即得到仅含有手指区域的二值图像；所述兴趣区域提取单元(33)用于对仅含有手指区域的二值图像和原始的所述手指静脉图像进行归一化处理并进行相乘后得到所述手指静脉感兴趣区域图像。