CN110348375A - 一种基于神经网络的手指静脉感兴趣区域检测方法 - Google Patents

一种基于神经网络的手指静脉感兴趣区域检测方法 Download PDF

Info

Publication number
CN110348375A
CN110348375A CN201910615288.6A CN201910615288A CN110348375A CN 110348375 A CN110348375 A CN 110348375A CN 201910615288 A CN201910615288 A CN 201910615288A CN 110348375 A CN110348375 A CN 110348375A
Authority
CN
China
Prior art keywords
layer
image
finger
neural network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910615288.6A
Other languages
English (en)
Inventor
田联房
邝东海
杜启亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910615288.6A priority Critical patent/CN110348375A/zh
Publication of CN110348375A publication Critical patent/CN110348375A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Abstract

本发明公开了一种基于神经网络的手指静脉感兴趣区域检测方法，包括步骤：1)收集原始手指静脉图像数据，构建原始训练数据集；2)对原始训练数据集中的图像，标定对应采集图像的手指掩膜区域，构建训练数据集的真实掩膜图像输出；3)设计合适的神经网络模型；4)对原始输入图像以及对应手指掩膜图像进行同步的数据增强；5)对设计的模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数；6)对待检测图像，使用保存的神经网络获取对应手指掩膜输出；7)根据提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域。本发明能够稳定提取鲁邦性强的手指感兴趣区域。

Description

一种基于神经网络的手指静脉感兴趣区域检测方法
技术领域
本发明涉及生物特征识别系统的技术领域，尤其是指一种基于神经网络的手指静脉感兴趣区域检测方法。
背景技术
手指静脉感兴趣区域检测是手指静脉识别过程中的重要环节。手指静脉识别技术是目前安全性最高的生物识别技术，手指静脉识别的特征来自于手指静脉血管中流动血液的血红蛋白，所以指静脉识别具有别的生物特征没有的活体性，防伪性，是一项十分具有应用前景和价值的生物特征识别技术。但是手指静脉图像的采集设备受限于设备成本和时间推移，采集图像的质量参差不齐；同时根据使用者的使用习惯不同，采集图像中手指的位置可能存在偏移或者旋转，将影响识别系统的识别效果。因此，本设计希望能够通过设计一种基于神经网络的手指静脉感兴趣区域检测方法，使得能够在采集设备存在脏污；光照干扰；手指摆放存在差异等异常情况下提取到稳定的手指静脉感兴趣区域。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于神经网络的手指静脉感兴趣区域检测方法，通过神经网络提取手指区域掩膜图像以及后处理提取手指静脉感兴趣区域，从而实现对手指静脉感兴趣区域稳定提取，提升后续识别方法的准确性。
为实现上述目的，本发明所提供的技术方案为：一种基于神经网络的手指静脉感兴趣区域检测方法，包括以下步骤：
1)通过手指静脉图像采集设备收集原始手指静脉图像数据，构建原始训练数据集；
2)对原始训练数据集中的图像，标定对应采集图像的手指掩膜区域，构建训练数据集的真实掩膜图像输出；
3)根据训练数据集特点，设计所需的神经网络模型；
4)为增大网络训练数据量以及增强方法的适用性，需要使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强；
5)对设计的神经网络模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数；
6)使用手指静脉图像采集设备获取待检测的手指静脉原始图像，然后将待检测的手指静脉图像输入保存好的神经网络模型中，得到待检测的手指静脉图像的手指掩膜输出；
7)根据提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域。
在步骤1)中，为了提升神经网络的性能，模拟日常使用情景，在设备正常使用的范围内随意摆放，允许手指存在旋转和平移，并保存不同受试者的手指静脉图像数据，每位受试者采集3～6张原始手指静脉图像，一共采集80～100张图像。
在步骤2)中，使用开源软件labelme人工标注采集到的手指静脉原始图像的准确边缘轮廓，然后将闭合轮廓内部的像素点赋值255，最终得到最后的手指掩膜图像输出，即图像中手指边缘及其内部为白色像素，像素值255，非手指区域为黑色像素，像素值0，并把它作为原始手指静脉图像的对应真实手指掩膜输出。
在步骤3)中，设计所需的神经网络模型，包括以下步骤：
3.1)结合数据选取构建模型
模型主要由多个卷积层、上采样层、池化层和随机失活层这些神经网络模块组成，若未额外声明，所有卷积层的激活函数都是线性整流函数Relu；
输入图像大小为原始图像的大小，根据手指静脉图像采集设备的输出大小设定神经网络的输入层大小；
第一层为卷积层；第二层为卷积层；第三层为最大池化层；第四层为卷积层；第五层为卷积层；第六层为最大池化层；第七层为卷积层；第八层为卷积层；第九层为最大池化层；第十层为卷积层；第十一层为卷积层；第十二层为随机失活层；公式如下：
r(l)～Bernoulli(p)
y～(l)＝r(l)·y(l)
其中，r(l)服从概率为p的伯努利分布，y(l)为第l层的激活值，y～(l)为第l层的输出值，wi (l+1)为第l+1层的网络权值，bi (l+1)为第l+1层的偏置；zi (l+1)为第l+1层的隐藏层输入，f(·)为激活函数；
第十三层为最大池化层；第十四层为上采样层；第十五层为卷积层；第十六层为堆叠层；第十七层为卷积层；第十八层为卷积层；第十九层为上采样层；第二十层为卷积层；第二十一层为堆叠层；第二十二层为卷积层；第二十二层为卷积层；第二十三层为上采样层；第二十四层为卷积层；第二十五层为堆叠层；第二十六层为卷积层；第二十七层为卷积层；第二十八层为上采样层；第二十九层为卷积层；第三十层为堆叠层；第三十一层为卷积层；第三十二层为卷积层；第三十三层为卷积层；第三十四层为卷积层，使用的激活函数是S型函数，即Sigmoid函数，公式如下：
其中e代表自然常数，x代表激活函数的输入；
第三十四层的输出为最终的手指掩膜输出图像；
3.2)设置损失函数
设置损失函数为二元交叉熵函数，用于衡量神经网络输出概率分布和真实分布的区别：
loss＝-t1log(y1)-(1-t1)log(1-y1)
其中，t1为真实输出，y1为神经网络的输出值，log(·)为对数函数。
在步骤4)中，使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强，使用的图像增强方法根据实际使用中存在的噪声干扰进行选取，由于设备实际工作过程中，主要存在的噪声干扰是光照不均衡；被采集手指存在平移和旋转；所以使用的数据增强方法主要是平移、旋转、翻转和亮度变化；其中几何形状的图像数据增强需要对输入的原始手指静脉图像和手指掩膜真实输出图像进行同步进行；而像素强度是数据增强只需对原始手指静脉图像进行。
在步骤5)中，将步骤4)的数据增强后的数据输入设计好的神经网络模型中，对设计的模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数，包括以下步骤：
5.1)设置训练参数
设置实验优化器为Adam，学习率为0.0001、批次大小为2张、随机失活层的失活概率为0.5；
5.2)设置训练完成标志
训练完成标志为已达到设定的迭代次数或设置验证集实时检测模型训练情况，验证集准确率满足某个条件；
5.3)保存神经网络模型
训练完成后，将神经网络的结构和权重保存。
在步骤7)中，根据步骤6)中提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域，具体操作如下：
7.1)对手指掩膜进行旋转校正
对待检测的手指静脉图像的手指掩膜输出，通过计算图像一阶统计矩和二阶统计矩，从而计算得到图像的质心和图像的角度，公式如下：
其中，I代表图像一共有I行，J代表图像一共有J列，i代表第i行，j代表第j列，iu代表i的u次方，jv代表j的v次方，V(i,j)代表图像位于i行j列的像素值，Muv代表图像的统计矩，u代表行阶数，v代表列阶数，(xc,yc)为图像质心坐标，xc 2代表质心行坐标的平方，yc 2代表质心列坐标的平方，θ为图像对行所在轴旋转的角度，通过计算下面三个图像中心矩得到：a为通过统计矩计算得到的图像在行方向的二阶中心矩，b为通过统计矩计算得到的图像在行方向和列方向的二阶中心矩，c为通过统计矩计算得到的图像在列方向的二阶中心矩，arctan(·)为反正切函数；然后对手指掩膜图像和待检测的手指静脉图像进行以图像质心(xc,yc)为中心，-θ的角度进行旋转，将旋转手指摆正；
7.2)后处理截取感兴趣区域
对摆正后的手指掩膜图像和待检测的手指静脉图像，根据采集摄像头到采集平面的空间几何关系，选择一个固定大小的感兴趣区域选取框，避免对图像缩放改变图像像素的分布，选取的ROI框大小通过统计图像中手指的宽度即粗细和采集框的长度的最小值获取，为了留取余量，采取最小值的0.9倍；并以图像质心作为感兴趣区域框的中心，输出最终的手指静脉感兴趣区域图像。
本发明与现有技术相比，具有如下优点与有益效果：
1、使用的神经网络进行检测，是一种端到端的方法，在准备少量数据后训练模型即可得到结果，无需复杂的人为设计特征。
2、由于使用了神经网络作为语义分割模型，神经网络模型抗噪声干扰能力强，对于可能存在的设备老化；镜头脏污；光照干扰等影响，模型仍可以得到准确的分割结果。
3、通过计算图像统计矩，本发明对图像旋转进行了校正，且为了避免大小归一化过程使用缩放方法引入额外的图像畸变，通过统计图像边界长度确定截取框大小，尽可能多地保留了截取的感兴趣区域的信息。
4、由于使用了数据增强方法以及未使用全连接层而是全部使用卷积层，网络参数量小，同时直接输出手指掩膜图像，最大程度保留了图像的有用信息，只需进行简单的后处理即可得到感兴趣区域图像。
附图说明
图1为本发明方法逻辑流程示意图。
图2为标注手指掩膜示意图。
图3为神经网络拓扑结构图。
图4为随机失活层示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示，本实施例所提供的基于神经网络的手指静脉感兴趣区域检测方法，包括以下步骤：
1)通过手指静脉图像采集设备收集原始手指静脉图像数据，构建原始训练数据集。为了提升神经网络的性能，模拟日常使用情景，在设备正常使用的范围内随意摆放，允许手指存在旋转和平移，并保存不同受试者的手指静脉图像数据，每位受试者采集3～6张原始手指静脉图像，一共采集80～100张图像。
2)对原始训练数据集中的图像，标定对应采集图像的手指掩膜区域，构建训练数据集的真实掩膜图像输出，即使用软件(如开源软件labelme)人工标注采集到的手指静脉原始图像的准确边缘轮廓，然后将闭合轮廓内部的像素点赋值255，最终得到最后的手指掩膜图像输出，即图像中手指边缘及其内部为白色像素(像素值255)，非手指区域为黑色像素(像素值0)，并把它作为原始手指静脉图像的对应真实手指掩膜输出，标注结果如图2所示。
3)设计出合适的神经网络模型，包括以下步骤：
3.1)结合数据选取构建模型，模型结构如图3所示。模型的主要由多个卷积层，上采样层，池化层，随机失活层等神经网络模块组成。若未额外声明，所有卷积层的激活函数都是线性整流函数(Relu)。
输入图像大小为原始图像的大小，根据手指静脉图像采集设备的输出大小设定神经网络的输入层大小。使用(256,256)大小的图像输入。
第一层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为64，使用填充使得输入输出大小一致，输出为256×256×64。
第二层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为64，使用填充使得输入输出大小一致，输出为256×256×64。
第三层为最大池化层，池化大小为(2,2)，步长为2，不使用填充，输出为128×128×64。
第四层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为128×128×128。
第五层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为128×128×128。
第六层为最大池化层，池化大小为(2,2)，步长为2，不使用填充，输出为64×64×128。
第七层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为64×64×256。
第八层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为64×64×256。
第九层为最大池化层，池化大小为(2,2)，步长为2，不使用填充，输出为32×32×256。
第十层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为32×32×512。
第十一层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为32×32×512。
第十二层为随机失活层，示意图如图4所示。公式如下：
r(l)～Bernoulli(p)
y～(l)＝r(l)·y(l)
其中r(l)服从概率为p的伯努利分布，y(l)为第l层的激活值，y～(l)为第l层的输出值，wi (l+1)为第l+1层的网络权值，bi (l+1)为第l+1层的偏置。zi (l+1)为第l+1层的隐藏层输入，f(·)为激活函数。
失活概率选择0.5.
第十三层为最大池化层，池化大小为(2,2)，步长为2，不使用填充，输出为16×16×512。
第十四层为上采样层，输出大小为32×32×512。
第十五层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为32×32×512。
第十六层为堆叠层，对特征图进行通道轴上的堆叠，输出大小为32×32×1024。
第十七层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为32×32×512。
第十八层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为32×32×512。
第十九层为上采样层，输出大小为64×64×512。
第二十层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为64×64×256。
第二十一层为堆叠层，对特征图进行通道轴上的堆叠，输出大小为64×64×512。
第二十二层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为64×64×256。
第二十二层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为64×64×256。
第二十三层为上采样层，输出大小为128×128×256。
第二十四层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为128×128×128。
第二十五层为堆叠层，对特征图进行通道轴上的堆叠，输出大小为128×128×256。
第二十六层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为128×128×128。
第二十七层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为128×128×128。
第二十八层为上采样层，输出大小为256×256×128。
第二十九层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为64，使用填充使得输入输出大小一致，输出为256×256×64。
第三十层为堆叠层，对特征图进行通道轴上的堆叠，输出大小为256×256×128。
第三十一层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为64，使用填充使得输入输出大小一致，输出为256×256×64。
第三十二层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为2，使用填充使得输入输出大小一致，输出为256×256×2。
第三十三层为卷积层，卷积核为(3,3)，步长为1，滤波器数量为1，使用填充使得输入输出大小一致，输出为256×256×1。
第三十四层为卷积层，使用的激活函数是S型函数(Sigmoid函数)，公式如下
其中e代表自然常数，x代表激活函数的输入。
第三十四层的输出为最终的手指掩膜输出图像。
3.2)设置损失函数
设置损失函数为二元交叉熵函数。用于衡量神经网络输出概率分布和真实分布的区别
loss＝-t1log(y1)-(1-t1)log(1-y1)
其中t1为真实输出，y1为神经网络的输出值，log(·)为对数函数。
4)使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强，主要使用的图像增强方法根据实际使用中存在的噪声干扰进行选取，由于设备实际工作过程中，主要存在的噪声干扰是光照不均衡；被采集手指存在平移；被采集手指存在旋转等；所以使用的数据增强方法主要是平移，旋转，翻转，亮度变化。其中几何形状的图像数据增强需要对输入的原始手指静脉图像和手指掩膜真实输出图像进行同步进行；而像素强度是数据增强只需对原始手指静脉图像进行。
5)将步骤4)的数据增强后的数据输入设计好的神经网络模型中，对设计的模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数。包括以下步骤：
5.1)设置训练参数
设置实验优化器为Adam，学习率为0.0001、批次大小为2张、随机失活层的失活概率为0.5。
5.2)设置训练完成标志
训练完成标志为已达到设定的迭代次数或设置验证集实时检测模型训练情况，验证集准确率满足对比上一轮最好情况，没有改进则计数，若计数大于5则停止训练；若计数小于5，训练对比上一轮有改进，则计数清零。
5.3)保存神经网络模型
训练完成后，将神经网络的结构和权重保存。
6)使用手指静脉图像采集设备获取待检测的手指静脉原始图像，然后将待检测的手指静脉原始图像输入到步骤5)保存好的神经网络模型中，得到待检测的手指静脉图像的手指掩膜输出。
7)根据步骤6)中提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域。具体操作如下：
7.1)对手指掩膜进行旋转校正
对待检测的手指静脉图像的手指掩膜输出，通过计算图像一阶统计矩和二阶统计矩，从而计算得到图像的质心和图像的角度，公式如下
其中，I代表图像一共有I行，J代表图像一共有J列，i代表第i行，j代表第j列，iu代表i的u次方，jv代表j的v次方，V(i,j)代表图像位于i行j列的像素值，Muv代表图像的统计矩，u代表行阶数，v代表列阶数，(xc,yc)为图像质心坐标，xc 2代表质心行坐标的平方，yc 2代表质心列坐标的平方，θ为图像对行所在轴旋转的角度，通过计算下面三个图像中心矩得到：a为通过统计矩计算得到的图像在行方向的二阶中心矩，b为通过统计矩计算得到的图像在行方向和列方向的二阶中心矩，c为通过统计矩计算得到的图像在列方向的二阶中心矩，arctan(·)为反正切函数；然后对手指掩膜图像和待检测的手指静脉图像进行以图像质心(xc,yc)为中心，-θ的角度进行旋转，将旋转手指摆正；
7.2)后处理截取感兴趣区域
对摆正后的手指掩膜图像和待检测的手指静脉图像。根据采集摄像头到采集平面的空间几何关系，我们选择一个固定大小的感兴趣区域选取框，避免对图像缩放改变图像像素的分布。选取的ROI框大小通过统计图像中手指的宽度(粗细)和采集框的长度的最小值获取，为了留取一定余量，本方法采取最小值的0.9倍；并以图像质心作为感兴趣区域框的中心，输出最终的手指静脉感兴趣区域图像。
综上所述，在采用以上方案后，本发明为手指静脉感兴趣区域检测提供了新的方法，能够克服数据的平移，旋转和脏污等噪声，具有实际推广价值，值得推广。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (7)

1.一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于，包括以下步骤：
1)通过手指静脉图像采集设备收集原始手指静脉图像数据，构建原始训练数据集；
2)对原始训练数据集中的图像，标定对应采集图像的手指掩膜区域，构建训练数据集的真实掩膜图像输出；
3)根据训练数据集特点，设计所需的神经网络模型；
4)为增大网络训练数据量以及增强方法的适用性，需要使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强；
5)对设计的神经网络模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数；
6)使用手指静脉图像采集设备获取待检测的手指静脉原始图像，然后将待检测的手指静脉图像输入保存好的神经网络模型中，得到待检测的手指静脉图像的手指掩膜输出；
7)根据提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域。
2.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于：在步骤1)中，为了提升神经网络的性能，模拟日常使用情景，在设备正常使用的范围内随意摆放，允许手指存在旋转和平移，并保存不同受试者的手指静脉图像数据，每位受试者采集3～6张原始手指静脉图像，一共采集80～100张图像。
3.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于：在步骤2)中，使用开源软件labelme人工标注采集到的手指静脉原始图像的准确边缘轮廓，然后将闭合轮廓内部的像素点赋值255，最终得到最后的手指掩膜图像输出，即图像中手指边缘及其内部为白色像素，像素值255，非手指区域为黑色像素，像素值0，并把它作为原始手指静脉图像的对应真实手指掩膜输出。
4.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于，在步骤3)中，设计所需的神经网络模型，包括以下步骤：
3.1)结合数据选取构建模型
模型主要由多个卷积层、上采样层、池化层和随机失活层这些神经网络模块组成，所有卷积层的激活函数都是线性整流函数Relu；
输入图像大小为原始图像的大小，根据手指静脉图像采集设备的输出大小设定神经网络的输入层大小；
第一层为卷积层；第二层为卷积层；第三层为最大池化层；第四层为卷积层；第五层为卷积层；第六层为最大池化层；第七层为卷积层；第八层为卷积层；第九层为最大池化层；第十层为卷积层；第十一层为卷积层；第十二层为随机失活层；公式如下：
r(l)～Bernoulli(p)
y～(l)＝r(l)·y(l)
其中，r(l)服从概率为p的伯努利分布，y(l)为第l层的激活值，y～(l)为第l层的输出值，wi (l+1)为第l+1层的网络权值，bi (l+1)为第l+1层的偏置；zi (l+1)为第l+1层的隐藏层输入，f(·)为激活函数；
第十三层为最大池化层；第十四层为上采样层；第十五层为卷积层；第十六层为堆叠层；第十七层为卷积层；第十八层为卷积层；第十九层为上采样层；第二十层为卷积层；第二十一层为堆叠层；第二十二层为卷积层；第二十二层为卷积层；第二十三层为上采样层；第二十四层为卷积层；第二十五层为堆叠层；第二十六层为卷积层；第二十七层为卷积层；第二十八层为上采样层；第二十九层为卷积层；第三十层为堆叠层；第三十一层为卷积层；第三十二层为卷积层；第三十三层为卷积层；第三十四层为卷积层，使用的激活函数是S型函数，即Sigmoid函数，公式如下：
其中e代表自然常数，x代表激活函数的输入；
第三十四层的输出为最终的手指掩膜输出图像；
3.2)设置损失函数
设置损失函数为二元交叉熵函数，用于衡量神经网络输出概率分布和真实分布的区别：
loss＝-t1 log(y1)-(1-t1)log(1-y1)
其中，t1为真实输出，y1为神经网络的输出值，log(·)为对数函数。
5.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于：在步骤4)中，使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强，使用的图像增强方法根据实际使用中存在的噪声干扰进行选取，由于设备实际工作过程中，主要存在的噪声干扰是光照不均衡；被采集手指存在平移和旋转；所以使用的数据增强方法主要是平移、旋转、翻转和亮度变化；其中几何形状的图像数据增强需要对输入的原始手指静脉图像和手指掩膜真实输出图像进行同步进行；而像素强度是数据增强只需对原始手指静脉图像进行。
6.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于：在步骤5)中，将步骤4)的数据增强后的数据输入设计好的神经网络模型中，对设计的模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数，包括以下步骤：
5.1)设置训练参数
设置实验优化器为Adam，学习率为0.0001、批次大小为2张、随机失活层的失活概率为0.5；
5.2)设置训练完成标志
训练完成标志为已达到设定的迭代次数或设置验证集实时检测模型训练情况，验证集准确率满足某个条件；
5.3)保存神经网络模型
训练完成后，将神经网络的结构和权重保存。
7.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于：在步骤7)中，根据步骤6)中提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域，具体操作如下：
7.1)对手指掩膜进行旋转校正
对待检测的手指静脉图像的手指掩膜输出，通过计算图像一阶统计矩和二阶统计矩，从而计算得到图像的质心和图像的角度，公式如下：
其中，I代表图像一共有I行，J代表图像一共有J列，i代表第i行，j代表第j列，iu代表i的u次方，jv代表j的v次方，V(i,j)代表图像位于i行j列的像素值，Muv代表图像的统计矩，u代表行阶数，v代表列阶数，(xc,yc)为图像质心坐标，xc 2代表质心行坐标的平方，yc 2代表质心列坐标的平方，θ为图像对行所在轴旋转的角度，通过计算下面三个图像中心矩得到：a为通过统计矩计算得到的图像在行方向的二阶中心矩，b为通过统计矩计算得到的图像在行方向和列方向的二阶中心矩，c为通过统计矩计算得到的图像在列方向的二阶中心矩，arctan(·)为反正切函数；然后对手指掩膜图像和待检测的手指静脉图像进行以图像质心(xc,yc)为中心，-θ的角度进行旋转，将旋转手指摆正；
7.2)后处理截取感兴趣区域
对摆正后的手指掩膜图像和待检测的手指静脉图像，根据采集摄像头到采集平面的空间几何关系，选择一个固定大小的感兴趣区域选取框，避免对图像缩放改变图像像素的分布，选取的ROI框大小通过统计图像中手指的宽度即粗细和采集框的长度的最小值获取，为了留取余量，采取最小值的0.9倍；并以图像质心作为感兴趣区域框的中心，输出最终的手指静脉感兴趣区域图像。
CN201910615288.6A 2019-07-09 2019-07-09 一种基于神经网络的手指静脉感兴趣区域检测方法 Pending CN110348375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910615288.6A CN110348375A (zh) 2019-07-09 2019-07-09 一种基于神经网络的手指静脉感兴趣区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910615288.6A CN110348375A (zh) 2019-07-09 2019-07-09 一种基于神经网络的手指静脉感兴趣区域检测方法

Publications (1)

Publication Number Publication Date
CN110348375A true CN110348375A (zh) 2019-10-18

Family

ID=68178534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910615288.6A Pending CN110348375A (zh) 2019-07-09 2019-07-09 一种基于神经网络的手指静脉感兴趣区域检测方法

Country Status (1)

Country Link
CN (1) CN110348375A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874593A (zh) * 2019-11-06 2020-03-10 西安电子科技大学 基于掩膜的遥感图像旋转目标检测方法
CN111178221A (zh) * 2019-12-24 2020-05-19 珠海格力电器股份有限公司 身份识别方法及装置
CN111368673A (zh) * 2020-02-26 2020-07-03 华南理工大学 一种基于神经网络的人体关键点快速提取方法
CN112163576A (zh) * 2020-09-25 2021-01-01 伏羲九针智能科技(北京)有限公司 静脉区域的检测方法、装置和设备
CN112434574A (zh) * 2020-11-11 2021-03-02 西安理工大学 一种非受限状态下的指节纹识别方法
CN112686813A (zh) * 2020-12-10 2021-04-20 广州广电运通金融电子股份有限公司 基于部分卷积和掩膜更新的指静脉图像修复方法
CN113420690A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 基于感兴趣区域的静脉识别方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325995A (zh) * 2018-09-13 2019-02-12 叠境数字科技（上海）有限公司 基于人手参数模型的低分辨率多视角手部重建方法
CN109712165A (zh) * 2018-12-29 2019-05-03 安徽大学 一种基于卷积神经网络的同类前景图像集分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325995A (zh) * 2018-09-13 2019-02-12 叠境数字科技（上海）有限公司 基于人手参数模型的低分辨率多视角手部重建方法
CN109712165A (zh) * 2018-12-29 2019-05-03 安徽大学 一种基于卷积神经网络的同类前景图像集分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AJAY等: ""Human Identification Using Finger Images"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
RIG等: ""Convolutional Neural Network for Finger-Vein-based Biometric Identification"", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874593A (zh) * 2019-11-06 2020-03-10 西安电子科技大学 基于掩膜的遥感图像旋转目标检测方法
CN110874593B (zh) * 2019-11-06 2022-03-22 西安电子科技大学 基于掩膜的遥感图像旋转目标检测方法
CN111178221A (zh) * 2019-12-24 2020-05-19 珠海格力电器股份有限公司 身份识别方法及装置
CN111368673A (zh) * 2020-02-26 2020-07-03 华南理工大学 一种基于神经网络的人体关键点快速提取方法
CN111368673B (zh) * 2020-02-26 2023-04-07 华南理工大学 一种基于神经网络的人体关键点快速提取方法
CN112163576A (zh) * 2020-09-25 2021-01-01 伏羲九针智能科技(北京)有限公司 静脉区域的检测方法、装置和设备
CN112434574A (zh) * 2020-11-11 2021-03-02 西安理工大学 一种非受限状态下的指节纹识别方法
CN112434574B (zh) * 2020-11-11 2024-04-09 西安理工大学 一种非受限状态下的指节纹识别方法
CN112686813A (zh) * 2020-12-10 2021-04-20 广州广电运通金融电子股份有限公司 基于部分卷积和掩膜更新的指静脉图像修复方法
CN113420690A (zh) * 2021-06-30 2021-09-21 平安科技（深圳）有限公司 基于感兴趣区域的静脉识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110348375A (zh) 一种基于神经网络的手指静脉感兴趣区域检测方法
CN109344693A (zh) 一种基于深度学习的人脸多区域融合表情识别方法
CN109886986A (zh) 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110443203A (zh) 基于对抗生成网络的人脸欺骗检测系统对抗样本生成方法
CN109859203A (zh) 基于深度学习的缺陷牙齿图像识别方法
CN110427832A (zh) 一种基于神经网络的小数据集手指静脉识别方法
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN105869166B (zh) 一种基于双目视觉的人体动作识别方法及系统
CN106469304A (zh) 基于深度卷积神经网络的票据中手写签名位置定位方法
CN109615010B (zh) 基于双尺度卷积神经网络的中药材识别方法及系统
CN108960068A (zh) 用于采集手指静脉图像的光源亮度调节装置及方法
CN104361574B (zh) 一种基于稀疏表示的无参考彩色图像质量评价方法
CN109598234A (zh) 关键点检测方法和装置
CN104298973A (zh) 基于自编码器的人脸图像旋转方法
CN110675335B (zh) 基于多分辨率残差融合网络的浅表静脉增强方法
CN103679801B (zh) 一种基于多视角x光片的心血管三维重建方法
CN106067026A (zh) 一种中药材显微图像的特征提取与识别检索方法
CN109635618A (zh) 基于卷积神经网络的可见光图像静脉显像方法
CN108399611A (zh) 基于梯度正则化的多聚焦图像融合方法
CN103984922B (zh) 一种基于稀疏表示和形状约束的人脸识别方法
CN107462182B (zh) 一种基于机器视觉和红线激光器的截面轮廓形变检测方法
CN110390282A (zh) 一种基于余弦中心损失的指静脉识别方法及系统
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN110263790A (zh) 一种基于卷积神经网络的电厂电表字符定位和识别方法
CN113537057B (zh) 一种基于改进CycleGAN的面部穴位自动定位检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018