CN113269080A - 基于多通道卷积神经网络的掌静脉识别方法 - Google Patents
基于多通道卷积神经网络的掌静脉识别方法 Download PDFInfo
- Publication number
- CN113269080A CN113269080A CN202110553089.4A CN202110553089A CN113269080A CN 113269080 A CN113269080 A CN 113269080A CN 202110553089 A CN202110553089 A CN 202110553089A CN 113269080 A CN113269080 A CN 113269080A
- Authority
- CN
- China
- Prior art keywords
- image
- palm
- vein
- channels
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
基于多通道卷积神经网络的掌静脉识别方法,输入手掌静脉图像,并备份原图像,保存为A图像库;ROI区域定位;直方均衡化处理;使用多通道ResNet152网络融合识别。本发明能够减小图像噪音对网络识别的影响,使用直方均衡化能解决图像在定位后灰度分布过于集中、静脉特征不明显等缺点,有效提取出不明显的细小静脉信息,从而增强静脉特征,使用了多通道ResNet152神经网络,融合了整体和局部特征进行识别。原始图像所在通道不进行预处理,更大程度上保留图像的特征信息,实现对特征图像的宏观特征识别;另一个通道采用ROI定位和直方均衡化的结合处理,更注重对特征图像的细微特征识别,有利于提取局部静脉特征。通过使用上述网络结构,可提高掌静脉识别的准确率。
Description
技术领域
本发明属于生物特征识别领域,具体涉及一种基于多通道卷积神经网络的掌静脉识别方法,旨在提高掌静脉识别的精度。
背景技术
静脉识别是基于人体皮肤下的静脉血管图像进行身份认证的一种技术。静脉识别具有的唯一性、活体性、植根于皮下以及无法伪造等特点,使其迅速成为生物识别领域的热点。静脉识别技术的研究对象有手指静脉、手背静脉和手掌静脉等。相对于手指静脉,手掌静脉的面积更大并且静脉信息更丰富;相对于手背静脉,手掌静脉不会受到毛发的影响。因此,掌静脉识别在图像采集、特征提取等方面更具有优势。
在掌静脉识别中,主要有图像采集、图像预处理、特征提取以及特征匹配等环节。其中,图像预处理和特征提取是两个较为重要的环节。在图像预处理环节中,由于采集图像的灰度分布在较窄的区间,导致图像细节不够清晰。通常可使用直方均衡化方法进行修正,以扩大图像的灰度间距,增大反差,使图像的细节变得更加清晰,实现增强手掌局部细小静脉纹理的目的。但使用直方均衡化对图像进行预处理,也会导致图片背景噪音增大,进而影响最终的识别准确率。在特征提取环节中,常用的特征提取方法有局部二进制模式(LocalBinary Pattern,LBP)、线性局部二进制模式以及最大曲率方法(Maximum CurvatureMethod,MCM)等,可参照论文《掌静脉识别算法研究》(颜学葵,华南理工大学)和“StatisticalAnalysis ofResulting Palm vein Image through EnhancementOperations”(Shriram D.Raut;Vikas T.Humbe,DOI:10.5815/ijieeb.2013.06.06),这些特征提取方法有一定效果,但也会不同程度上导致一部分特征的缺失。以基于局部二进制模式的方法为例,对于图像中细小的静脉纹路,它难以提取出有效静脉特征。同时,对于图像中灰度值过低或过高区域,背景信息常被误判为静脉特征。
发明内容
针对上述缺陷,本发明提出一种基于多通道卷积神经网络的掌静脉识别方法。该方法将不同视角下提取出的掌静脉图像整体特征和局部特征结合,并使用加权融合的方式进行特征融合,结合了ROI(Region OfInterest)区域定位和直方均衡化两种方法,并采用双通道的ResNet152网络。两个通道分别兼顾特征图像的整体和局部细节特征。第一个通道输入采集到的原图像,以保证图像整体上的特征完整性;第二个通道输入感兴趣区域定位及直方均衡化处理后的掌静脉图像,图像经过处理后噪声大幅度下降,同时局部细节静脉特征被增强。两个通道分别独立对特征图像整体和局部进行特征提取。最后,通过对两个通道输出结果进行加权融合得到识别结果。两个通道相互协作、相互制约,能有效提高网络识别准确率。本方法可以有效提高掌静脉图像的识别准确率。
基于多通道卷积神经网络的掌静脉识别方法,包括:
步骤1,输入手掌静脉图像,并备份原图像,保存为A图像库;
步骤2,ROI区域定位;对输入的掌静脉图像进行ROI区域定位,将定位后的图像区域截取并保存为B图像库;其中,ROI区域定位主要分为边缘检测和设定阈值两个步骤进行;
步骤3,直方均衡化处理;对B图像库中的所有图像进行直方均衡化处理;
步骤4,使用多通道ResNet152网络融合识别;具体步骤为:
步骤4.1,将A图像库和B图像库所保存的特征图像一一对应进行分组、标注标签,并进行测试图像集和训练图像集的划分;
步骤4.2,使用两个通道的ResNet152神经网络,将A图像库和B图像库所保存的特征图像分别作为两个通道进行输入;
步骤4.3,最后将两个通道的结果进行加权融合得到最终结果,由输出层对概率最大的标签进行相应身份信息的输出。
进一步地,所述步骤2包括如下分步骤:
步骤2.1,边缘检测;对于掌静脉图像对其进行二值化操作,基本分离出手掌和背景;对得到的二值化图像逐行和逐列进行像素检索,最终通过检测得出每一行、列的二值像素个数比;根据该个数比能够得到手掌的四周边缘所在图中位置,由此完成图像的边缘检测;
步骤2.2,设定阈值并截取图像;在边缘检测后,得到手掌处于原图片中的位置,之后进行阈值设定;阈值设定即设置手掌中心目标区域与手掌边缘的像素距离,设为0-25像素,该目标区域即为ROI区域;完成阈值设定后,对得到的ROI区域进行截取,并存入B图像库。
进一步地,所述步骤3中,直方均衡化处理具体为:
先将图像数值化,再使用累积分布函数的线性插值,计算掌静脉新的像素值,使得静脉和背景的对比度加强,静脉的纹路更有效地被识别到;直方图均衡化的公式如下:
其中,Sk为此灰度级经过函数映射后的值,k指当前灰度级,n是静脉图像的像素和,nj为此灰度级的像素数量,L为图像中的灰度级总数;
通过直方图均衡化处理后,原图的直方图统计像素值重新均衡分布在0-250之间,增加图像的对比,使得静脉与背景对比度更大,以突出掌静脉纹路,便于后续静脉的识别。
进一步地,所述步骤3中,对B图像库中所有图片依次进行直方均衡化处理,并覆盖B图像库原图像。
进一步地,所述步骤4.2中,采用的双通道ResNet152网络中,两个通道相互独立,每个通道输入图像先经过卷积核大小为7×7,通道数为64的卷积层,进入最大池化层;之后依次进入通道数为256的3个残差块结构、通道数为512的8个残差块结构,通道数为1024的36个残差块结构,最后进入通道数为2048的3个残差块结构,单通道输出结果后将进行特征融合。
进一步地,残差块中,通过两个1×1卷积核的卷积层降低计算量并控制输入输出通道数,通过3×3卷积核的卷积层进行特征提取,使用relu函数作为激活函数。
本发明的有益效果:
1、在图像预处理环节,使用了ROI感兴趣区域定位以及直方均衡化。ROI定位能过滤掌形及背景等存在的图像噪音,减小图像噪音对网络识别的影响。使用直方均衡化能解决图像在定位后灰度分布过于集中、静脉特征不明显等缺点,有效提取出不明显的细小静脉信息,从而增强静脉特征。
2、本发明使用了多通道ResNet152神经网络,融合了整体和局部特征进行识别。原始图像所在通道不进行预处理,更大程度上保留图像的特征信息,实现对特征图像的宏观特征识别;另一个通道采用ROI定位和直方均衡化的结合处理,更注重对特征图像的细微特征识别,有利于提取局部静脉特征。通过使用上述网络结构,可提高掌静脉识别的准确率。
附图说明
图1为本发明实施例中的掌静脉识别方法的流程图。
图2为本发明实施例中的双通道ResNet152网络部分结构图。
图3为本发明实施例中的残差块结构图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本方法具体实施流程如图1所示。
步骤1:输入手掌静脉图像,并备份原图像,保存为A图像库。
步骤2:ROI区域定位。
对输入的掌静脉图像使用ROI区域定位,将定位后的图像区域截取并保存为B图像库。在本发明中,ROI区域定位主要分为边缘检测和设定阈值两个步骤进行,下面分别说明两个步骤的具体实现。
步骤2.1边缘检测。
由于采集到的手掌静脉图像背景大多为纯黑色,与手掌存在明显差异。因此,可以容易地检测得到手掌边缘轮廓。本发明中采用的边缘检测方法如下。
对于掌静脉图像,由于其手掌与背景间存在较大的像素值差异,因此可对其进行二值化操作,基本分离出手掌和背景。对得到的二值化图像逐行和逐列进行像素检索,最终通过检测得出每一行、列的二值像素个数比。根据该个数比能够得到手掌的四周边缘所在图中位置,由此完成图像的边缘检测。
步骤2.2设定阈值并截取图像。
在边缘检测后,可以得到手掌处于原图片中的位置,之后进行阈值设定。阈值设定即设置手掌中心目标区域与手掌边缘的像素距离,可设为0-25像素,该目标区域即为ROI区域。
完成阈值设定后,对得到的ROI区域进行截取,并存入B图像库。
步骤3:对B图像库所有图像逐一进行直方图均衡化处理。
对于截取的ROI区域图像,由于图像的灰度分布在较窄的区间,导致掌静脉特征还不够明显,细小的静脉特征无法被有效识别出来。因此使用直方均衡化处理,先将图像数值化,再使用累积分布函数的线性插值,计算掌静脉新的像素值,使得静脉和背景的对比度加强,静脉的纹路可以更有效地被识别到。直方图均衡化的方法如下。
其中,Sk为此灰度级经过函数映射后的值,k指当前灰度级,n是静脉图像的像素和,nj为此灰度级的像素数量,L为图像中的灰度级总数。
原图的直方图统计像素值集中在110到160之间。通过直方图均衡化处理后,像素值重新均衡分布在0-250之间,因此图像的对比更加强烈。直方均衡化处理使得静脉与背景对比度更大,可以突出掌静脉纹路,更有利于后续静脉的识别。对B图像库中所有图片依次进行直方均衡化处理,并覆盖B图像库原图像。
步骤4:使用多通道ResNet152网络融合识别。
掌静脉特征图像具有较多的细小特征需要识别和匹配,因此掌静脉的识别需要使用较深的神经网络。但是,通常较深神经网络更容易存在梯度消失或者梯度爆炸的问题,模型难以训练。本发明引入改进的残差神经网络ResNet152来解决该问题。由于原图像能够最大程度保留特征图像的所有特征,而经过预处理的图像能够有效降低图片的背景噪音,并且加强手掌的细小静脉特征,因此本发明采用双通道的卷积神经网络进行特征识别。两个通道相互协作,相互补足,相互制约,以提高网络的准确率。
步骤4.1,将A图像库和B图像库所保存的特征图像一一对应进行分组、标注标签,并进行测试图像集和训练图像集的划分。
步骤4.2,使用双通道的ResNet152神经网络,将B图像库和A图像库中的特征图像分别作为两个通道的输入。两个通道间相互独立进行特征识别。本方法采用的双通道ResNet152网络结构如图2所示。两个通道相互独立,每个通道输入图像先经过卷积核大小为7×7,通道数为64的卷积层,进入最大池化层。之后依次进入通道数为256的3个残差块结构、通道数为512的8个残差块结构,通道数为1024的36个残差块结构,最后进入通道数为2048的3个残差块结构,单通道输出结果后将进行特征融合。残差块结构如图3所示,在残差块中,两个1×1卷积核的卷积层能大幅降低计算量并控制输入输出通道数,3×3卷积核的卷积层用于进行特征提取,使用relu函数作为激活函数。
步骤4.3,将两个通道的结果进行加权融合得到最终结果,由输出层对概率最大的标签进行相应身份信息的输出。
本发明所提出的网络,两个通道相互独立,能够得到独立的预测结果。由此,在网络输出层之前设置阈值,通过该阈值将两个通道所得到的结果进行加权融合。加权融合具体方法如下。
分别将两个通道最后一个卷积层的输出张量与其所在通道对应的阈值进行乘法操作,之后将所得到的两个张量相加,将其结果作为输出层的输入。最后在输出层进行损失函数计算,并由输出层对其进行特征匹配以及对匹配结果的个人信息进行输出。
本方法训练得到的神经网络,能够对输入的掌静脉图像进行身份识别与匹配。
以上所述仅为本发明的较佳实施方式,本发明的保护范围并不以上述实施方式为限,但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化,皆应纳入权利要求书中记载的保护范围内。
Claims (6)
1.基于多通道卷积神经网络的掌静脉识别方法,其特征在于:所述方法包括:
步骤1,输入手掌静脉图像,并备份原图像,保存为A图像库;
步骤2,ROI区域定位;对输入的掌静脉图像进行ROI区域定位,将定位后的图像区域截取并保存为B图像库;其中,ROI区域定位主要分为边缘检测和设定阈值两个步骤进行;
步骤3,直方均衡化处理;对B图像库中的所有图像进行直方均衡化处理;
步骤4,使用多通道ResNet152网络融合识别;具体步骤为:
步骤4.1,将A图像库和B图像库所保存的特征图像一一对应进行分组、标注标签,并进行测试图像集和训练图像集的划分;
步骤4.2,使用两个通道的ResNet152神经网络,将A图像库和B图像库所保存的特征图像分别作为两个通道进行输入;
步骤4.3,最后将两个通道的结果进行加权融合得到最终结果,由输出层对概率最大的标签进行相应身份信息的输出。
2.根据权利要求1所述的基于多通道卷积神经网络的掌静脉识别方法,其特征在于:所述步骤2包括如下分步骤:
步骤2.1,边缘检测;对于掌静脉图像对其进行二值化操作,基本分离出手掌和背景;对得到的二值化图像逐行和逐列进行像素检索,最终通过检测得出每一行、列的二值像素个数比;根据该个数比能够得到手掌的四周边缘所在图中位置,由此完成图像的边缘检测;
步骤2.2,设定阈值并截取图像;在边缘检测后,得到手掌处于原图片中的位置,之后进行阈值设定;阈值设定即设置手掌中心目标区域与手掌边缘的像素距离,设为0-25像素,该目标区域即为ROI区域;完成阈值设定后,对得到的ROI区域进行截取,并存入B图像库。
4.根据权利要求1所述的基于多通道卷积神经网络的掌静脉识别方法,其特征在于:所述步骤3中,对B图像库中所有图片依次进行直方均衡化处理,并覆盖B图像库原图像。
5.根据权利要求1所述的基于多通道卷积神经网络的掌静脉识别方法,其特征在于:所述步骤4.2中,采用的双通道ResNet152网络中,两个通道相互独立,每个通道输入图像先经过卷积核大小为7×7,通道数为64的卷积层,进入最大池化层;之后依次进入通道数为256的3个残差块结构、通道数为512的8个残差块结构,通道数为1024的36个残差块结构,最后进入通道数为2048的3个残差块结构,单通道输出结果后将进行特征融合。
6.根据权利要求5所述的基于多通道卷积神经网络的掌静脉识别方法,其特征在于:残差块中,通过两个1×1卷积核的卷积层降低计算量并控制输入输出通道数,通过3×3卷积核的卷积层进行特征提取,使用relu函数作为激活函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110553089.4A CN113269080B (zh) | 2021-05-20 | 2021-05-20 | 基于多通道卷积神经网络的掌静脉识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110553089.4A CN113269080B (zh) | 2021-05-20 | 2021-05-20 | 基于多通道卷积神经网络的掌静脉识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113269080A true CN113269080A (zh) | 2021-08-17 |
CN113269080B CN113269080B (zh) | 2022-07-12 |
Family
ID=77232181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110553089.4A Active CN113269080B (zh) | 2021-05-20 | 2021-05-20 | 基于多通道卷积神经网络的掌静脉识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113269080B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558827A (zh) * | 2018-11-26 | 2019-04-02 | 济南浪潮高新科技投资发展有限公司 | 一种基于个性化卷积神经网络的手指静脉识别方法及系统 |
CN109815869A (zh) * | 2019-01-16 | 2019-05-28 | 浙江理工大学 | 一种基于fcn全卷积网络的指静脉识别方法 |
CN110163119A (zh) * | 2019-04-30 | 2019-08-23 | 中国地质大学(武汉) | 一种手指静脉识别方法及系统 |
CN112597812A (zh) * | 2020-12-03 | 2021-04-02 | 西安格威西联科技有限公司 | 一种基于卷积神经网络和sift算法的手指静脉识别方法及系统 |
-
2021
- 2021-05-20 CN CN202110553089.4A patent/CN113269080B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558827A (zh) * | 2018-11-26 | 2019-04-02 | 济南浪潮高新科技投资发展有限公司 | 一种基于个性化卷积神经网络的手指静脉识别方法及系统 |
CN109815869A (zh) * | 2019-01-16 | 2019-05-28 | 浙江理工大学 | 一种基于fcn全卷积网络的指静脉识别方法 |
CN110163119A (zh) * | 2019-04-30 | 2019-08-23 | 中国地质大学(武汉) | 一种手指静脉识别方法及系统 |
CN112597812A (zh) * | 2020-12-03 | 2021-04-02 | 西安格威西联科技有限公司 | 一种基于卷积神经网络和sift算法的手指静脉识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113269080B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
CN108764041B (zh) | 用于下部遮挡人脸图像的人脸识别方法 | |
CN102542281B (zh) | 非接触式生物特征识别方法和系统 | |
CN103870808B (zh) | 一种手指静脉识别方法 | |
CN106778785B (zh) | 构建图像特征提取模型的方法及图像识别的方法、装置 | |
CN110543822A (zh) | 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法 | |
Park et al. | Fingerprint liveness detection using CNN features of random sample patches | |
CN105760841B (zh) | 一种身份识别方法及系统 | |
CN110717372A (zh) | 基于指静脉识别的身份验证方法和装置 | |
CN107729820A (zh) | 一种基于多尺度hog的手指静脉识别方法 | |
CN111126240A (zh) | 一种三通道特征融合人脸识别方法 | |
CN110032925A (zh) | 一种基于改进胶囊网络与算法的手势图像分割与识别方法 | |
CN108596126A (zh) | 一种基于改进的lgs加权编码的手指静脉图像识别方法 | |
CN112308156B (zh) | 一种基于对抗学习的两阶段图像变化检测方法 | |
CN110119695A (zh) | 一种基于特征融合和机器学习的虹膜活性检测方法 | |
CN109145704B (zh) | 一种基于人脸属性的人脸画像识别方法 | |
CN110163182A (zh) | 一种基于kaze特征的手背静脉识别方法 | |
CN110021019A (zh) | 一种aga临床图像的ai辅助毛发的粗细分布分析方法 | |
Paul et al. | Rotation invariant multiview face detection using skin color regressive model and support vector regression | |
CN109523484B (zh) | 一种基于分形特征的手指静脉血管网络修复方法 | |
CN107729863B (zh) | 人体指静脉识别方法 | |
CN110033448A (zh) | 一种aga临床图像的ai辅助雄秃汉密尔顿分级预测分析方法 | |
CN111881803B (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
CN113269080B (zh) | 基于多通道卷积神经网络的掌静脉识别方法 | |
CN110909601B (zh) | 一种基于深度学习的美瞳识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |