CN107122712B - 基于cnn和双向vlad的掌纹图像识别方法 - Google Patents
基于cnn和双向vlad的掌纹图像识别方法 Download PDFInfo
- Publication number
- CN107122712B CN107122712B CN201710186832.0A CN201710186832A CN107122712B CN 107122712 B CN107122712 B CN 107122712B CN 201710186832 A CN201710186832 A CN 201710186832A CN 107122712 B CN107122712 B CN 107122712B
- Authority
- CN
- China
- Prior art keywords
- palm print
- feature
- transverse
- vector
- longitudinal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于CNN和双向VLAD的掌纹图像识别方法,包括如下步骤:(1)基于预训练的网络来生成掌纹图像卷积特征,选择中间一层形成三维特征图谱;(2)以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量,进行编码获得纵向局部特征聚合描述向量;(3)以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量,进行编码获得横向局部特征聚合描述向量;(4)采用余弦距离对两类待识别特征与特征模板分别进行纵向和横向匹配计算,并在分数层对纵向和横向匹配分数进行融合。本发明结合使用掌纹的全局和局部信息,提高了识别精度,具有较好的鲁棒性。
Description
技术领域
本发明涉及掌纹图像识别领域,具体涉及一种基于CNN和双向VLAD的掌纹图像识别方法。
背景技术
在生物特征识别技术中,掌纹识别技术具有较高的识别精度。掌纹具有唯一性和基本终生不变性,具有丰富的可用于身份识别的信息,并且采集掌纹的设备价格低廉,掌纹识别技术也在政府、银行、社会福利保障、电子商务和安全防卫等领域得到成功应用,因此对掌纹识别技术方法的研究具有重要意义。
对于掌纹识别技术来说,掌纹图像特征提取的效果在很大程度上决定了掌纹识别的精度,因此掌纹图像特征提取被认为是掌纹识别的关键步骤,成为掌纹识别技术发展中的重点研究领域之一。现有的掌纹特征提取方法主要分为基于纹理的特征提取方法、基于结构的特征提取方法、基于子空间的特征提取方法和基于统计的特征提取方法,这些方法从不同角度来实现掌纹图像可识别特征的提取,对于掌纹图像识别技术的发展起到重要的促进作用。近年来,卷积神经网络(CNN)作为一种基于多层监督学习的人工神经网络,具有较好的容错性、自适应性和自学习能力,有效改善了传统方法存在的提取特征不充分问题,被广泛应用于图像分类、物体检测与识别和目标跟踪等领域。此外,将CNN网络还可以作为基础特征提取器,并与其他特征提取方法合理相结合,则有可能获得更有效的图像特征表示,从而进一步提高分类、识别或检测方法的性能。
发明内容
本发明的目的在于基于卷积神经网络(CNN)和双向局部特征聚合描述向量(BiVLAD)相结合,提供一种可以获取更全面、完整的特征信息、具有更高的识别精度以及更好的鲁棒性的掌纹图像识别方法。
为解决上述技术问题,本发明提供技术方案如下:采用深度学习法预训练CNN网络,通过预训练CNN网络提取掌纹图像卷积特征,然后选择具有较好判别能力的卷积层特征与VLAD方法相结合,从两个方向充分应用卷积特征中表征的掌纹全局信息和局部信息,并使用分数层上的融合方法实现双向特征信息的互补,从而获得更高的识别精度,具体包括以下步骤:
步骤1:采用深度学习法预训练CNN网络,运用预训练CNN网络对给定数据库的一张掌纹图像进行特征提取,将其中的一层掌纹卷积特征取出形成一个三维特征图谱;
步骤2:基于步骤1,以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量,并利用特征码本对这张图像的所有纵向CNN特征进行VLAD编码,获得纵向局部特征聚合描述向量;其中,特征码本是基于一定数量图像的纵向局部特征向量进行k-means聚类训练得到的;
步骤3:基于步骤1,以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量,并利用特征码本对这张图像的所有横向CNN特征进行VLAD编码,获得横向局部特征聚合描述向量;其中,特征码本是基于一定数量图像的横向局部特征向量进行k-means聚类训练得到的;
步骤4:基于步骤2和3,采用余弦距离对纵向或横向局部特征聚合描述向量与特征模板分别进行纵向和横向匹配计算,可计算获得纵向匹配分数和横向匹配分数,然后在分数层对纵向和横向匹配分数进行融合。
其中步骤1包括以下具体步骤:
(1)采用深度学习法预训练CNN网络,对于一张大小为n×n的掌纹图像,作为已训练好的CNN网络的输入,对其进行特征提取。
(2)在网络层的第Ll层,可以得到一个大小为nl×nl×dl的三维特征图谱Ml,其中dl是第Ll层对应的滤波器个数。
步骤2包括以下步骤:
(1)对于这张掌纹图像的特征图谱Ml中的每一个坐标为(x,y)的点,可以得到一个dl-维的向量其中1≤x≤nl,1≤y≤nl,称之为纵向的局部特征向量。这张图像在第Ll层可以得到(nl)2个dl-维的纵向特征向量的集合,即特征矩阵
局部特征向量和聚类中心的向量差反应出局部特征向量经过聚类中心的映射后的分布情况。这张图像所有的纵向局部特征向量和其对应的聚类中心的向量差的集合,为纵向VLAD聚合特征向量它是一个dl×k-维的向量,称这种编码方法为纵向卷积特征的局部特征聚合描述向量(VVLAD):
步骤3包括以下步骤:
对于这张掌纹图像的特征图谱Ml,可以得到一个2维的特征矩阵(nl)2×dl,然后提取一个(nl)2-维的向量其中,1≤i≤dl,将其称之为横向的局部特征向量。同时,得到dl个(nl)2-维的横向局部特征向量的集合,即特征矩阵这张图像的每一个横向局部特征向量都会被分配到离此向量最近的聚类中心
步骤4包括以下具体步骤:
(1)经过编码后得到一张图像两种CNN特征的VLAD特征向量,采用余弦距离对纵向或横向局部特征聚合描述向量与特征模板分别进行纵向和横向匹配计算,得到纵向匹配分数和横向匹配分数。
(2)将纵向匹配分数和横向匹配分数进行分数层融合,分数层融合操作如下:
fj=(f1+f2)/2
其中fj是融合之后的新得分,f1是纵向局部特征聚合描述向量与特征向量模板的匹配分值,f2横向局部特征聚合描述向量与模特征向量模板的匹配分值。
与现有技术相比,本发明的有益效果为:经过预训练的CNN网络多层提取特征,选出效果最好的特征。并且对掌纹卷积特征进行双向的提取,保留了图像的全局特征和局部特征,减少了掌纹图像可能会出现的信息丢失现象。经过双向特征的融合,实现了两个特征信息的相互补充,使用来识别的特征信息更为全面和完整,从而能得到更高的识别精度,具有更好的鲁棒性。
附图说明
图1为本发明的基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法的流程图。
图2为本发明的方法在PolyU掌纹图像库上进行实验得到的EER比较图。
具体实施方式
结合说明书附图和具体实施方式对发明作进一步说明。
实施例1
本发明具体实施上采用的实验数据来自香港理工大学的公开的PolyU掌纹数据库。此数据库是目前世界上公开的最大的掌纹数据库,它包含了来自386个不同手掌的7752张灰度BMP格式的掌纹图像,其中分两次获取,每次平均每个掌纹获取10张图像。每张掌纹图像经过预处理之后得到ROI区域为128×128像素。本发明中的实验选取第一次获取的3855张掌纹图像,其中平均每个手掌10张图像。
本发明具体实施上采用的CNN网络为VGG-F,它是基于imagenet大规模图像库训练的深度网络,共有21层,要求的输入图像大小为224×224,本发明用该网络来提取掌纹图像卷积特征。
如图1所示,本发明的具体方法包括以下步骤:
步骤一:获取PolyU掌纹图像库中的一张掌纹图像,其大小为128×128,将其放大到224×224像素,然后放入预训练的VGG-F网络中进行特征提取。发明取出掌纹图像的第11层卷积特征,并得到这张图像的特征图谱M11,大小为13×13×256。
步骤二:从特征图谱M11中提取图像的所有纵向局部特征向量大小为256×169,对于这张图像的每一个大小为256×1的纵向局部特征向量都会被分别分配到与其对应的聚类中心图像的每个特征向量与其对应的聚类中心的向量差的集合,形成了它的局部聚合向量大小为(256×400)×1:
其中,将PolyU掌纹图像数据库中的1930张掌纹图像(来自386个手掌,平均每个手掌5张掌纹图像)的所有纵向特征矩阵1930F1 11作为聚类样本,得到聚类中心的集合即纵向特征码本,大小为256×400,取聚类中心k的值为400。有公式:
步骤三:从特征图谱M11中提取图像的所有横向局部特征向量大小为169×256。对于这张图像的每一个大小为169×1的横向局部特征向量fi 11,都会被分别分配到与其对应的聚类中心每个特征向量与其对应的聚类中心的向量差的集合,形成了它的局部聚合向量大小为(169×400)×1:
其中,取PolyU掌纹图像数据库中的1930张掌纹图像(来自386个手掌,平均每个手掌5张掌纹图像)的所有横向特征矩阵作为聚类样本,得到聚类中心的集合即纵向特征码本,大小为169×400,取聚类中心k的值为400。有公式:
步骤四:通过计算余弦距离对两类待识别特征与对应的特征模板分别进行纵向和横向匹配,得到匹配分值。然后,将匹配分值都进行分数级的融合,将两种方法得到的匹配分值分别做最大值、最小值以及平均值的融合:
fj=(f1+f2)/2
进而,重复以上步骤对数据库中3855张图像进行特征提取,然后进行同类图像和异类图像的匹配,然后对所有匹配结果进行统计,可得出相对应3855张掌纹图像的等错误率EER值,其中CNN+VVALD方法得到的EER值为0.14%,CNN+HVLAD方法得到的EER值为0.18%。
如图2所示,最终得到三种融合方法的EER值分别为最大值融合的0.13%、最小值融合的0.10%和平均值融合得到的最好结果为0.09%。然而,步骤一中,对于由第11层得到的掌纹卷积特征,基于统计结果,得到3855张掌纹图像的CNN卷积特征的等错误率EER值为0.28%。
根据以上步骤,本发明提出了对CNN卷积特征进行双向提取,然后再进行双向编码特征的融合。可以看出,本发明提出纵向卷积特征VLAD编码方法(VVLAD)和横向卷积特征VLAD编码方法(HVLAD)在表现性能上都优于仅仅由CNN提取的卷积特征。除此之外,经过对这两种方法得到结果的分数层融合,取得了本实验最好的值即为EER=0.09%。
综上所述,本发明提出的基于卷积神经网络(CNN)和双向局部特征聚合描述向量(BiVLAD)的掌纹图像识别方法具有很好的效果,具有较好的鲁棒性。首先预训练的CNN网络可以提取很好的图像特征。其次,本发明对掌纹特征从全局和局部两个方面都进行了提取和编码,使得掌纹特征的信息保全的更好,得到了图像特征信息互补,减少信息丢失。另外,通过编码,使特征更规范化,更容易进行后期的相似度计算以及匹配,从而提高掌纹识别的精度,大大的降低掌纹图像的等错误率EER。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围内。
Claims (5)
1.基于CNN和双向VLAD的掌纹图像识别方法,其特征在于,包括以下步骤:
步骤1:采用深度学习法预训练CNN网络,运用预训练的CNN网络对给定数据库中的掌纹图像进行特征提取,将其中的一层掌纹卷积特征取出,形成三维特征图谱;
步骤2:基于步骤1,以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量,并对这张图像的纵向CNN特征进行VLAD编码,获得纵向局部特征聚合描述向量;
步骤3:基于步骤1,以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量,并对这张图像的横向CNN特征进行VLAD编码,获得横向局部特征聚合描述向量;
步骤4:基于步骤2和3,采用余弦距离对纵向局部特征聚合描述向量与特征向量模板进行纵向匹配计算,可计算获得纵向匹配分数,紧接着采用余弦距离对横向局部特征聚合描述向量与特征向量模板进行横向匹配计算,可计算获得横向匹配分数,然后在分数层对纵向和横向匹配分数进行融合,从而实现掌纹图像的识别。
2.根据权利要求1所述的基于CNN和双向VLAD的掌纹图像识别方法,其特征在于,所述步骤1的具体方法为:采用深度学习法预训练CNN网络,对于给定的一张掌纹图像,输入预训练的CNN网络,在第Ll个卷积层后可以得到一个三维的特征图谱Ml,大小为nl×nl×dl,其中dl是第Ll层的滤波器个数。
3.根据权利要求1所述的基于CNN和双向VLAD的掌纹图像识别方法,其特征在于,所述步骤2的具体方法为:对于步骤1中得到的掌纹图像,将其输入预训练的CNN网络后,在网络的第Ll卷积层得到的特征图谱Ml中可以取(nl)2个dl-维的纵向特征向量的集合,即特征矩阵对于其纵向局部特征向量会被分配到离它最近的聚类中心每一张图像所有的纵向局部特征向量与对应聚类中心的向量差值的集合即为纵向局部特征聚合描述向量
5.根据权利要求1所述的基于CNN和双向VLAD的掌纹图像识别方法,其特征在于,所述步骤4的具体方法为:采用余弦距离对纵向局部特征聚合描述向量与特征向量模板进行纵向匹配计算,可计算获得纵向匹配分数,紧接着采用余弦距离对横向局部特征聚合描述向量与特征向量模板进行横向匹配计算,可计算获得横向匹配分数,然后采用平均分值融合的方法进行分数层的融合:
fj=(f1+f2)/2
其中fj是融合之后的新得分,f1是纵向编码特征,即纵向局部特征聚合描述向量,与特征向量模板的匹配分数,f2横向编码特征,即横向局部特征聚合描述向量,与模特征向量模板的匹配分数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710186832.0A CN107122712B (zh) | 2017-03-27 | 2017-03-27 | 基于cnn和双向vlad的掌纹图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710186832.0A CN107122712B (zh) | 2017-03-27 | 2017-03-27 | 基于cnn和双向vlad的掌纹图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107122712A CN107122712A (zh) | 2017-09-01 |
CN107122712B true CN107122712B (zh) | 2020-11-13 |
Family
ID=59718064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710186832.0A Active CN107122712B (zh) | 2017-03-27 | 2017-03-27 | 基于cnn和双向vlad的掌纹图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107122712B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107862249B (zh) * | 2017-10-18 | 2021-08-17 | 太原理工大学 | 一种分叉掌纹识别方法及装置 |
CN109685058B (zh) | 2017-10-18 | 2021-07-09 | 杭州海康威视数字技术股份有限公司 | 一种图像目标识别方法、装置及计算机设备 |
CN108875505B (zh) * | 2017-11-14 | 2022-01-21 | 北京旷视科技有限公司 | 基于神经网络的行人再识别方法和装置 |
CN109002843A (zh) * | 2018-06-28 | 2018-12-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN108596163A (zh) * | 2018-07-10 | 2018-09-28 | 中国矿业大学(北京) | 一种基于cnn和vlad的煤岩识别方法 |
CN111832369A (zh) * | 2019-04-23 | 2020-10-27 | 中国移动通信有限公司研究院 | 一种图像识别方法、装置及电子设备 |
CN110175615B (zh) * | 2019-04-28 | 2021-01-01 | 华中科技大学 | 模型训练方法、域自适应的视觉位置识别方法及装置 |
CN111652239B (zh) * | 2019-04-30 | 2023-06-20 | 上海铼锶信息技术有限公司 | 一种图像局部特征对整体特征贡献度的评估方法及系统 |
CN110909601B (zh) * | 2019-10-18 | 2022-12-09 | 武汉虹识技术有限公司 | 一种基于深度学习的美瞳识别方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG190730A1 (en) * | 2010-12-09 | 2013-07-31 | Univ Nanyang Tech | Method and an apparatus for determining vein patterns from a colour image |
CN105046205B (zh) * | 2015-06-24 | 2019-02-01 | 西安理工大学 | 一种基于局部和全局特征融合的掌纹识别方法 |
CN105760488B (zh) * | 2016-02-17 | 2020-06-16 | 北京大学 | 基于多层次特征融合的图像表达方法和装置 |
CN105787458B (zh) * | 2016-03-11 | 2019-01-04 | 重庆邮电大学 | 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法 |
-
2017
- 2017-03-27 CN CN201710186832.0A patent/CN107122712B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107122712A (zh) | 2017-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107122712B (zh) | 基于cnn和双向vlad的掌纹图像识别方法 | |
Yu et al. | Spatial pyramid-enhanced NetVLAD with weighted triplet loss for place recognition | |
CN108764041B (zh) | 用于下部遮挡人脸图像的人脸识别方法 | |
Zhuo et al. | Indoor scene structure analysis for single image depth estimation | |
WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
CN105956560B (zh) | 一种基于池化多尺度深度卷积特征的车型识别方法 | |
CN104063706B (zh) | 一种基于surf算法的视频指纹提取方法 | |
CN111259880B (zh) | 一种基于卷积神经网络的电力操作票文字识别方法 | |
CN106126581A (zh) | 基于深度学习的手绘草图图像检索方法 | |
CN110555387B (zh) | 骨架序列中基于局部关节点轨迹时空卷的行为识别方法 | |
Zhou et al. | Pose-robust face recognition with Huffman-LBP enhanced by divide-and-rule strategy | |
CN107403153A (zh) | 一种基于卷积神经网络和哈希编码的掌纹图像识别方法 | |
CN106528662A (zh) | 一种基于特征几何约束的车辆图像快速检索方法与系统 | |
CN104361096B (zh) | 一种基于特征富集区域集合的图像检索方法 | |
CN110197113B (zh) | 一种高精度锚点匹配策略的人脸检测方法 | |
CN108537120A (zh) | 一种基于深度学习的人脸识别方法及系统 | |
Zhong et al. | Palmprint and dorsal hand vein dualmodal biometrics | |
Singh et al. | A sparse coded composite descriptor for human activity recognition | |
CN104376312A (zh) | 基于词袋压缩感知特征提取的人脸识别方法 | |
CN104699783A (zh) | 基于个性化视觉字典自适应调整的社交图像检索方法 | |
CN104299010B (zh) | 一种基于词袋模型的图像描述方法及系统 | |
CN105975643A (zh) | 一种基于文本索引的实时图像检索方法 | |
Liu et al. | 3D action recognition using multi-temporal skeleton visualization | |
CN116386102A (zh) | 一种基于改进残差卷积网络inception块结构的人脸情绪识别方法 | |
CN106570910B (zh) | 基于自编码特征和近邻模型的图像自动标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |