CN107122712A - 基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法 - Google Patents
基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法 Download PDFInfo
- Publication number
- CN107122712A CN107122712A CN201710186832.0A CN201710186832A CN107122712A CN 107122712 A CN107122712 A CN 107122712A CN 201710186832 A CN201710186832 A CN 201710186832A CN 107122712 A CN107122712 A CN 107122712A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msubsup
- feature
- palm print
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 80
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000004220 aggregation Methods 0.000 claims description 14
- 230000002776 aggregation Effects 0.000 claims description 14
- 230000002457 bidirectional effect Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 abstract 2
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法,包括如下步骤:(1)基于预训练的CNN网络来生成掌纹图像卷积特征,选择中间一层形成三维特征图谱;(2)以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量,进行编码获得纵向局部特征聚合描述向量;(3)以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量,进行编码获得横向局部特征聚合描述向量;(4)采用余弦距离对两类待识别特征与特征模板分别进行纵向和横向匹配计算,并在分数层对纵向和横向匹配分数进行融合。本发明结合使用掌纹的全局和局部信息,提高了识别精度,具有较好的鲁棒性。
Description
技术领域
本发明涉及掌纹图像识别领域,具体涉及一种基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法。
背景技术
在生物特征识别技术中,掌纹识别技术具有较高的识别精度。掌纹具有唯一性和基本终生不变性,具有丰富的可用于身份识别的信息,并且采集掌纹的设备价格低廉,掌纹识别技术也在政府、银行、社会福利保障、电子商务和安全防卫等领域得到成功应用,因此对掌纹识别技术方法的研究具有重要意义。
对于掌纹识别技术来说,掌纹图像特征提取的效果在很大程度上决定了掌纹识别的精度,因此掌纹图像特征提取被认为是掌纹识别的关键步骤,成为掌纹识别技术发展中的重点研究领域之一。现有的掌纹特征提取方法主要分为基于纹理的特征提取方法、基于结构的特征提取方法、基于子空间的特征提取方法和基于统计的特征提取方法,这些方法从不同角度来实现掌纹图像可识别特征的提取,对于掌纹图像识别技术的发展起到重要的促进作用。近年来,卷积神经网络(CNN)作为一种基于多层监督学习的人工神经网络,具有较好的容错性、自适应性和自学习能力,有效改善了传统方法存在的提取特征不充分问题,被广泛应用于图像分类、物体检测与识别和目标跟踪等领域。此外,将CNN网络还可以作为基础特征提取器,并与其他特征提取方法合理相结合,则有可能获得更有效的图像特征表示,从而进一步提高分类、识别或检测方法的性能。
发明内容
本发明的目的在于基于卷积神经网络(CNN)和双向局部特征聚合描述向量(BiVLAD)相结合,提供一种可以获取更全面、完整的特征信息、具有更高的识别精度以及更好的鲁棒性的掌纹图像识别方法。
为解决上述技术问题,本发明提供技术方案如下:采用深度学习法预训练CNN网络,通过预训练CNN网络提取掌纹图像卷积特征,然后选择具有较好判别能力的卷积层特征与VLAD方法相结合,从两个方向充分应用卷积特征中表征的掌纹全局信息和局部信息,并使用分数层上的融合方法实现双向特征信息的互补,从而获得更高的识别精度,具体包括以下步骤:
步骤1:采用深度学习法预训练CNN网络,运用预训练CNN网络对给定数据库的一张掌纹图像进行特征提取,将其中的一层掌纹卷积特征取出形成一个三维特征图谱;
步骤2:基于步骤1,以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量,并利用特征码本对这张图像的所有纵向CNN特征进行VLAD编码,获得纵向局部特征聚合描述向量;其中,特征码本是基于一定数量图像的纵向局部特征向量进行k-means聚类训练得到的;
步骤3:基于步骤1,以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量,并利用特征码本对这张图像的所有横向CNN特征进行VLAD编码,获得横向局部特征聚合描述向量;其中,特征码本是基于一定数量图像的横向局部特征向量进行k-means聚类训练得到的;
步骤4:基于步骤2和3,采用余弦距离对两类待识别特征与特征模板分别进行纵向和横向匹配计算,并在分数层对纵向和横向匹配分数进行融合。
其中步骤1包括以下具体步骤:
(1)采用深度学习法预训练CNN网络,对于一张大小为n×n的掌纹图像,作为已训练好的CNN网络的输入,对其进行特征提取。
(2)在网络层的第Ll层,可以得到一个大小为nl×nl×dl的三维特征图谱Ml,其中dl是第Ll层对应的滤波器个数。
步骤2包括以下步骤:
(1)对于这张掌纹图像的特征图谱Ml中的每一个坐标为(x,y)的点,可以得到一个dl-维的向量其中1≤x≤nl,1≤y≤nl,称之为纵向的局部特征向量。这张图像在第Ll层可以得到(nl)2个dl-维的纵向特征向量的集合,即特征矩阵
(2)对于这张图像,从卷积层Ll提取到的每一个纵向局部特征向量都会被分配到离此向量最近的聚类中心
局部特征向量和聚类中心的向量差反应出局部特征向量经过聚类中心的映射后的分布情况。这张图像所有的纵向局部特征向量和其对应的聚类中心的向量差的集合,为纵向VALD聚合特征向量它是一个dl×k-维的向量,我们称这种编码方法为VVLAD:
其中,是这张掌纹图像的一个纵向局部特征向量与其对应的聚类中心的向量差。聚类中心是由一定数量的掌纹图像的纵向CNN特征作为训练样本,进行k-means聚类得到的,这k个聚类中心的集合叫做码本:
步骤3包括以下步骤:
对于这张掌纹图像的特征图谱Ml,可以得到一个2维的特征矩阵(nl)2×dl,然后提取一个(nl)2-维的向量其中,1≤i≤dl,将其称之为横向的局部特征向量。同时,得到dl个(nl)2-维的横向局部特征向量的集合,即特征矩阵这张图像的每一个横向局部特征向量都会被分配到离此向量最近的聚类中心
然后得到一个(nl)2×k-维的横向VALD聚合特征向量称这种编码方法为HVLAD:
其中,是这张掌纹图像的一个横向局部特征向量与其对应的聚类中心的向量差。聚类中心是由一定数量的掌纹图像的横向CNN特征作为训练样本,进行k-means聚类得到的:
步骤4包括以下具体步骤:
(1)经过编码后得到一张图像两种CNN特征的VLAD特征向量,采用余弦距离对两类待识别特征与特征模板分别进行纵向和横向匹配计算,得到匹配分值。
(2)将两种特征的匹配分值进行分数层融合,分数层融合操作如下:
fj=(f1+f2)/2
其中fj是融合之后的新得分,f1是纵向编码特征与特征向量模板的匹配分值,f2纵向编码特征与模特征向量模板的匹配分值。
与现有技术相比,本发明的有益效果为:经过预训练的CNN网络多层提取特征,选出效果最好的特征。并且对掌纹卷积特征进行双向的提取,保留了图像的全局特征和局部特征,减少了掌纹图像可能会出现的信息丢失现象。经过双向特征的融合,实现了两个特征信息的相互补充,使用来识别的特征信息更为全面和完整,从而能得到更高的识别精度,具有更好的鲁棒性。
附图说明
图1为本发明的一种基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法的流程图。
图2为本发明的方法在PolyU掌纹图像库上进行实验得到的EER比较图。
具体实施方式
结合说明书附图和具体实施方式对发明作进一步说明。
实施例1
本发明具体实施上采用的实验数据来自香港理工大学的公开的PolyU掌纹数据库。此数据库是目前世界上公开的最大的掌纹数据库,它包含了来自386个不同手掌的7752张灰度BMP格式的掌纹图像,其中分两次获取,每次平均每个掌纹获取10张图像。每张掌纹图像经过预处理之后得到ROI区域为128×128像素。本发明中的实验选取第一次获取的3855张掌纹图像,其中平均每个手掌10张图像。
本发明具体实施上采用的CNN网络为VGG-F,它是基于imagenet大规模图像库训练的深度网络,共有21层,要求的输入图像大小为224×224,本发明用该网络来提取掌纹图像卷积特征。
如图1所示,本发明的具体方法包括以下步骤:
步骤一:获取PolyU掌纹图像库中的一张掌纹图像,其大小为128×128,将其放大到224×224像素,然后放入预训练的VGG-F网络中进行特征提取。发明取出掌纹图像的第11层卷积特征,并得到这张图像的特征图谱M11,大小为13×13×256。
步骤二:从特征图谱M11中提取图像的所有纵向局部特征向量大小为256×169,对于这张图像的每一个大小为256×1的纵向局部特征向量都会被分别分配到与其对应的聚类中心图像的每个特征向量与其对应的聚类中心的向量差的集合,形成了它的局部聚合向量大小为(256×400)×1:
其中,将PolyU掌纹图像数据库中的1930张掌纹图像(来自386个手掌,平均每个手掌5张掌纹图像)的所有纵向特征矩阵作为聚类样本,得到聚类中心的集合即纵向特征码本,大小为256×400,取聚类中心k的值为400。有公式:
步骤三:从特征图谱M11中提取图像的所有横向局部特征向量大小为169×256。对于这张图像的每一个大小为169×1的横向局部特征向量都会被分别分配到与其对应的聚类中心每个特征向量与其对应的聚类中心的向量差的集合,形成了它的局部聚合向量大小为(169×400)×1:
其中,取PolyU掌纹图像数据库中的1930张掌纹图像(来自386个手掌,平均每个手掌5张掌纹图像)的所有横向特征矩阵作为聚类样本,得到聚类中心的集合即纵向特征码本,大小为169×400,取聚类中心k的值为400。有公式:
步骤四:通过计算余弦距离对两类待识别特征与对应的特征模板分别进行纵向和横向匹配,得到匹配分值。然后,将匹配分值都进行分数级的融合,将两种方法得到的匹配分值分别做最大值、最小值以及平均值的融合:
fj=(f1+f2)/2
进而,重复以上步骤对数据库中3855张图像进行特征提取,然后进行同类图像和异类图像的匹配,然后对所有匹配结果进行统计,可得出相对应3855张掌纹图像的等错误率EER值,其中CNN+VVALD方法得到的EER值为0.14%,CNN+HVLAD方法得到的EER值为0.18%。
如图2所示,最终得到三种融合方法的EER值分别为最大值融合的0.13%、最小值融合的0.10%和平均值融合得到的最好结果为0.09%。然而,步骤一中,对于由第11层得到的掌纹卷积特征,基于统计结果,得到3855张掌纹图像的CNN卷积特征的等错误率EER值为0.28%。
根据以上步骤,本发明提出了对CNN卷积特征进行双向提取,然后再进行双向编码特征的融合,可以看出,本发明提出纵向卷积特征VLAD编码方法(VVLAD)和横向卷积特征VLAD编码方法(HVLAD)在表现性能上都优于仅仅由CNN提取的卷积特征。除此之外,经过对这两种方法得到结果的分数层融合,取得了本实验最好的值即为EER=0.09%。
综上所述,本发明提出的基于卷积神经网络(CNN)和双向局部特征聚合描述向量(BiVLAD)的掌纹图像识别方法具有很好的效果,具有较好的鲁棒性。首先预训练的CNN网络可以提取很好的图像特征。其次,本发明对掌纹特征从全局和局部两个方面都进行了提取和编码,使得掌纹特征的信息保全的更好,得到了图像特征信息互补,减少信息丢失。另外,通过编码,使特征更规范化,更容易进行后期的相似度计算以及匹配,从而提高掌纹识别的精度,大大的降低掌纹图像的等错误率EER。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围内。
Claims (5)
1.基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法,其特征在于:包括以下步骤:
步骤1:采用深度学习法预训练CNN网络,运用预训练的CNN网络对给定数据库中的掌纹图像进行特征提取,取其中的一层掌纹卷积特征取出,形成三维特征图谱;
步骤2:基于步骤1,以三维特征图谱中表征图像同一位置的特征元素来构建纵向局部特征向量,并对这张图像的纵向CNN特征进行VLAD编码,获得纵向局部特征聚合描述向量;
步骤3:基于步骤1,以三维特征图谱中表征整幅掌纹图像的特征矩阵按行拉伸成向量作为横向局部特征向量,并对这张图像的横向CNN特征进行VLAD编码,获得横向局部特征聚合描述向量;
步骤4:基于步骤2和3,采用余弦距离对两类待识别特征与特征向量模板分别进行纵向和横向匹配计算,并在分数层对纵向和横向匹配分数进行融合,从而实现掌纹图像的识别。
2.根据权利要求1所述的基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法,其特征在于:所述步骤1的具体方法为,采用深度学习法预训练CNN网络,对于给定的一张掌纹图像,输入预训练的CNN网络,在卷积层可以得到一个三维的特征图谱Ml,大小为nl×nl×dl,其中dl是第Ll层的滤波器个数。
3.根据权利要求1所述的基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法,其特征在于:所述步骤2的具体方法为,对于步骤1中得到的掌纹图像,将其输入预训练的CNN网络后,在网络的第Ll层得到的特征图谱Ml中可以取(nl)2个dl-维的纵向特征向量的集合,即特征矩阵对于其每一个纵向局部特征向量都会被分配到离它最近的聚类中心每一张图像所有的局部特征向量与聚类中心的向量差值的集合即为VLAD向量
<mrow>
<msubsup>
<mi>v</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>a</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>N</mi>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>c</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>a</mi>
</mrow>
<mi>l</mi>
</msubsup>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>c</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>a</mi>
</mrow>
<mi>l</mi>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>v</mi>
<mn>1</mn>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mo>&lsqb;</mo>
<msubsup>
<mi>v</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>v</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
</mrow>
<mi>l</mi>
</msubsup>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msubsup>
<mi>v</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>a</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msubsup>
<mi>v</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>&rsqb;</mo>
</mrow>
其中,k为聚类中心的个数,聚类中心的集合构成特征码本,它是基于一定数量掌纹图像的纵向特征矩阵F1 l作为训练样本进行k-means聚类得到的。
4.根据权利要求1所述的基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法,其特征在于:所述步骤3的具体方法为,对于给定的一张掌纹图像,输入预训练的CNN网络,在网络的第Ll层得到的特征图谱Ml可以取出dl个(nl)2-维的横向特征向量fi l的集合,即特征矩阵这张图像的每一个横向局部特征向量都会被分配到离此向量最近的聚类中心
<mrow>
<msubsup>
<mi>c</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mi>b</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mi>N</mi>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>i</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>&le;</mo>
<mi>b</mi>
<mo>&le;</mo>
<mi>k</mi>
<mo>)</mo>
</mrow>
</mrow>
然后得到一个(nl)2×k-维的横向VALD聚合特征向量
<mrow>
<msubsup>
<mi>v</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mi>b</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>N</mi>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>i</mi>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>c</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mi>b</mi>
</mrow>
<mi>l</mi>
</msubsup>
</mrow>
</munder>
<msubsup>
<mi>f</mi>
<mi>i</mi>
<mi>l</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>c</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mi>b</mi>
</mrow>
<mi>l</mi>
</msubsup>
</mrow>
<mrow>
<msubsup>
<mi>v</mi>
<mn>2</mn>
<mi>l</mi>
</msubsup>
<mo>=</mo>
<mo>&lsqb;</mo>
<msubsup>
<mi>v</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>v</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>2</mn>
</mrow>
<mi>l</mi>
</msubsup>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msubsup>
<mi>v</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mi>b</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msubsup>
<mi>v</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>&rsqb;</mo>
</mrow>
其中,是这张掌纹图像的一个横向局部特征向量与其对应的聚类中心的向量差,聚类中心是由一定数量的掌纹图像的横向CNN特征作为训练样本,进行k-means聚类得到的得到这张图像的所有横向局部特征向量与聚类中心的差值的集合即为VLAD向量
5.根据权利要求1所述的基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法,其特征在于:所述步骤4的具体方法为,采用余弦距离对两类待识别特征模板进行纵向和横向匹配计算,得到匹配分值,然后采用平均分值融合的方法进行分数层的融合:
fj=(f1+f2)/2
其中fj是融合之后的新得分,f1是纵向编码特征与特征向量模板的匹配分值,f2纵向编码特征与模特征向量模板的匹配分值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710186832.0A CN107122712B (zh) | 2017-03-27 | 2017-03-27 | 基于cnn和双向vlad的掌纹图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710186832.0A CN107122712B (zh) | 2017-03-27 | 2017-03-27 | 基于cnn和双向vlad的掌纹图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107122712A true CN107122712A (zh) | 2017-09-01 |
CN107122712B CN107122712B (zh) | 2020-11-13 |
Family
ID=59718064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710186832.0A Active CN107122712B (zh) | 2017-03-27 | 2017-03-27 | 基于cnn和双向vlad的掌纹图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107122712B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107862249A (zh) * | 2017-10-18 | 2018-03-30 | 太原理工大学 | 一种分叉掌纹识别方法及装置 |
CN108596163A (zh) * | 2018-07-10 | 2018-09-28 | 中国矿业大学(北京) | 一种基于cnn和vlad的煤岩识别方法 |
CN108875505A (zh) * | 2017-11-14 | 2018-11-23 | 北京旷视科技有限公司 | 基于神经网络的行人再识别方法和装置 |
CN109002843A (zh) * | 2018-06-28 | 2018-12-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
WO2019076188A1 (zh) * | 2017-10-18 | 2019-04-25 | 杭州海康威视数字技术股份有限公司 | 一种图像目标识别方法、装置及计算机设备 |
CN110175615A (zh) * | 2019-04-28 | 2019-08-27 | 华中科技大学 | 模型训练方法、域自适应的视觉位置识别方法及装置 |
CN110909601A (zh) * | 2019-10-18 | 2020-03-24 | 武汉虹识技术有限公司 | 一种基于深度学习的美瞳识别方法及系统 |
CN111652239A (zh) * | 2019-04-30 | 2020-09-11 | 上海铼锶信息技术有限公司 | 一种图像局部特征对整体特征贡献度的评估方法及系统 |
CN111832369A (zh) * | 2019-04-23 | 2020-10-27 | 中国移动通信有限公司研究院 | 一种图像识别方法、装置及电子设备 |
WO2024120125A1 (zh) * | 2022-12-08 | 2024-06-13 | 中兴通讯股份有限公司 | 行为识别方法、电子设备及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140016832A1 (en) * | 2010-12-09 | 2014-01-16 | Los Angeles Biomedical Research Institute | Method and an apparatus for determining vein patterns from a colour image |
CN105046205A (zh) * | 2015-06-24 | 2015-11-11 | 西安理工大学 | 一种基于局部和全局特征融合的掌纹识别方法 |
CN105760488A (zh) * | 2016-02-17 | 2016-07-13 | 北京大学 | 基于多层次特征融合的图像表达方法和装置 |
CN105787458A (zh) * | 2016-03-11 | 2016-07-20 | 重庆邮电大学 | 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法 |
-
2017
- 2017-03-27 CN CN201710186832.0A patent/CN107122712B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140016832A1 (en) * | 2010-12-09 | 2014-01-16 | Los Angeles Biomedical Research Institute | Method and an apparatus for determining vein patterns from a colour image |
CN105046205A (zh) * | 2015-06-24 | 2015-11-11 | 西安理工大学 | 一种基于局部和全局特征融合的掌纹识别方法 |
CN105760488A (zh) * | 2016-02-17 | 2016-07-13 | 北京大学 | 基于多层次特征融合的图像表达方法和装置 |
CN105787458A (zh) * | 2016-03-11 | 2016-07-20 | 重庆邮电大学 | 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685058B (zh) * | 2017-10-18 | 2021-07-09 | 杭州海康威视数字技术股份有限公司 | 一种图像目标识别方法、装置及计算机设备 |
US11347977B2 (en) | 2017-10-18 | 2022-05-31 | Hangzhou Hikvision Digital Technology Co., Ltd. | Lateral and longitudinal feature based image object recognition method, computer device, and non-transitory computer readable storage medium |
CN109685058A (zh) * | 2017-10-18 | 2019-04-26 | 杭州海康威视数字技术股份有限公司 | 一种图像目标识别方法、装置及计算机设备 |
WO2019076188A1 (zh) * | 2017-10-18 | 2019-04-25 | 杭州海康威视数字技术股份有限公司 | 一种图像目标识别方法、装置及计算机设备 |
CN107862249A (zh) * | 2017-10-18 | 2018-03-30 | 太原理工大学 | 一种分叉掌纹识别方法及装置 |
CN108875505A (zh) * | 2017-11-14 | 2018-11-23 | 北京旷视科技有限公司 | 基于神经网络的行人再识别方法和装置 |
CN109002843A (zh) * | 2018-06-28 | 2018-12-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
WO2020001196A1 (zh) * | 2018-06-28 | 2020-01-02 | Oppo广东移动通信有限公司 | 图像处理方法、电子设备、计算机可读存储介质 |
CN108596163A (zh) * | 2018-07-10 | 2018-09-28 | 中国矿业大学(北京) | 一种基于cnn和vlad的煤岩识别方法 |
CN111832369A (zh) * | 2019-04-23 | 2020-10-27 | 中国移动通信有限公司研究院 | 一种图像识别方法、装置及电子设备 |
CN110175615A (zh) * | 2019-04-28 | 2019-08-27 | 华中科技大学 | 模型训练方法、域自适应的视觉位置识别方法及装置 |
CN110175615B (zh) * | 2019-04-28 | 2021-01-01 | 华中科技大学 | 模型训练方法、域自适应的视觉位置识别方法及装置 |
CN111652239A (zh) * | 2019-04-30 | 2020-09-11 | 上海铼锶信息技术有限公司 | 一种图像局部特征对整体特征贡献度的评估方法及系统 |
CN111652239B (zh) * | 2019-04-30 | 2023-06-20 | 上海铼锶信息技术有限公司 | 一种图像局部特征对整体特征贡献度的评估方法及系统 |
CN110909601A (zh) * | 2019-10-18 | 2020-03-24 | 武汉虹识技术有限公司 | 一种基于深度学习的美瞳识别方法及系统 |
WO2024120125A1 (zh) * | 2022-12-08 | 2024-06-13 | 中兴通讯股份有限公司 | 行为识别方法、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107122712B (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107122712B (zh) | 基于cnn和双向vlad的掌纹图像识别方法 | |
Yu et al. | Spatial pyramid-enhanced NetVLAD with weighted triplet loss for place recognition | |
CN105956560B (zh) | 一种基于池化多尺度深度卷积特征的车型识别方法 | |
CN108764041B (zh) | 用于下部遮挡人脸图像的人脸识别方法 | |
CN106778854A (zh) | 基于轨迹和卷积神经网络特征提取的行为识别方法 | |
CN104765768A (zh) | 海量人脸库的快速准确检索方法 | |
CN104361096B (zh) | 一种基于特征富集区域集合的图像检索方法 | |
CN104036255A (zh) | 一种人脸表情识别方法 | |
Zhou et al. | Pose-robust face recognition with Huffman-LBP enhanced by divide-and-rule strategy | |
CN108108760A (zh) | 一种快速人脸识别方法 | |
CN107403153A (zh) | 一种基于卷积神经网络和哈希编码的掌纹图像识别方法 | |
CN110197113B (zh) | 一种高精度锚点匹配策略的人脸检测方法 | |
CN105046272A (zh) | 一种基于简洁非监督式卷积网络的图像分类方法 | |
CN108537120A (zh) | 一种基于深度学习的人脸识别方法及系统 | |
CN109325507A (zh) | 一种结合超像素显著性特征与hog特征的图像分类算法和系统 | |
CN113505719B (zh) | 基于局部-整体联合知识蒸馏算法的步态识别模型压缩系统及方法 | |
CN115830637B (zh) | 一种基于姿态估计和背景抑制的遮挡行人重识别方法 | |
CN114511012A (zh) | 基于特征匹配和位置匹配的sar图像与光学图像匹配方法 | |
CN106156798A (zh) | 基于环形空间金字塔和多核学习的场景图像分类方法 | |
CN114842507A (zh) | 一种基于组优化奖励的强化行人属性识别方法 | |
Liu et al. | Axial assembled correspondence network for few-shot semantic segmentation | |
Hu et al. | Action recognition using multiple pooling strategies of CNN features | |
Kim et al. | Ancient coin recognition based on spatial coding | |
CN104299010B (zh) | 一种基于词袋模型的图像描述方法及系统 | |
CN107122780A (zh) | 基于时空特征点的互信息与时空分布熵的行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |