CN107403153A - 一种基于卷积神经网络和哈希编码的掌纹图像识别方法 - Google Patents
一种基于卷积神经网络和哈希编码的掌纹图像识别方法 Download PDFInfo
- Publication number
- CN107403153A CN107403153A CN201710595437.8A CN201710595437A CN107403153A CN 107403153 A CN107403153 A CN 107403153A CN 201710595437 A CN201710595437 A CN 201710595437A CN 107403153 A CN107403153 A CN 107403153A
- Authority
- CN
- China
- Prior art keywords
- msup
- hash
- palmprint image
- mrow
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络和哈希编码的掌纹图像识别方法,具体步骤包括:基于预训练的卷积神经网络生成掌纹图像卷积特征,选择中间一层卷积特征向量化形成高维卷积特征;其次,采用主成分分析法对高维卷积特征进行降维处理,得到低维子空间的掌纹图像特征;然后,根据训练样本集的语义相似矩阵采用有监督哈希编码的方法编码得到二进制哈希码,基于训练样本集的低维卷积特征及二进制哈希码,训练一个q位二进制分类器;最后,在特征匹配阶段将测试样本集的低维卷积特征输入二进制分类器中对低维掌纹特征进行分类,达到识别的目的。本发明结合卷积神经网络及哈希编码的优点,能有效地区分不同的掌纹,显著提高掌纹图像的识别精度。
Description
技术领域
本发明涉及掌纹图像识别领域,具体涉及一种基于卷积神经网络和哈希编码的掌纹图像识别方法。
背景技术
目前,生物特征识别技术,如面部指纹、掌纹、虹膜和静脉识别等取得了飞速的发展。在这些生物识别技术中,掌纹识别因其具有的丰富的特征信息、高精度、稳定性好、低成本等特点,正受到越来越广泛的关注。近年来,出现了多种基于掌纹特征的掌纹识别方法,如基于结构、编码、纹理、子空间和统计的方法等。其中,基于编码的方法,例如PalmCode、CompCode、OrdiCode、SMCC,通过滤波器(高斯滤波器、Gabor滤波器)从掌纹图像提取纹理信息,已经可以实现非常高的掌纹识别精度。尤其是SMCC方法的等错误率可达到EER=0.0140%的精度。虽然该方法具有非常高的精度,但要实现EER=0.0000%的精度仍然非常困难。而基于学习的掌纹编码表示方法,可以实现更好的识别精度。
卷积神经网络(CNN)作为一种基于多层监督学习的人工神经网络,具有较好的容错性、自适应性和自学习能力,可有效改善传统方法存在的特征提取不充分的问题,被广泛应用于图像分类、物体检测与识别和目标跟踪等领域。此外,作为一种近似最近邻搜索方法,哈希编码(Hashing Code)正变得广受欢迎,该方法可以基于优化算法直接从样本中学习哈希编码。因此将CNN网络作为特征提取器,并与哈希编码方法相结合,可以获得一种更有效的图像特征表示方法,从而进一步提高分类、识别或检测方法的精度。
发明内容
本发明为解决上述现有技术存在的识别精度不高的缺点,提出了一种基于卷积神经网络和哈希编码的掌纹图像识别方法。该方法结合了卷积神经网络能够获取掌纹的全局信息和局部信息以及哈希编码能大幅度降低时间和空间的复杂度的优点,可有效地区分不同的掌纹,显著提高了掌纹图像的识别精度。
本发明为解决其问题所采用的技术方案包括:
1.特征提取:
运用预训练的卷积神经网络(CNN)对给定数据库的掌纹图像进行特征提取,将中间的一层掌纹卷积特征向量化形成一个高维卷积特征矩阵;采用主成分分析方法(PCA)对得到高维特征进行降维,得到低维的卷积特征矩阵X∈RN×n,其中N表示掌纹图像个数,n表示维度。
2.构造语义相似矩阵L与哈希矩阵Btrain:
假设训练集有N1张掌纹图像,则语义相似矩阵定义如下:
其中,Ii和Ij分别表示第i张和第j张掌纹图像;
假设每张掌纹图像的哈希编码q位,则训练集的哈希码通过优化得到函数:
其中,Btrain=[BZ,BM],
3.训练分类器:
根据训练集的低维卷积特征Xtrain,训练一个线性分类器,其预测函数模型为:
U=WTX+b
其中,W表示投影矩阵,b=0;
为使Btrain与U之间的差别最小,采用均方误差最小化并引入正则项进行优化,即
其中,λe表示正则项系数;
利用最小二乘法对W进行评估,可得,
最终训练出的线性分类器为
4.掌纹识别:
将测试样本集低维卷积特征Xtest输入上述的线性分类器,得到测试样本的哈希编码Btest,即
最后,通过汉明(Hamming)匹配,实现高精度的掌纹识别。
本发明的有益效果:首先预训练的卷积神经网络可以很好的提取掌纹的全局和局部图像特征信息,其次,通过二进制哈希编码,使图像特征更简洁,存储所需空间更少,更容易进行后期的相似度计算以及匹配,从而提高掌纹识别的精度,大大的降低掌纹图像的等错误率(EER)。
附图说明
下面结合附图和具体的实施方式对本发明作进一步详细的说明。
图1为本发明一种基于卷积神经网络(CNN)和哈希编码(Hashing Code)的掌纹图像识别方法的流程图。
图2为本发明在PolyU掌纹图像库上同类掌纹与异类掌纹的汉明(Hamming)匹配曲线图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施方式对本发明进行详细描述。
图1为本发明的流程图。为实现本发明基于卷积神经网络和哈希编码掌纹图像识别的目的,首先,基于预训练的卷积神经网络生成掌纹图像卷积特征,选择中间的一层卷积特征向量化形成高维卷积特征;其次,对高维卷积特征执行PCA降维操作,得到掌纹图像的低维卷积特征;然后,根据训练样本集的标签构造语义相似矩阵,采用有监督哈希编码的方法进行编码得到二进制哈希编码;最后,根据训练集掌纹图像的低维特征和二进制哈希编码,训练一个q位的二进制分类器,将测试集的低维特征输入到分类器中,得到测试集的哈希编码,通过与掌纹数据库进行汉明匹配,从而实现高精度的掌纹图像识别。
本发明具体实施所采用的数据来自香港理工大学公开的PolyU掌纹数据库。此数据库是目前世界上公开的最大的掌纹数据库,它包含了来自386个不同手掌的7752张灰度BMP格式的掌纹图像,其中分两次获取,每次平均每个掌纹获取10张图像。每张掌纹图像经过预处理之后得到ROI区域为128×128像素。本发明具体实施选取第一次获取掌纹图像,其中平均每个手掌10张图像。
本发明具体提取掌纹图像卷积特征所采用的卷积神经网络为VGG-F,它是一种基于imagenet大规模图像库训练的深度网络,共有21层,要求的输入图像大小为224×224像素。
本发明具体实施过程如下:
步骤一:获取PolyU掌纹图像库中的掌纹图像,其大小为128×128像素,将其放大到224×224像素,然后放入预训练的VGG-F网络中进行特征提取。取掌纹图像的第13层卷积特征,并得到每一张图像的特征图谱M13,大小为13×13×256,将其特征图谱向量化为F13∈R1×(13×13×256)。
步骤二:对每一张掌纹图像的F13∈R1×(13×13×256)执行PCA降维操作,得到掌纹数据集的低维卷积特征X∈R3860×1024。
步骤三:根据训练集的标签构造语义相似矩阵L∈{-1,1}1930×1930定义如下,
其中,Ii和Ij分别表示第i张和第j张掌纹图像,1930表示训练集掌纹个数;
本发明中通过对每张图像编码64、128、256位,通过优化:
得到Btrain1∈{-1,1}1930×64,Btrain2∈{-1,1}1930×128,Btrain3∈{-1,1}1930×256,分别将Btrain1∈{-1,1}1930×64,Btrain2∈{-1,1}1930×128,Btrain3∈{-1,1}1930×256和Xtrain∈R1930×1024组合输入线性分类器得到
将测试集Xtest带入上述等式中,得到测试集不同位数的哈希编码。
步骤四:对测试集的哈希编码进行同类图像和异类图像汉明匹配,然后对所有匹配结果进行统计,可得出相对应测试集掌纹图像的EER值,通过匹配可进一步达到识别的目的。
使用卷积神经网络提取的高维卷积特征测得的EER值结果为0.2623%,对高维特征进行PCA降维得到特征测得的EER为0.2643%,降维对最终的评估结果影响可以忽略不计。最终对掌纹图像编128位码时在测试集上测的EER=0.0000%。
图2为在128位编码时同类图像与异类图像匹配曲线,可以看出同类间掌纹图像哈希编码的汉明距离最大值为13,异类间掌纹图像哈希编码的汉明距离最小值为40。因此在进行掌纹识别时,将汉明距离的阈值设为13到40之间某一值时均可区分出同类与异类间的图像,并且识别的精度为100%。
综上所述,本发明提出的基于卷积神经网络和哈希编码的掌纹图像识别方法具有很好的效果。首先预训练的卷积神经网络可以很好的提取掌纹的全局和局部图像特征信息,其次,通过二进制哈希编码,使图像特征更简洁,存储所需空间更少,更容易进行后期的相似度计算以及匹配,从而提高掌纹识别的精度,大大的降低掌纹图像的等错误率EER。
以上仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围内。
Claims (4)
1.一种基于卷积神经网络和哈希编码的掌纹图像识别方法,其特征在于,该方法包括下列步骤:
步骤1:采用预训练的卷积神经网络对给定数据集中的掌纹图像进行特征提取,取中间的一层掌纹卷积特征向量化形成高维卷积特征;
步骤2:基于步骤1的高维卷积特征,采用主成分分析的方法对其进行降维处理,得到低维的掌纹卷积特征;
步骤3:根据训练样本集的标签构造语义相似矩阵,采用有监督哈希编码的方法进行编码得到二进制哈希编码;
步骤4:基于步骤2和3得到的训练集掌纹图像的低维卷积特征和二进制哈希编码,训练一个分类器,将基于步骤1和2得到的测试集的低维卷积特征输入到该分类器中,得到待识别样本的哈希编码,通过与掌纹数据库进行汉明匹配,从而实现高精度的掌纹图像识别。
2.根据权利要求1所述的一种基于卷积神经网络和哈希编码的掌纹图像识别方法,其特征在于,在步骤1和2中,对于给定数据集的掌纹图像,输入预训练的卷积神经网络,将得到的卷积层的特征图谱M∈Rh×w×c向量化为高维卷积特征F∈RN×(h×w×c),其中N表示掌纹图像个数,h、w和c分别代表特征图谱的高、宽及个数,然后利用主成分分析的方法对得到的高维卷积特征进行降维操作,得到低维的掌纹卷积特征X∈RN×n,其中n表示低维卷积特征的维度。
3.根据权利要求1所述的一种基于卷积神经网络和哈希编码的掌纹图像识别方法,其特征在于,在步骤3中,哈希编码根据有监督的哈希编码模型:
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>B</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>q</mi>
<mi>L</mi>
<mo>-</mo>
<msup>
<mi>BB</mi>
<mi>T</mi>
</msup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
</mrow>
其中,||·||F表示F范数,B表示哈希编码矩阵,L表示语义相似矩阵,q表示编码的长度;
在此编码模型的基础上,进一步改进,得到最终的哈希编码优化模型:
<mrow>
<munder>
<mi>min</mi>
<mrow>
<msup>
<mi>B</mi>
<mi>M</mi>
</msup>
<mo>,</mo>
<msup>
<mi>B</mi>
<mi>Z</mi>
</msup>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>q</mi>
<msup>
<mover>
<mi>L</mi>
<mo>~</mo>
</mover>
<mi>Z</mi>
</msup>
<mo>-</mo>
<msup>
<mi>B</mi>
<mi>Z</mi>
</msup>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msup>
<mi>B</mi>
<mi>M</mi>
</msup>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mo>|</mo>
<mo>|</mo>
<mi>q</mi>
<msup>
<mover>
<mi>L</mi>
<mo>~</mo>
</mover>
<mi>M</mi>
</msup>
<mo>-</mo>
<msup>
<mi>B</mi>
<mi>M</mi>
</msup>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msup>
<mi>B</mi>
<mi>M</mi>
</msup>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
</mrow>
其中,B=[BZ,BM],
通过迭代优化上述模型,得到最终训练集掌纹图像的哈希编码Btrain。
4.根据权利要求1所述的一种基于卷积神经网络和哈希编码的掌纹图像识别方法,其特征在于,在步骤4中,根据训练集的低维卷积特征Xtrain,训练一个线性q位二进制分类器,最终达到识别的目的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710595437.8A CN107403153A (zh) | 2017-07-20 | 2017-07-20 | 一种基于卷积神经网络和哈希编码的掌纹图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710595437.8A CN107403153A (zh) | 2017-07-20 | 2017-07-20 | 一种基于卷积神经网络和哈希编码的掌纹图像识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107403153A true CN107403153A (zh) | 2017-11-28 |
Family
ID=60402150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710595437.8A Pending CN107403153A (zh) | 2017-07-20 | 2017-07-20 | 一种基于卷积神经网络和哈希编码的掌纹图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107403153A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108108699A (zh) * | 2017-12-25 | 2018-06-01 | 重庆邮电大学 | 融合深度神经网络模型和二进制哈希的人体动作识别方法 |
CN108171735A (zh) * | 2017-12-27 | 2018-06-15 | 清华大学 | 基于深度学习的十亿像素视频对齐方法及系统 |
CN108830217A (zh) * | 2018-06-15 | 2018-11-16 | 辽宁工程技术大学 | 一种基于模糊均值哈希学习的签名自动判别方法 |
CN109800677A (zh) * | 2018-12-29 | 2019-05-24 | 西安交通大学 | 一种跨平台掌纹识别方法 |
CN110176298A (zh) * | 2019-05-31 | 2019-08-27 | 南通大学 | 用于糖尿病性眼底图像分类的核主成分谱哈希方法 |
CN111507279A (zh) * | 2020-04-21 | 2020-08-07 | 北京智能工场科技有限公司 | 一种基于UNet++网络的掌纹识别方法 |
CN111695507A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 一种基于改进VGGNet网络和PCA的静态手势识别方法 |
CN112861976A (zh) * | 2021-02-11 | 2021-05-28 | 温州大学 | 一种基于孪生图卷积哈希网络的敏感图像识别方法 |
-
2017
- 2017-07-20 CN CN201710595437.8A patent/CN107403153A/zh active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108108699A (zh) * | 2017-12-25 | 2018-06-01 | 重庆邮电大学 | 融合深度神经网络模型和二进制哈希的人体动作识别方法 |
CN108171735A (zh) * | 2017-12-27 | 2018-06-15 | 清华大学 | 基于深度学习的十亿像素视频对齐方法及系统 |
CN108171735B (zh) * | 2017-12-27 | 2021-01-22 | 清华大学 | 基于深度学习的十亿像素视频对齐方法及系统 |
CN108830217B (zh) * | 2018-06-15 | 2021-10-26 | 辽宁工程技术大学 | 一种基于模糊均值哈希学习的签名自动判别方法 |
CN108830217A (zh) * | 2018-06-15 | 2018-11-16 | 辽宁工程技术大学 | 一种基于模糊均值哈希学习的签名自动判别方法 |
CN109800677A (zh) * | 2018-12-29 | 2019-05-24 | 西安交通大学 | 一种跨平台掌纹识别方法 |
CN109800677B (zh) * | 2018-12-29 | 2021-11-02 | 掌握科技无锡有限公司 | 一种跨平台掌纹识别方法 |
CN110176298A (zh) * | 2019-05-31 | 2019-08-27 | 南通大学 | 用于糖尿病性眼底图像分类的核主成分谱哈希方法 |
CN111507279A (zh) * | 2020-04-21 | 2020-08-07 | 北京智能工场科技有限公司 | 一种基于UNet++网络的掌纹识别方法 |
CN111507279B (zh) * | 2020-04-21 | 2021-05-25 | 北京智能工场科技有限公司 | 一种基于UNet++网络的掌纹识别方法 |
CN111695507A (zh) * | 2020-06-12 | 2020-09-22 | 桂林电子科技大学 | 一种基于改进VGGNet网络和PCA的静态手势识别方法 |
CN111695507B (zh) * | 2020-06-12 | 2022-08-16 | 桂林电子科技大学 | 一种基于改进VGGNet网络和PCA的静态手势识别方法 |
CN112861976A (zh) * | 2021-02-11 | 2021-05-28 | 温州大学 | 一种基于孪生图卷积哈希网络的敏感图像识别方法 |
CN112861976B (zh) * | 2021-02-11 | 2024-01-12 | 温州大学 | 一种基于孪生图卷积哈希网络的敏感图像识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107403153A (zh) | 一种基于卷积神经网络和哈希编码的掌纹图像识别方法 | |
CN107122809B (zh) | 基于图像自编码的神经网络特征学习方法 | |
CN110969020B (zh) | 基于cnn和注意力机制的中文命名实体识别方法、系统及介质 | |
Jiang et al. | A direct fingerprint minutiae extraction approach based on convolutional neural networks | |
CN107403084B (zh) | 一种基于步态数据的身份识别方法 | |
CN109190566B (zh) | 一种融合局部编码与cnn模型手指静脉识别方法 | |
CN107122712B (zh) | 基于cnn和双向vlad的掌纹图像识别方法 | |
He et al. | Beyond OCR: Multi-faceted understanding of handwritten document characteristics | |
CN108304826A (zh) | 基于卷积神经网络的人脸表情识别方法 | |
Shao et al. | Efficient deep palmprint recognition via distilled hashing coding | |
CN107194418B (zh) | 一种基于对抗特征学习的水稻蚜虫检测方法 | |
CN102938070B (zh) | 一种基于动作子空间与权重化行为识别模型的行为识别方法 | |
CN106022273A (zh) | 基于动态样本选择策略的bp神经网络手写体识别系统 | |
CN107729890B (zh) | 基于lbp和深度学习的人脸识别方法 | |
KR20190123372A (ko) | 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법 | |
CN112001292B (zh) | 一种基于多尺度注意力机制深度哈希的指静脉索引方法 | |
Cheng et al. | Supervised hashing with deep convolutional features for palmprint recognition | |
Zhong et al. | Palmprint and dorsal hand vein dualmodal biometrics | |
CN114387641A (zh) | 基于多尺度卷积网络和ViT的虚假视频检测方法及系统 | |
CN109840512A (zh) | 一种面部动作单元识别方法及识别装置 | |
Cheng et al. | A multiclassification method for iris data based on the hadamard error correction output code and a convolutional network | |
Singh et al. | A sparse coded composite descriptor for human activity recognition | |
Arora et al. | FKPIndexNet: An efficient learning framework for finger-knuckle-print database indexing to boost identification | |
Safdari et al. | A hierarchical feature learning for isolated Farsi handwritten digit recognition using sparse autoencoder | |
CN114220179A (zh) | 一种基于faiss的在线手写签名笔迹检索方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171128 |