CN112200156B - 基于聚类辅助的静脉识别模型训练方法及装置 - Google Patents

基于聚类辅助的静脉识别模型训练方法及装置 Download PDF

Info

Publication number
CN112200156B
CN112200156B CN202011368138.9A CN202011368138A CN112200156B CN 112200156 B CN112200156 B CN 112200156B CN 202011368138 A CN202011368138 A CN 202011368138A CN 112200156 B CN112200156 B CN 112200156B
Authority
CN
China
Prior art keywords
clustering
residual error
input
finger vein
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011368138.9A
Other languages
English (en)
Other versions
CN112200156A (zh
Inventor
赵国栋
任湘
张烜
李学双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holy Point Century Technology Co.,Ltd.
Original Assignee
Sichuan Shengdian Century Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Shengdian Century Technology Co ltd filed Critical Sichuan Shengdian Century Technology Co ltd
Priority to CN202011368138.9A priority Critical patent/CN112200156B/zh
Publication of CN112200156A publication Critical patent/CN112200156A/zh
Application granted granted Critical
Publication of CN112200156B publication Critical patent/CN112200156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于聚类辅助的静脉识别模型训练方法及装置，所述的基于聚类辅助的静脉识别模型训练方法包括：1）通过聚类方法对指静脉图像进行分型聚类，得到聚类分型结果；2）通过第一卷积神经网络训练形成聚类类型判别模型；3）通过所述聚类类型判别模型对输入的指静脉图像进行分型聚类，得到分属于不同手指的多个指静脉图像集合；4）通过第二卷积神经网络训练形成指静脉识别模型。本发明采用聚类方法找出不同手指间的指静脉图像特征差异以及同根手指的不同指静脉图像间的特征差异，并根据差异特征定义静脉图像类型，避免了人为主观定义指静脉图像类型带来的误差，为确保后续训练的指静脉识别模型的模型性能提供了基础保障。

Description

基于聚类辅助的静脉识别模型训练方法及装置
技术领域
本发明涉及指静脉图像识别技术领域，具体涉及一种基于聚类辅助的静脉识别模型训练方法及装置。
背景技术
随着指静脉技术在安防领域中应用越来越广泛，近些年，指静脉识别技术得到了快速发展。目前，指静脉识别技术根据识别方式的不同主要分为三大类：一类是根据指静脉图像提取静脉区域及静脉关键点特征，通过对比特征点进行指静脉识别；另一类是，采用传统的机器学习方法训练机器学习模型对指静脉图像进行识别；还有一类是采用深度学习技术训练指静脉识别模型，通过模型提取指静脉图像的深度特征实现对指静脉的识别。上述三类指静脉识别方法主要存在以下几个问题：
1、第一类指静脉识别方法在采集的指静脉图像质量较差时，难以提取指静脉特征，导致指静脉识别效果较差。
2、第二类指静脉识别方法难以提取指静脉的深度特征，导致指静脉识别的效果不够理想。
3、第三类采用深度学习训练而得的指静脉识别模型虽然取得了较好地指静脉识别效果，但现有的通过深度学习网络训练而得的指静脉识别模型通常仅以手指和手指间的特征差异为指静脉识别基础，而忽略了同根手指的指静脉特征差异（对于同根手指采集的指静脉图像可能由于拍摄时间、拍摄角度、光照等因素导致同根手指的指静脉特征具有差异）对模型识别性能的影响，所以如果在指静脉模型训练过程中充分考虑同根手指的指静脉特征差异对于提高模型识别性能具有积极作用。
发明内容
本发明的目的在于提供一种基于聚类辅助的静脉识别模型训练方法及装置，旨在排除指静脉图像特征差异性特别是同根手指的指静脉特征的差异性对指静脉识别的不利影响，以进一步提升指静脉识别的识别率和准确率。
为达此目的，本发明采用以下技术方案：
一种基于聚类辅助的静脉识别模型训练方法，包括：
1）通过聚类方法对指静脉图像进行分型聚类，得到聚类分型结果；
2）根据所述聚类分型结果，并通过第一卷积神经网络训练形成聚类类型判别模型；
3）通过所述聚类类型判别模型对输入的指静脉图像进行分型聚类，得到分属于不同手指的多个指静脉图像集合；
4）以分属于不同手指的各所述指静脉图像集合为训练样本，并通过第二卷积神经网络训练形成指静脉识别模型。
优选地，步骤1）中采用的所述聚类方法具体包括：
1.1）采集每根手指的指静脉图像；
1.2）随机选取每根手指的若干张指静脉图像；
1.3）通过k-means聚类算法对选取的指静脉图像进行分型聚类，确定各指静脉图像分别对应的聚类类型；
1.4）在已确定聚类类型的指静脉图像中，随机在每一类中选取若干张图像作为聚类基础库；
1.5）在尚未进行分型聚类的指静脉图像中随机选取若干张作为新的聚类对象；
1.6）将步骤1.5）选取的所述聚类对象混合到所述聚类基础库中，同样采用k-means聚类算法对混合图像集进行分型聚类，确定每一所述聚类对象对应的聚类类型；
1.7）重复步骤1.4）~1.6），直至完成对所采集的所有指静脉图像的分型聚类，得到所述聚类分型结果。
优选地，步骤2）中，用于训练所述聚类类型判别模型的所述第一卷积神经网络包括前后连接的13个卷积层、一AveragePooling层、Flatten层、第一Full connect层和第二Full connect层，13个卷积层中的第一卷积层输入指静脉图像，最后的第十三卷积层输出的指静脉特征图输入到所述AveragePooling层，所述AveragePooling层的输出连接所述Flatten层的输入，所述Flatten层的输出连接所述第一Full connect层的输入，所述第一Full connect层的输出连接所述第二Full connect层的输入，所述第二Full connect层的输出连接一softmax分类器，通过所述softmax分类器预测得到输入的指静脉图像对应的聚类类型。
优选地，训练所述聚类类型判别模型的所述第一卷积神经网络的网络参数见下表1：
表1
Figure 200262DEST_PATH_IMAGE001
优选地，训练所述聚类类型判别模型采用的损失函数
Figure 138131DEST_PATH_IMAGE002
通过以下公式（1）表达：
Figure 432846DEST_PATH_IMAGE003
公式（1）中，
Figure 407756DEST_PATH_IMAGE004
表示对指静脉图像进行分型聚类的类别数，
Figure 217449DEST_PATH_IMAGE005
表示第
Figure 568796DEST_PATH_IMAGE005
类聚类类型,
Figure 514755DEST_PATH_IMAGE005
为整数且0 <
Figure 926145DEST_PATH_IMAGE005
< 6；
Figure 957555DEST_PATH_IMAGE006
表示所述聚类类型判别模型对第
Figure 847013DEST_PATH_IMAGE005
类输入的预测输出，
Figure 913058DEST_PATH_IMAGE007
表示第
Figure 229770DEST_PATH_IMAGE005
类指静脉图像的真实聚类类型；
Figure 748476DEST_PATH_IMAGE006
通过以下公式（2）计算而得：
Figure 441626DEST_PATH_IMAGE008
公式（2）中，C表示对指静脉图像进行分型聚类的类别数，
Figure 353388DEST_PATH_IMAGE005
表示第
Figure 106580DEST_PATH_IMAGE005
类聚类类型,
Figure 112583DEST_PATH_IMAGE005
为整数且0 <
Figure 343844DEST_PATH_IMAGE005
< 6；
Figure 118902DEST_PATH_IMAGE009
表示第
Figure 42995DEST_PATH_IMAGE005
类输入，
Figure 536294DEST_PATH_IMAGE006
表示对第
Figure 571246DEST_PATH_IMAGE005
类输入的预测输出。
优选地，步骤3）中 ，用于训练所述指静脉识别模型的所述第二卷积神经网络包括卷积网络、残差网络、AveragePooling层、Flatten层和Full connect层，所述训练样本输入到所述卷积网络中，所述卷积网络的输出连接所述残差网络的输入，所述残差网络的输出连接所述AveragePooling层的输入，所述AveragePooling层的输出连接所述Flatten层的输入，所述Flatten层的输出连接所述Full connect层的输入，所述Full connect层输出指静脉识别结果；
所述卷积网络包括依序连接的12个卷积层，第一卷积层输入所述训练样本，最后的第十二卷积层的输出连接所述残差网络的输入；
所述残差网络包括依序连接的第一残差模块、第二残差模块、第三残差模块和第四残差模块，所述第一残差模块、第二残差模块和所述第四残差模块包括一branch1残差块和依序连接的3个残差单元，所述第三残差模块包括一所述branch1残差块和依序连接的6个残差单元，
所述第一残差模块或第二残差模块中的第一残差单元的输出与其自身模块中的所述branch1残差块的输出累加后作为其自身模块中的第二残差单元的输入；所述第一残差模块或所述第二残差模块中的第二残差单元的输出与其自身输入累加后作为其自身模块中的第三残差单元的输入；所述第一残差模块或所述第二残差模块中的第三残差单元的输出与其自身的输入累加后作为下一残差模块的输入；所述第一残差模块中的第一残差单元和所述branch1残差块的输入连接所述第十二卷积层的输出；
所述第三残差模块中的所述branch1残差块和第一残差单元的输入连接所述第二残差模块的输出；所述第三残差模块中的第一残差单元~第五残差单元的输出与其自身单元的输入累加后作为其自身模块内的下一残差单元的输入；所述第三残差模块中的第六残差单元的输出与其自身的输入累加后作为所述第四残差模块的输入；
所述第四残差模块中的所述branch1残差块和第一残差单元的输入连接所述第三残差模块的输出；所述第四残差模块中的第一残差单元或第二残差单元的输出与其自身单元的输入累加后作为自身模块内的下一残差单元的输入；所述第四残差模块中的第三残差单元的输出与其自身单元的输入累加后作为所述AveragePooling层的输入。
优选地，每个所述残差模块中的所述残差单元包括依序连接的branch2a初始预投影块、branch2b基本块和branch2c基本块。
优选地，训练所述指静脉识别模型采用的损失函数通过以下公式（3）表达：
Figure 200810DEST_PATH_IMAGE010
公式（3）中，
Figure 295805DEST_PATH_IMAGE011
为每次输入到训练网络中的图像组中的小组合的数量，
Figure 276399DEST_PATH_IMAGE005
表示第
Figure 115042DEST_PATH_IMAGE005
个 小组合,
Figure 599113DEST_PATH_IMAGE005
为整数且0 <
Figure 130589DEST_PATH_IMAGE005
< 9；
Figure 332900DEST_PATH_IMAGE012
表示第
Figure 975234DEST_PATH_IMAGE005
个小组合中选定手指的基点图像，
Figure 582320DEST_PATH_IMAGE013
表示选 定手指的所述基点图像经过训练网络输出的特征向量，
Figure 19118DEST_PATH_IMAGE014
表示第
Figure 708725DEST_PATH_IMAGE005
个小组合中选定手指 的非基点图像，
Figure 623592DEST_PATH_IMAGE015
表示所述选定手指的非基点图像经过训练网络输出的特征向量，
Figure 347834DEST_PATH_IMAGE016
表示第
Figure 283429DEST_PATH_IMAGE005
个小组合中的非选定手指图像，
Figure 335699DEST_PATH_IMAGE017
表示非选定手指图像经训练网络输出的特征 向量，
Figure 178890DEST_PATH_IMAGE018
和
Figure 429743DEST_PATH_IMAGE019
为一常数。
优选地，所述第二卷积神经网络训练所述指静脉识别模型的网络参数见下表2和表3：
表2
Figure 536239DEST_PATH_IMAGE020
表3
Figure 75805DEST_PATH_IMAGE021
本发明还提供了一种基于聚类辅助的静脉识别模型训练装置，包括：
1）第一分型聚类模块，用于通过聚类方法对指静脉图像进行分型聚类，得到聚类分型结果；
2）聚类类型判别模型训练模块，连接所述第一分型聚类模块，用于根据所述聚类分析结果，并通过第一卷积神经网络训练形成聚类类型判别模型；
3）第二分型聚类模块，连接所述聚类类型判别模型训练模块，用于通过所述聚类类型判别模型对输入的指静脉图像进行分型聚类，得到分属于不同手指的多个指静脉图像集合；
4）指静脉识别模型训练模块，连接所述第二分型聚类模块，用于以分属于不同手指的各所述指静脉图像集合为训练样本，并通过第二卷积神经网络训练形成指静脉识别模型。
本发明具有以下有益效果：
1、本发明采用聚类方法找出不同手指间的指静脉图像特征差异以及同根手指的不同指静脉图像间的特征差异，并根据差异特征定义指静脉图像类型，避免了人为主观定义指静脉图像类型带来的误差，为确保后续训练的指静脉识别模型的模型性能提供了基础保障。
2、设计了专门用于训练聚类类型判别模型的第一卷积神经网络，通过训练而得的聚类类型判别模型预测指静脉图像对应的聚类类型大幅提升了对指静脉图像的分型聚类速度和聚类准确度。
3、设计了专用用于训练指静脉识别模型的第二卷积神经网络，第二卷积神经网络以经聚类类型判别模型确定聚类类型的分属于不同手指的指静脉图像集合为训练样本，训练而得的指静脉识别模型具有优异的模型性能，能够准确识别不同手指的指静脉图像特征，大幅提升了指静脉图像的识别率和识别准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的静脉识别模型训练方法的步骤图；
图2是对指静脉图像进行分型聚类的聚类方法步骤图；
图3是本发明提供的用于训练聚类类型判别模型的第一卷积神经网络的网络结构示意图；
图4是本发明提供的用于训练指静脉识别模型的第二卷积神经网络的网络结构示意图；
图5是训练指静脉识别模型的方法流程图；
图6是本发明一实施例提供的静脉识别装置的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
实施例1
一种基于聚类辅助的静脉识别模型训练方法，如图1和图5所示，包括如下步骤：
1）通过聚类方法对指静脉图像进行分型聚类，得到聚类分型结果；
2）根据聚类分型结果，并通过第一卷积神经网络训练形成聚类类型判别模型；
3）通过聚类类型判别模型对输入的指静脉图像进行分型聚类，得到分属于不同手指的多个指静脉图像集合；
4）以分属于不同手指的各指静脉图像集合为训练样本，并通过第二卷积神经网络训练形成指静脉识别模型。
如图2所示，步骤1）中，采用的聚类方法具体包括：
1.1）采集每根手指的指静脉图像；本实施例采用20台同类型的指静脉图像采集设备，在常规环境条件下采集1500根手指的指静脉图像，每一根手指采集100张图像，共采集15万张指静脉图像，指静脉图像为尺寸为480×240像素的灰度图；
1.2）随机选取每根手指的若干张指静脉图像；本实施例随机从1500根手指中选取300根手指，每根手指选取100张图像总共选取30000张指静脉图像；
1.3）通过k-means聚类算法对选取的指静脉图像进行分型聚类，确定各指静脉图像分别对应的聚类类型；本实施例中，k-means聚类算法的聚类类别数k设定为5，以确保划分到每种类别的指静脉图像的数量相当；
1.4）在已确定聚类类型的指静脉图像中，随机在每一类中选取若干张图像作为聚类基础库；本实施例随机在每种类型中选取4000张共计20000张指静脉图像作为聚类基础库；
1.5）在尚未进行分型聚类的指静脉图像中随机选取若干张作为新的聚类对象；本实施例在未确定分类的1200根手指的指静脉图像中随机选取100根手指，每根手指100张共10000张指静脉图像作为新的聚类对象；
1.6）将步骤1.5）选取的所述聚类对象混合到所述聚类基础库中，同样采用k-means聚类算法对混合图像集进行分型聚类，确定每一所述聚类对象对应的聚类类型；k-means聚类算法根据已经确定类型的图像在每一种类型中的分布情况，将分布较多的一种类型确定为该部分（该部分包括部分新选取的聚类对象）的聚类类型，由此实现对新的聚类对象的分型聚类。通过将已经确定聚类类型的指静脉图像与未经聚类的聚类对象进行混合后再做聚类计算，能够大幅提升分型聚类的速度，提高聚类效率。
1.7）重复步骤1.4）~1.6），直至完成对所采集的所有指静脉图像的分型聚类，得到所述聚类分型结果。
以下对训练聚类类型判别模型的第一卷积神经网络的网络结构进行说明，如图3所示，第一卷积神经网络包括前后连接的13个卷积层、一AveragePooling层、Flatten层、第一Fullconnect层和第二Full connect层，13个卷积层中的第一卷积层conv1输入尺寸为480×240像素的指静脉图像，最后的第十三卷积层conv13输出的指静脉特征图输入到AveragePooling层，AveragePooling层的输出连接Flatten层的输入，Flatten层的输出连接第一Full connect层fc1的输入，第一Full connect层fc1的输出连接第二Full connect层fc2的输入，第二Full connect层fc2的输出连接一softmax分类器，通过softmax分类器预测得到输入的指静脉图像对应的聚类类型。
训练聚类类型判别模型的第一卷积神经网络的网络参数见下表1：
表1
Figure 722687DEST_PATH_IMAGE022
为了确保聚类类型判别模型的模型性能，第一卷积神经网络在模型训练中通过计 算预测类型和真实类型之间的差异用于反向传播计算调整卷积部分的参数，不断优化网络 参数使模型预测聚类类型的准确性不断提升。预测类型和真实类型之间的差异通过一损失 函数
Figure 31308DEST_PATH_IMAGE002
计算而得，该损失函数
Figure 105443DEST_PATH_IMAGE002
通过以下公式（1）表达：
Figure 866726DEST_PATH_IMAGE003
公式（1）中，
Figure 320229DEST_PATH_IMAGE023
表示对指静脉图像进行分型聚类的类别数，
Figure 483357DEST_PATH_IMAGE024
表示第
Figure 728393DEST_PATH_IMAGE024
类聚类类型,
Figure 242551DEST_PATH_IMAGE024
为整数且0 <
Figure 231236DEST_PATH_IMAGE024
< 6；
Figure 248870DEST_PATH_IMAGE025
表示聚类类型判别模型对第
Figure 930387DEST_PATH_IMAGE024
类输入的预测输出，
Figure 666262DEST_PATH_IMAGE026
表示第
Figure 193058DEST_PATH_IMAGE024
类指 静脉图像的真实聚类类型。
公式（1）中的
Figure 330779DEST_PATH_IMAGE025
通过以下公式（2）计算而得：
Figure 183197DEST_PATH_IMAGE008
公式（2）中，C表示对指静脉图像进行分型聚类的类别数，
Figure 140789DEST_PATH_IMAGE024
表示第
Figure 736855DEST_PATH_IMAGE024
类聚类类型,
Figure 729082DEST_PATH_IMAGE024
为整数且0 <
Figure 486822DEST_PATH_IMAGE024
< 6；
Figure 197290DEST_PATH_IMAGE027
表示第
Figure 599977DEST_PATH_IMAGE024
类输入，
Figure 446710DEST_PATH_IMAGE025
表示对第
Figure 640931DEST_PATH_IMAGE024
类输入的预测输出。
另外需要说明的是，在聚类类型判别模型训练过程中，训练样本数据量为120000张指静脉图像，设置每256张图像更新一次网络参数，初始学习率设为0.01，训练数据量每5个循环后减少为0.1倍。
以下对用于训练指静脉识别模型的第二卷积神经网络的网络结构进行说明。如图4所示，第二卷积神经网络包括卷积网络、残差网络、AveragePooling层、Flatten层和Fullconnect层fc512，训练样本输入到卷积网络中，卷积网络的输出连接残差网络的输入，残差网络的输出连接AveragePooling层，AveragePooling层的输出连接Flatten层的输入，Flatten层的输出连接Full connect层fc512的输入，Full connect层fc512输出指静脉识别结果；
如图4所示，卷积网络包括依序连接的12个卷积层，第一卷积层conv1输入训练样本，最后的第十二卷积层conv12的输出连接残差网络的输入；
残差网络包括依序连接的第一残差模块1、第二残差模块2、第三残差模块3和第四残差模块4，第一残差模块1、第二残差模块2和第四残差模块4包括一branch1残差块cb1和依序连接的3个残差单元c1，第三残差模块3包括一branch1残差块cb1和依序连接的6个残差单元c1，
第一残差模块1或第二残差模块2中的第一残差单元c11的输出与其自身模块中的branch1残差块cb1的输出累加后作为其自身模块中的第二残差单元c12的输入；第一残差模块1或第二残差模块2中的第二残差单元c12的输出与其自身的输入累加后作为其自身模块中的第三残差单元c13的输入；第一残差模块1或第二残差模块2中的第三残差单元c13的输出与其自身的输入累加后作为下一残差模块的输入；第一残差模块1中的第一残差单元c11和branch1残差块cb1的输入连接卷积网络中的第十二卷积层conv12的输出；
第三残差模块3中的branch1残差块cb1和第一残差单元c11的输入连接第二残差模块2的输出；第三残差模块3中的第一残差单元c11~第五残差单元c15的输出与其自身单元的输入累加后作为其自身模块内的下一残差单元的输入；第三残差模块3中的第六残差单元c16的输出与其自身的输入累加后作为第四残差模块4的输入；
第四残差模块4中的branch1残差块cb1和第一残差单元c11的输入连接第三残差模块3的输出；第四残差模块4中的第一残差单元c11或第二残差单元c12的输出与其自身单元的输入累加后作为自身模块内的下一残差单元的输入；第四残差模块4中的第三残差单元c13的输出与其自身单元的输入累加后作为AveragePooling层的输入。
如图4所示，每个残差模块中的残差单元包括依序连接的branch2a初始预投影块c111、branch2b基本块c112和branch2c基本块c113。
第二卷积神经网络训练指静脉识别模型的网络参数见下表2和表3：
表2
Figure 573115DEST_PATH_IMAGE020
表3
Figure 510984DEST_PATH_IMAGE021
本发明中，第二卷积神经网络训练指静脉识别模型采用的损失函数通过以下公式（3）表达：
Figure 477803DEST_PATH_IMAGE010
公式（3）中，
Figure 577346DEST_PATH_IMAGE011
为每次输入到训练网络中的图像组中的小组合的数量，
Figure 262405DEST_PATH_IMAGE005
表示第
Figure 738386DEST_PATH_IMAGE005
个 小组合,
Figure 559711DEST_PATH_IMAGE005
为整数且0 <
Figure 830155DEST_PATH_IMAGE005
< 9；
Figure 736932DEST_PATH_IMAGE012
表示第
Figure 16603DEST_PATH_IMAGE005
个小组合中选定手指的基点图像，
Figure 692435DEST_PATH_IMAGE013
表示选 定手指的所述基点图像经过训练网络输出的特征向量，
Figure 602622DEST_PATH_IMAGE014
表示第
Figure 793432DEST_PATH_IMAGE005
个小组合中选定手指 的非基点图像，
Figure 141626DEST_PATH_IMAGE015
表示所述选定手指的非基点图像经过训练网络输出的特征向量，
Figure 734282DEST_PATH_IMAGE016
表示第
Figure 815370DEST_PATH_IMAGE005
个小组合中的非选定手指图像，
Figure 227897DEST_PATH_IMAGE017
表示非选定手指图像经训练网络输出的特征 向量，
Figure 52634DEST_PATH_IMAGE018
和
Figure 827691DEST_PATH_IMAGE019
为一常数。
本实施例中，在每个聚类类型下分布的图像数量接近24000张，每次输入网络进行 模型训练的图像组包含17张指静脉图像，其中只有9张为同一根手指的指静脉图像，随机从 这9张中选出一张作为选定手指的基点图像，另从其他8张同手指图像与剩余的非同根手指 的8张图像中各选一张，组合成由选定的3张图像形成的图像小组，通过复用选定的基点图 像，17张静脉图像共形成8个小组合，然后将8个小组合输入到第二卷积神经网络进行模型 训练。指静脉识别模型训练过程中，初始学习率优选设置为0.01，训练数据量每10个循环后 减小为0.1倍。模型训练过程中还通过公式（3）表达的损失函数
Figure 751785DEST_PATH_IMAGE028
计算预测结果与真实结 果之间的差异用于反向传播计算调整第二卷积神经网络卷积部分的参数，以不断优化网络 参数提高模型训练效果和模型识别性能。
为了验证本发明提供的基于聚类辅助的静脉识别模型训练方法的有效性，本发明采集1500根手指的指静脉图像，每根手指采集100张，然后通过传统的识别模型、传统深度学习模型和通过本发明训练形成的指静脉识别模型对同样的指静脉图像进行指静脉识别，并统计误识率和识别率（实验统计结果请见下表4），发现本发明训练而得的指静脉识别模型识别率提升明显，误识率大幅降低，呈现出理想的模型识别性能。
表4
Figure 245083DEST_PATH_IMAGE029
实施例2
一种基于聚类辅助的静脉识别模型训练装置，如图6所示，包括：
1）第一分型聚类模块，用于通过聚类方法对指静脉图像进行分型聚类，得到聚类分型结果；第一分型聚类模块用于实现实施例1步骤1）的功能。
2）聚类类型判别模型训练模块，用于根据所述聚类分析结果，并通过第一卷积神经网络训练形成聚类类型判别模型；聚类类型判别模型训练模块用于实现实施例1步骤2）的功能。
3）第二分型聚类模块，用于通过聚类类型判别模型对输入的指静脉图像进行分型聚类，得到分属于不同手指的多个指静脉图像集合；第二分型聚类模块用于实现实施例1步骤3）的功能。
4）指静脉识别模型训练模块，用于以分属于不同手指的各指静脉图像集合为训练样本，并通过第二卷积神经网络训练形成指静脉识别模型。指静脉识别模型训练模块用于实现实施例1步骤4）的功能。
显然，本实施例的静脉识别模型训练装置可以作为上述实施例1的静脉识别模型训练方法的执行主体，因此能够实现静脉识别模型训练方法所实现的功能。由于原理相同，本文不再赘述。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (10)

1.一种基于聚类辅助的静脉识别模型训练方法，其特征在于，包括：
1）通过聚类方法对指静脉图像进行分型聚类，得到聚类分型结果；
2）根据所述聚类分型结果，并通过第一卷积神经网络训练形成聚类类型判别模型；
3）通过所述聚类类型判别模型对输入的指静脉图像进行分型聚类，得到分属于不同手指的多个指静脉图像集合；
4）以分属于不同手指的各所述指静脉图像集合为训练样本，并通过第二卷积神经网络训练形成指静脉识别模型。
2.根据权利要求1所述的基于聚类辅助的静脉识别模型训练方法，其特征在于，步骤1）中采用的所述聚类方法具体包括：
1.1）采集每根手指的指静脉图像；
1.2）随机选取每根手指的若干张指静脉图像；
1.3）通过k-means聚类算法对选取的指静脉图像进行分型聚类，确定各指静脉图像分别对应的聚类类型；
1.4）在已确定聚类类型的指静脉图像中，随机在每一类中选取若干张图像作为聚类基础库；
1.5）在尚未进行分型聚类的指静脉图像中随机选取若干张作为新的聚类对象；
1.6）将步骤1.5）选取的所述聚类对象混合到所述聚类基础库中，同样采用k-means聚类算法对混合图像集进行分型聚类，确定每一所述聚类对象对应的聚类类型；
1.7）重复步骤1.4）~1.6），直至完成对所采集的所有指静脉图像的分型聚类，得到所述聚类分型结果。
3.根据权利要求1所述的基于聚类辅助的静脉识别模型训练方法，其特征在于，步骤2）中，用于训练所述聚类类型判别模型的所述第一卷积神经网络包括前后连接的13个卷积层、一AveragePooling层、Flatten层、第一Full connect层和第二Full connect层，13个卷积层中的第一卷积层输入指静脉图像，最后的第十三卷积层输出的指静脉特征图输入到所述AveragePooling层，所述AveragePooling层的输出连接所述Flatten层的输入，所述Flatten层的输出连接所述第一Full connect层的输入，所述第一Full connect层的输出连接所述第二Full connect层的输入，所述第二Full connect层的输出连接一softmax分类器，通过所述softmax分类器预测得到输入的指静脉图像对应的聚类类型。
4.根据权利要求3所述的基于聚类辅助的静脉识别模型训练方法，其特征在于，训练所述聚类类型判别模型的所述第一卷积神经网络的网络参数见下表1：
表1
Figure DEST_PATH_IMAGE001
。
5.根据权利要求3所述的基于聚类辅助的静脉识别模型训练方法，其特征在于，训练所 述聚类类型判别模型采用的损失函数
Figure 196865DEST_PATH_IMAGE002
通过以下公式（1）表达：
Figure 499671DEST_PATH_IMAGE003
公式（1）中，
Figure 247047DEST_PATH_IMAGE004
表示对指静脉图像进行分型聚类的类别数，
Figure 660711DEST_PATH_IMAGE005
表示第
Figure 45818DEST_PATH_IMAGE005
类聚类类型，
Figure 785104DEST_PATH_IMAGE005
为整 数且0 <
Figure 754197DEST_PATH_IMAGE005
< 6；
Figure 971552DEST_PATH_IMAGE006
表示所述聚类类型判别模型对第
Figure 975280DEST_PATH_IMAGE005
类输入的预测输出，
Figure 619888DEST_PATH_IMAGE007
表示第
Figure 108900DEST_PATH_IMAGE005
类指静 脉图像的真实聚类类型；
Figure 864367DEST_PATH_IMAGE006
通过以下公式（2）计算而得：
Figure 519339DEST_PATH_IMAGE008
公式（2）中，C表示对指静脉图像进行分型聚类的类别数，
Figure 131586DEST_PATH_IMAGE005
表示第
Figure 842315DEST_PATH_IMAGE005
类聚类类型，
Figure 401472DEST_PATH_IMAGE005
为整 数且0 <
Figure 379793DEST_PATH_IMAGE005
< 6；
Figure 366203DEST_PATH_IMAGE009
表示第
Figure 62764DEST_PATH_IMAGE005
类输入，
Figure 160033DEST_PATH_IMAGE006
表示对第
Figure 759904DEST_PATH_IMAGE005
类输入的预测输出。
6.根据权利要求1所述的基于聚类辅助的静脉识别模型训练方法，其特征在于，步骤4）中 ，用于训练所述指静脉识别模型的所述第二卷积神经网络包括卷积网络、残差网络、AveragePooling层、Flatten层和Full connect层，所述训练样本输入到所述卷积网络中，所述卷积网络的输出连接所述残差网络的输入，所述残差网络的输出连接所述AveragePooling层的输入，所述AveragePooling层的输出连接所述Flatten层的输入，所述Flatten层的输出连接所述Full connect层的输入，所述Full connect层输出指静脉识别结果；
所述卷积网络包括依序连接的12个卷积层，第一卷积层输入所述训练样本，最后的第十二卷积层的输出连接所述残差网络的输入；
所述残差网络包括依序连接的第一残差模块、第二残差模块、第三残差模块和第四残差模块，所述第一残差模块、第二残差模块和所述第四残差模块包括branch1残差块和依序连接的3个残差单元，所述第三残差模块包括一所述branch1残差块和依序连接的6个残差单元，
所述第一残差模块或第二残差模块中的第一残差单元的输出与其自身模块中的所述branch1残差块的输出累加后作为其自身模块中的第二残差单元的输入；所述第一残差模块或所述第二残差模块中的第二残差单元的输出与其自身输入累加后作为其自身模块中的第三残差单元的输入；所述第一残差模块或所述第二残差模块中的第三残差单元的输出与其自身的输入累加后作为下一残差模块的输入；所述第一残差模块中的第一残差单元和所述branch1残差块的输入连接所述第十二卷积层的输出；
所述第三残差模块中的所述branch1残差块和第一残差单元的输入连接所述第二残差模块的输出；所述第三残差模块中的第一残差单元~第五残差单元的输出与其自身单元的输入累加后作为其自身模块内的下一残差单元的输入；所述第三残差模块中的第六残差单元的输出与其自身的输入累加后作为所述第四残差模块的输入；
所述第四残差模块中的所述branch1残差块和第一残差单元的输入连接所述第三残差模块的输出；所述第四残差模块中的第一残差单元或第二残差单元的输出与其自身单元的输入累加后作为自身模块内的下一残差单元的输入；所述第四残差模块中的第三残差单元的输出与其自身单元的输入累加后作为所述AveragePooling层的输入。
7.根据权利要求6所述的基于聚类辅助的静脉识别模型训练方法，其特征在于，每个所述残差模块中的残差单元包括依序连接的branch2a初始预投影块、branch2b基本块和branch2c基本块。
8.根据权利要求6所述的基于聚类辅助的静脉识别模型训练方法，其特征在于，训练所述指静脉识别模型采用的损失函数通过以下公式（3）表达：
Figure 917215DEST_PATH_IMAGE010
公式（3）中，
Figure 101072DEST_PATH_IMAGE011
为每次输入到训练网络中的图像组中的小组合的数量，
Figure 2032DEST_PATH_IMAGE005
表示第
Figure 689365DEST_PATH_IMAGE005
个小组 合,
Figure 315781DEST_PATH_IMAGE005
为整数且0 <
Figure 783671DEST_PATH_IMAGE005
< 9；
Figure 488322DEST_PATH_IMAGE012
表示第
Figure 295741DEST_PATH_IMAGE005
个小组合中选定手指的基点图像，
Figure 794856DEST_PATH_IMAGE013
表示选定手 指的所述基点图像经过训练网络输出的特征向量，
Figure 935330DEST_PATH_IMAGE014
表示第
Figure 178092DEST_PATH_IMAGE005
个小组合中选定手指的非 基点图像，
Figure 840018DEST_PATH_IMAGE015
表示所述选定手指的非基点图像经过训练网络输出的特征向量，
Figure 510033DEST_PATH_IMAGE016
表示 第
Figure 624620DEST_PATH_IMAGE005
个小组合中的非选定手指图像，
Figure 936653DEST_PATH_IMAGE017
表示非选定手指图像经训练网络输出的特征向 量，
Figure 813604DEST_PATH_IMAGE018
和
Figure 185680DEST_PATH_IMAGE019
为一常数。
9.根据权利要求6所述的基于聚类辅助的静脉识别模型训练方法，其特征在于，所述第二卷积神经网络训练所述指静脉识别模型的网络参数见下表2和表3：
表2
Figure 787562DEST_PATH_IMAGE020
表3
Figure DEST_PATH_IMAGE021
。
10.一种基于聚类辅助的静脉识别模型训练装置，其特征在于，包括：
1）第一分型聚类模块，用于通过聚类方法对指静脉图像进行分型聚类，得到聚类分型结果；
2）聚类类型判别模型训练模块，用于根据所述聚类分型结果，并通过第一卷积神经网络训练形成聚类类型判别模型；
3）第二分型聚类模块，用于通过所述聚类类型判别模型对输入的指静脉图像进行分型聚类，得到分属于不同手指的多个指静脉图像集合；
4）指静脉识别模型训练模块，用于以分属于不同手指的各所述指静脉图像集合为训练样本，并通过第二卷积神经网络训练形成指静脉识别模型。
CN202011368138.9A 2020-11-30 2020-11-30 基于聚类辅助的静脉识别模型训练方法及装置 Active CN112200156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011368138.9A CN112200156B (zh) 2020-11-30 2020-11-30 基于聚类辅助的静脉识别模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011368138.9A CN112200156B (zh) 2020-11-30 2020-11-30 基于聚类辅助的静脉识别模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN112200156A CN112200156A (zh) 2021-01-08
CN112200156B true CN112200156B (zh) 2021-04-30

Family

ID=74033700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011368138.9A Active CN112200156B (zh) 2020-11-30 2020-11-30 基于聚类辅助的静脉识别模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN112200156B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870808A (zh) * 2014-02-27 2014-06-18 中国船舶重工集团公司第七一〇研究所 一种手指静脉识别方法
CN107729863A (zh) * 2017-10-30 2018-02-23 成都折衍科技有限公司 人体指静脉识别方法
KR20180132535A (ko) * 2017-06-02 2018-12-12 동국대학교 산학협력단 Cnn 기반 지정맥 인식 장치 및 인식 방법
CN109165639A (zh) * 2018-10-15 2019-01-08 广州广电运通金融电子股份有限公司 一种指静脉识别方法、装置及设备
CN110147732A (zh) * 2019-04-16 2019-08-20 平安科技（深圳）有限公司 指静脉识别方法、装置、计算机设备及存储介质
CN111241957A (zh) * 2020-01-04 2020-06-05 圣点世纪科技股份有限公司 一种基于多特征融合和de-elm的手指静脉活体检测方法
CN111274915A (zh) * 2020-01-17 2020-06-12 华南理工大学 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN111639558A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326886B (zh) * 2016-11-07 2019-05-10 重庆工商大学 基于卷积神经网络的手指静脉图像质量评估方法
CN111950406A (zh) * 2020-07-28 2020-11-17 深圳职业技术学院 一种手指静脉识别方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870808A (zh) * 2014-02-27 2014-06-18 中国船舶重工集团公司第七一〇研究所 一种手指静脉识别方法
KR20180132535A (ko) * 2017-06-02 2018-12-12 동국대학교 산학협력단 Cnn 기반 지정맥 인식 장치 및 인식 방법
CN107729863A (zh) * 2017-10-30 2018-02-23 成都折衍科技有限公司 人体指静脉识别方法
CN109165639A (zh) * 2018-10-15 2019-01-08 广州广电运通金融电子股份有限公司 一种指静脉识别方法、装置及设备
CN110147732A (zh) * 2019-04-16 2019-08-20 平安科技（深圳）有限公司 指静脉识别方法、装置、计算机设备及存储介质
CN111241957A (zh) * 2020-01-04 2020-06-05 圣点世纪科技股份有限公司 一种基于多特征融合和de-elm的手指静脉活体检测方法
CN111274915A (zh) * 2020-01-17 2020-06-12 华南理工大学 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN111639558A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种基于ArcFace Loss和改进残差网络的指静脉身份验证方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Review on CNN for Finger Vein Based Classification and Biometric Identification with Image Augmentation;Anisha Krishnan等;《http://ijesc.org/》;20191130;第9卷(第11期);24119-24121 *
Convolutional Neural Network-Based Finger-Vein Recognition Using NIR Image Sensors;Hyung Gil Hong等;《www.mdpi.com/journal/sensors》;20170606;1-21 *
Improved CNN-Segmentation-Based Finger Vein Recognition Using Automatically Generated and Fused Training Labels;Ehsaneddin Jalilia等;《Handbook of Vascular Biometrics》;20191114;201-223 *
基于CNN和VLAD的指静脉描述子提取方法;文东霞等;《信号处理》;20200916;第36卷(第9期);1489-1496 *
基于独立成分分析的指静脉识别研究;肖宾杰;《电子测量与仪器学报》;20121201;第26卷(第10期);841-845 *
改进残差网络的指静脉识别;包晓安等;《西安工程大学学报》;20200721;第34卷(第3期);67-74 *

Also Published As

Publication number Publication date
CN112200156A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
Tu et al. RGBT salient object detection: A large-scale dataset and benchmark
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
Hu et al. Learning supervised scoring ensemble for emotion recognition in the wild
Wang et al. SaliencyGAN: Deep learning semisupervised salient object detection in the fog of IoT
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
CN104966104B (zh) 一种基于三维卷积神经网络的视频分类方法
CN108564129B (zh) 一种基于生成对抗网络的轨迹数据分类方法
CN104992191B (zh) 基于深度学习的特征和最大置信路径的图像分类方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN108288075A (zh) 一种改进ssd的轻量化小目标检测方法
CN109740679B (zh) 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN110082821B (zh) 一种无标签框微地震信号检测方法及装置
CN107729993A (zh) 利用训练样本及折中度量的3d卷积神经网络构建方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN110826462A (zh) 一种非局部双流卷积神经网络模型的人体行为识别方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN111914912B (zh) 一种基于孪生条件对抗网络的跨域多视目标识别方法
CN114373194A (zh) 基于关键帧与注意力机制的人体行为识别方法
CN108259893B (zh) 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法
CN116206327A (zh) 一种基于在线知识蒸馏的图像分类方法
CN113569687B (zh) 基于双流网络的场景分类方法、系统、设备及介质
CN108021693A (zh) 一种图像检索方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210907

Address after: 030032 room 0906, floor 9, building C, qingkong innovation base, No. 529, South Central Street, Taiyuan Xuefu Park, comprehensive reform demonstration zone, Taiyuan, Shanxi Province

Patentee after: Holy Point Century Technology Co.,Ltd.

Address before: 9 / F, unit 1, building 2, no.41-5, Jinsha North 2nd Road, Jinniu District, Chengdu, Sichuan 610000

Patentee before: Sichuan ShengDian Century Technology Co.,Ltd.

TR01 Transfer of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Training method and device of vein recognition model based on clustering assistance

Effective date of registration: 20220606

Granted publication date: 20210430

Pledgee: Bank of China Limited Taiyuan Binzhou sub branch

Pledgor: Holy Point Century Technology Co.,Ltd.

Registration number: Y2022140000021

PE01 Entry into force of the registration of the contract for pledge of patent right