CN112036316B - 手指静脉识别方法、装置、电子设备及可读存储介质 - Google Patents

手指静脉识别方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112036316B
CN112036316B CN202010900363.6A CN202010900363A CN112036316B CN 112036316 B CN112036316 B CN 112036316B CN 202010900363 A CN202010900363 A CN 202010900363A CN 112036316 B CN112036316 B CN 112036316B
Authority
CN
China
Prior art keywords
finger vein
finger
image
class
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010900363.6A
Other languages
English (en)
Other versions
CN112036316A (zh
Inventor
张丽萍
张亚坤
李卫军
宁欣
董肖莉
孙琳钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CN202010900363.6A priority Critical patent/CN112036316B/zh
Publication of CN112036316A publication Critical patent/CN112036316A/zh
Application granted granted Critical
Publication of CN112036316B publication Critical patent/CN112036316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本公开提供了一种基于多视图特征融合及联合贝叶斯识别模型的手指静脉识别方法和装置，该方法包括：利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像；将所述手指轮廓图像输入第一分支卷积神经网络，提取手指轮廓特征；将所述手指静脉感兴趣区域图像输入第二分支卷积神经网络，提取手指静脉主特征；将所述手指轮廓特征和所述手指静脉主特征串联，以生成融合特征向量；计算所述融合特征向量和训练集中多个类别身份向量中的每个类别身份向量之间的相似度得分；以及根据多个所述相似度得分确定所述手指静脉图像的类别。

Description

手指静脉识别方法、装置、电子设备及可读存储介质
技术领域
本公开涉及生物识别技术领域，尤其涉及一种手指静脉识别方法、装置、电子设备及可读存储介质。
背景技术
近年来，生物特征识别技术发展迅速，手指静脉识别在生物特征识别领域受到了广泛的关注。手指静脉识别依靠反应手指静脉网络分布的图像来进行身份识别，可利用的特征相比于指纹等生物特征少。而在通用的手指静脉识别技术中，为了去除背景因素、手指倾斜及放置位置对识别结果的影响，仅依靠手指静脉感兴趣区域图像(ROI图像)的单一视图进行识别使得可用信息有限，导致手指静脉识别精度不高。
现有技术中，也有研究者将手指的一些软生物特征应用到手指静脉识别中，如通过使用手指背部纹理作为软生物特征并结合手指静脉信息提高模型识别的鲁棒性，但是手指背部纹理会根据手指的弯曲程度的变化而发生大的变化，并且在采集手指背部的图象时很难控制手指的弯曲角度，这些都会引入其他的冗余信息和不确定性；采用手指的宽度作为软生物特征方法忽略了手指轮廓的连续性和拐点的信息；另外，采用手指指尖角度作为软生物特征的方法只能在特定的手指静脉数据集上使用，该方法不具有普适性；采用手指静脉背景的强度分布作为软生物特征的方法在很大程度上取决于外界的光照，这将导致软生物特征的不稳定，并且手指的前景和背景信息不容易分离。
因此，在实现本公开构思的过程中，发明人发现，相关技术中至少存在如下问题：手指静脉进行识别的可用信息有限，采用相关技术对手指静脉识别的精度不高。
发明内容
有鉴于此，本公开提供了一种手指静脉识别方法、装置、电子设备及可读存储介质。
本公开的一个方面提供了一种手指静脉识别方法，包括：利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像；将手指轮廓图像输入第一分支卷积神经网络，提取手指轮廓特征；将手指静脉感兴趣区域图像输入第二分支卷积神经网络，提取手指静脉主特征；将手指轮廓特征和手指静脉主特征串联，以生成融合特征向量；计算融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分；以及根据多个相似度得分确定手指静脉图像的类别。
根据本公开的实施例，其中，其特征在于，计算融合特征向量x与类别身份向量μ生成相似性得分r，其计算公式为：
r(x，μ)＝xTBx+μTHμ-2xTHμ
式中Sμ和Sε分别表示训练集中融合特征向量的类内协方差矩阵和类间协方差矩阵。。
根据本公开的实施例，上述手指静脉识别方法训练集中融合特征向量的类内协方差矩阵和类间协方差矩阵使用期望算法进行更新；第一分支卷积神经网络和第二分支卷积神经网络的参数集θ和类别身份向量μ使用随机梯度下降法更新。
根据本公开的实施例，上述手指静脉识别方法类内协方差矩阵、类间协方差矩阵、参数集以及类别身份向量的更新效果以手指静脉识别损失LJBS为判断依据，手指静脉识别损失LJBS通过联合贝叶斯识别损失函数计算生成，其公式为：
上式中，C表示训练集中的类别数，yi为类别标签值，r(x，μi)为所述融合特征向量x和训练集中类别i的身份向量μi之间的相似度得分。
根据本公开的实施例，上述手指静脉识别方法利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像包括：利用边缘检测算子计算手指静脉图像的邻近像素梯度，得到手指的边缘信息，再对边缘信息进行二值化处理生成手指轮廓图像；对手指静脉图像进行方向校正、裁剪，最后归一化到相同尺寸生成手指静脉感兴趣区域图像。
根据本公开的实施例，上述手指静脉识别方法手指轮廓图像与手指静脉感兴趣区域图像成对出现。
根据本公开的实施例，上述手指静脉识别方法还包括：获取用于训练第一分支卷积神经网络和第二分支卷积神经网络的样本集中每一类别样本对应的融合特征向量，其中，样本集中包括多个类别样本，每个类别包括多个样本；计算每一类别样本对应的融合特征向量的平均值；将每一类别样本对应的融合特征向量的平均值作为一个类别身份向量。
根据本公开的实施例，上述手指静脉识别方法第一分支卷积神经网络和第二分支卷积神经网络均包括多个卷积(Convolution)、批归一化(BatchNorm)、激活函数(Activation function)、池化(Pooling)及全连接(Fully connection)操作的层。
根据本公开的实施例，上述手指静脉的识别方法第一分支卷积神经网络和第二分支卷积神经网络的参数集包括：卷积层的权重及偏置、全连接层的权重及偏置、批归一化层中的权重及偏置。
本公开的另一个方面提供了一种手指静脉识别装置，包括：第一获取模块，用于利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像；第一输入模块，用于将手指轮廓图像输入第一分支卷积神经网络，提取手指轮廓特征；第二输入模块，用于将手指静脉感兴趣区域图像输入第二分支卷积神经网络，提取手指静脉主特征；串联模块，用于将手指轮廓特征和手指静脉主特征串联，以生成融合特征向量；第一计算模块，用于计算融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分；以及第一确定模块，用于根据多个相似度得分确定手指静脉图像的类别。
根据本公开实施例，上述手指静脉识别装置第一计算模块包括：计算单元，用于计算利用融合特征向量x与类别身份向量μ生成相似性得分r中的参数B和H，其计算公式为：
生成单元，用于利用融合特征向量x与类别身份向量μ生成相似性得分r，其计算公式为：
r(x，μ)＝xTBx+μTHμ-2xTHμ
根据本公开实施例，上述手指静脉识别装置还包括：更新模块，用于使用期望算法更新训练集中融合特征向量的类内协方差矩阵Sμ和类间协方差矩阵Sε，使用随机梯度下降法更新第一分支卷积神经网络和第二分支卷积神经网络的参数集θ和类别身份向量μ。
根据本公开实施例，上述手指静脉识别装置类内协方差矩阵、类间协方差矩阵、参数集以及类别身份向量的更新效果以手指静脉识别损失LJBS为判断依据，手指静脉识别损失LJBS通过联合贝叶斯识别损失函数计算生成，其公式为：
上式中，C表示训练集中的类别数，yi为类别标签值，r(x，μi)为所述融合特征向量x和训练集中类别i的身份向量μi之间的相似度得分。
根据本公开实施例，上述手指静脉识别装置第一获取模块包括：第一处理单元，用于利用边缘检测装置计算手指静脉图像的邻近像素梯度，得到手指的边缘信息，再对边缘信息进行二值化处理生成手指轮廓图像；第二处理单元，用于对手指静脉图像进行方向校正、裁剪，最后归一化到相同尺寸生成手指静脉感兴趣区域图像。
根据本公开实施例，上述手指静脉识别装置手指轮廓图像与手指静脉感兴趣区域图像成对出现。
根据本公开实施例，上述手指静脉识别装置还包括：第二获取模块，用于获取用于训练第一分支卷积神经网络和第二分支卷积神经网络的样本集中每一类别样本对应的融合特征向量，其中，样本集中包括多个类别样本，每个类别包括多个样本；第二计算模块，用于计算每一类别样本对应的融合特征向量的平均值；第二确定模块，用于将每一类别样本对应的融合特征向量的平均值作为一个类别身份向量。
根据本公开实施例，上述手指静脉识别装置第一分支卷积神经网络和第二分支卷积神经网络均包括多个卷积(Convolution)、批归一化(BatchNorm)、激活函数(Activationfunction)、池化(Pooling)及全连接(Fully connection)操作的层。
根据本公开实施例，上述手指静脉识别装置第一分支卷积神经网络和第二分支卷积神经网络的参数集包括：卷积层的权重及偏置、全连接层的权重及偏置、批归一化层中的权重及偏置。本公开的另一方面提供了电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当一个或多个指令被一个或多个处理器执行时，使得一个或多个处理器实现如上的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，指令在被执行时用于实现如上的方法。
本公开的另一方面提供了一种计算机程序，计算机程序包括计算机可执行指令，指令在被执行时用于实现如上的方法。
根据本公开的实施例，通过两个分支卷积神经网络分别提取手指静脉主特征和手指轮廓特征，然后串联两部分特征得到两个视图的融合特征，手指轮廓图像可与手指静脉图像同时采集，并且可与手指静脉感兴趣区域图像同步获取，既节约了样本采集成本，也提高了计算效率。另外，分别设计两个不同的卷积神经网络用于手指静脉主特征和手指轮廓特征的提取，既能保证各个视图特征的独立性，又能保证各个视图特征的互补性，同时还提高了特征的表达能力。该方案能在不增加采集成本的情况下，有效的提高手指静脉识别的效率和准确率。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了可以应用本公开的一种手指静脉的识别方法、装置、电子设备及可读存储介质的示例性系统架构；
图2示意性示出了根据本公开实施例的手指静脉的识别方法的流程图；
图3示意性示出了根据本公开实施例利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像的流程图；
图4示意性示出了根据本公开实施例提取手指轮廓特征与手指静脉主特征的流程图；
图5示意性示出了根据本公开实施例更新第一分支卷积神经网络、第二分支卷积神经网络的参数集和类别身份向量的流程图；
图6示意性示出了根据本公开实施例更新融合特征向量的类内协方差矩阵和类间协方差矩阵的流程图；
图7示意性示出了根据本公开实施例的手指轮廓特征和手指静脉主特征串联的流程图；
图8示意性示出了根据本公开实施例的融合特征向量与类别身份向量生成相似性得分的流程图；
图9示意性示出了根据本公开的实施例的一种手指静脉识别装置的结构图；
图10示意性示出了根据本公开实施例的第一获取模块的框图；
图11示意性示出了根据本公开实施例的第一计算模块的框图；
图12示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种手指静脉识别方法、装置、电子设备及可读存储介质。该方法包括利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像；将手指轮廓图像输入第一分支卷积神经网络，提取手指轮廓特征；将手指静脉感兴趣区域图像输入第二分支卷积神经网络，提取手指静脉主特征；将手指轮廓特征和手指静脉主特征串联，以生成融合特征向量；计算融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分；以及根据多个相似度得分确定手指静脉图像的类别。
图1示意性示出了可以本公开的一种手指静脉识别方法、装置、电子设备及可读存储介质的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供手指静脉识别方法一般可以由服务器105执行。相应地，本公开实施例所提供的手指静脉识别装置一般可以设置于服务器105中。本公开实施例所提供的手指静脉识别方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的手指静脉识别装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的手指静脉识别方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的手指静脉识别装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
例如，待处理的手指静脉图像可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的手指静脉识别方法，或者将待处理的手指静脉图像发送到其他终端设备、服务器、或服务器集群，并由接收该待处理手指静脉图像的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的图像处理方法。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的手指静脉识别方法的流程图。
需要说明的是，本公开实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。
如图2所示，该方法包括操作S201～S204。
在操作S201，利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像。
根据本公开的实施例，手指轮廓图像与手指静脉感兴趣区域图像可以同时采集，可以在获取手指静脉感兴趣区域图像的过程中同步获取手指轮廓图像。手指轮廓图像与手指静脉感兴趣区域图像成对出现。
在操作S202，将手指轮廓图像输入第一分支卷积神经网络，提取手指轮廓特征，将手指静脉感兴趣区域图像输入第二分支卷积神经网络，提取手指静脉主特征。
在操作S203，将手指轮廓特征和手指静脉主特征串联，以生成融合特征向量。
根据本公开的实施例，样本集中包括多个类别样本，每个类别包括多个样本，计算每一类别样本对应的融合特征向量的平均值，将每一类别样本对应的融合特征向量的平均值作为一个类别身份向量。
在操作S204，计算融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分，以及根据多个相似度得分确定手指静脉图像的类别。
根据本公开的实施例，计算融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分。
根据本公开的实施例，训练集中融合特征向量的类内协方差矩阵和类间协方差矩阵使用期望算法进行更新。第一分支卷积神经网络和第二分支卷积神经网络的参数集和类别身份向量使用随机梯度下降法更新。
根据本公开的实施例，类内协方差矩阵、类间协方差矩阵、参数集以及类别身份向量的更新效果以手指静脉识别损失作为判断依据，手指静脉识别损失通过联合贝叶斯识别损失函数进行计算生成。
通过本公开的实施例，通过两个分支卷积神经网络分别提取手指静脉主特征和手指轮廓特征，手指轮廓图像可与手指静脉图像同时采集，并且可与手指静脉感兴趣区域图像同步获取，既节约了样本采集成本，也提高了计算效率。设计两个不同的卷积神经网络用于手指静脉主特征和手指轮廓特征的提取，既能保证各个视图特征的独立性，又能保证各个视图特征的互补性，同时还提高了特征的表达能力。设计了一种可用于多分类的联合贝叶斯识别损失函数，并将其作为融合特征的损失函数，实现神经网络的配置参数优化，在此基础上通过计算融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分实现手指静脉的识别，该方法能够有效的提高手指静脉识别准确率。
下面参考图3～图8，结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开实施例利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像的流程图。
如图3所示，利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像包括操作S301～S302。
在操作S301，利用边缘检测算子计算手指静脉图像的邻近像素梯度，得到手指的边缘信息，再对边缘信息进行二值化处理生成手指轮廓图像。
在操作S302，将手指静脉图像进行方向校正、裁剪处理，最后归一化到相同尺寸生成手指静脉感兴趣区域图像。
根据本公开的实施例，手指静脉图像包括不同手指宽度、不同手指长度、不同手指肤色的手指静脉图像。
根据本公开的实施例，手指轮廓图像可与手指静脉图像同时采集，并且可与手指静脉感兴趣区域图像同步获取，相应图像处理效率更高，既节约了样本采集成本，也提高了计算效率。
图4示意性示出了根据本公开实施例提取手指轮廓特征与手指静脉主特征的流程图。
如图4所示，该方法包括操作S401～S403。
在操作S401，设置第一卷积神经网络及第二卷积神经网络的网络结构。
根据本公开的实施例，第一分支卷积神经网络和第二分支卷积神经网络均包括多个卷积层、多个批归一化层、多个池化层及全连接层。
根据本公开的实施例，卷积神经网络设置包括卷积层(Convolution)、批归一化层(BatchNorm)、池化层(Pooling)及全连接层(Fully connection)。第一分支卷积神经网络的卷积层及全连接层的个数根据需求设置，卷积层的个数可设置为M个，批归一化层可设置为P个，池化层可设置为Q个，全连接层的个数可设置为N个。例如，本公开技术方案的第一卷积神经网络卷积层设置为5个，批归一化层可设置为5个，池化层设置为4个，全连接层设置为2个。第二卷积神经网络卷积层设置为9个，批归一化层可设置为9个，池化层设置为3个，全连接层设置为2个。
在操作S402，配置第一分支卷积神经网络和第二分支卷积神经网络每层的结构参数，结构参数可以包括：核尺寸、步长、通道数。
根据本公开的实施例，提取手指轮廓特征的卷积神经网络按如下表1进行配置，第一分支卷积神经网络具体参数的配置如下：
表1第一分支卷积神经网络每层结构参数配置
配置参数 核尺寸 步长 通道数
Convolution 3×3 1 16
BatchNorm - - 16
Pooling 2×2 2 16
Convolution 3×3 1 16
BatchNorm - - 16
Pooling 2×2 2 16
Convolution 3×3 1 16
BatchNorm - - 16
Convolution 3×3 1 16
BatchNorm - - 16
Pooling 2×2 2 16
Convolution 3×3 1 32
BatchNorm - - 32
Pooling 7×7 2 32
Fully connection - - 128
Fully connection - - 64
根据本公开的实施例，提取手指静脉主特征的卷积神经网络按如下表2进行配置，第二分支卷积神经网络具体参数的配置如下：
表2第二分支卷积神经网络参数配置
配置参数 核尺寸 步长 通道数
Convolution 3×3 1 64
BatchNorm - - 64
Convolution 3×3 1 64
BatchNorm - - 64
Convolution 3×3 1 64
BatchNorm - - 64
Pooling 2×2 2 64
Convolution 3×3 1 128
BatchNorm - - 128
Convolution 3×3 1 128
BatchNorm - - 128
Convo1ution 3×3 1 128
BatchNorm - - 128
Pooling 2×2 2 128
Convolution 3×3 1 256
BatchNorm - - 256
Convolution 3×3 1 256
BatchNorm - - 256
Convolution 3×3 1 256
BatchNorm - - 256
Pooling 2×2 2 256
Fully connection - - 512
Fully connection - - 64
在操作S403，将手指轮廓图像输入第一分支卷积神经网络，可提取手指轮廓特征，将手指静脉感兴趣区域图像输入第二分支卷积神经网络，可提取手指静脉主特征。
根据本公开的实施例，设计第一卷积神经网络与第二卷积神经网络用于手指静脉主特征和手指轮廓特征的提取，既能保证各个手指类别视图特征的独立性，又能保证各个手指类别视图特征的互补性，同时还提高了手指静脉主特征的表达能力。
根据本公开的实施例，利用手指静脉样本集HKPU对本公开所提方法的有效性进行了验证，HKPU数据集是一个相关技术中公开的手指静脉数据集，该数据集由156个人组成，每个人采集其左右手的食指共2根手指的静脉图像，每根手指采集6张静脉图像，共3132张静脉图像。共采集了两次，其中105人参与了两次采集，51个人仅参与了第一次采集，图像的大小为513×256。
实验采用该数据集的第一部分数据作为训练数据，第二部分数据作为测试数据，首先我们比较了用手指静脉主特征、手指轮廓特征和融合特征的识别效果，等错误率EER是手指静脉识别效果的量化参数，等错误率越低则识别效果越准确。根据表3测试结果可以看出，手指静脉主特征和轮廓特征的融合特征能有效提高手指静脉识别准确率。
表3不同特征测试结果
特征类型 等错误率EER(％)
手指静脉主特征 1.18
手指轮廓特征 10.39
融合特征 0.90
图5示意性示出了根据本公开实施例更新第一分支卷积神经网络、第二分支卷积神经网络的参数集和类别身份向量的流程图。
如图5所示，该方法包括操作S501～S503。
在操作S501，利用随机梯度下降法更新第一分支卷积神经网络的参数集。
在操作S502，利用随机梯度下降法更新第二分支卷积神经网络的参数集。
在操作S503，更新类别身份向量。
根据本公开的实施例，将第一分支卷积神经网络和第二分支卷积神经网络的参数集和类别身份向量作为无约束优化问题minf(x)，其中f(x)为连续微函数，并构造序列x0，x1，x2...xt，并能够满足f(xt)＞f(xt+1)，不断执行上述无约束优化过程即可得到参数集和类别身份向量的优化。
图6示意性示出了根据本公开实施例更新融合特征向量的类内协方差矩阵和类间协方差矩阵的流程图。
如图6所示，更新融合特征向量的类内协方差矩阵和类间协方差矩阵包括操作S601～S603。
本公开实施例采用最大期望算法(EM算法)更新融合特征向量的类内协方差矩阵Sμ和类间协方差矩阵Sε。
在操作S601，计算每个类别对应的待更新变量的期望。
根据本公开的实施例，按以下公式计算每个类别对应的待更新变量的期望：
G＝-(miSμ+Sε)-1SμSε (2)
式中，i，j均为正整数，x为融合特征向量，μ为类别身份向量，E为期望值，m为权值。
在操作S602，根据待更新变量的期望，更新融合特征向量的类内协方差矩阵Sμ和类间协方差矩阵Sε。
根据本公开的实施例，按以下公式更新{Sμ，Sε}：
在操作S603，以手指静脉识别损失LJBS为判断依据，确定类内协方差矩阵、类间协方差矩阵、第一与第二分支卷积神经网络的参数集以及类别身份向量的更新效果。
根据本公开的实施例，根据卷积神经网络不断地训练更新，手指静脉识别损失LJBS的值达到最优收敛结果时，确定类内协方差矩阵、类间协方差矩阵、参数集以及类别身份向量值，手指静脉识别损失的计算公式如下：
上式中，C表示训练集中的类别数，yi为类别标签值，r(x，μi)为所述融合特征向量x和训练集中类别i的身份向量μi之间的相似度得分。
根据本公开的实施例，采用的多分类的联合贝叶斯识别损失函数，并将其作为融合特征的损失函数，为神经网络的配置参数优化提供判断依据，可在不增加采集成本的情况下，有效提高手指静脉识别的效率和准确率。
根据本公开的实施例，比较了联合贝叶斯识别损失与其他损失函数的识别效果，根据表4结果所示，本公开提出的联合贝叶斯识别损失相对于其他方法的识别效果有明显改善。
同时，也测试并统计了采用联合贝叶斯识别损失与当前最新手指静脉识别方法的准确率，如表5表示，与当前最新方法对比，本公开所提方法能显著提高手指静脉识别效果。
表4不同损失函数测试结果
损失函数类型 等错误率EER(％)
Softmax 0.9
Center+Softmax 0.73
ASoftmax 0.67
AMSoftmax 0.59
联合贝叶斯识别损失 0.33
表5与最新手指静脉识别方法对比
方法 等错误率EER(％)
Gabor滤波 4.61
基于融合的方法 4.47
ELBP 5.59
基于深度表示的特征提取 3.02
ASAVE 2.91
权重静脉编码索引 3.33
基于融合特征及联合贝叶斯识别方法 0.33
图7示意性示出了根据本公开实施例的将手指轮廓特征和手指静脉主特征串联的流程图。
如图7所示，将手指轮廓特征和手指静脉主特征串联包括操作S701～S703。
在操作S701，提取第一分支卷积神经网络输出的手指轮廓特征。
在操作S702，提取第一分支卷积神经网络输出的手指静脉主特征。
在操作S703，将手指轮廓特征的末尾数据与手指静脉主特征首个数据对接。
根据本公开的实施例，对接完成的手指轮廓特征和手指静脉主特征，即实现了手指轮廓特征和手指静脉主特征的串联，生成了融合特征向量。
图8示意性示出了根据本公开实施例的融合特征向量与类别身份向量生成相似性得分的流程图。
如图8所示，该方法包括操作S801～S803。
在操作S801，计算训练集中每个类别的类别身份向量μ。
根据本公开的实施例，获取用于训练第一分支卷积神经网络和第二分支卷积神经网络的样本集中每一类别样本对应的融合特征向量，其中样本集中包括多个类别样本，每个类别包括多个样本，计算每一类别样本对应的融合特征向量的平均值，每一类别样本对应的融合特征向量的平均值作为一个类别身份向量。
在操作S802，采用更新后的训练集中融合特征向量的类内协方差矩阵Sμ和类间协方差矩阵Sε，计算利用融合特征向量x与类别身份向量μ生成相似性得分r中的参数B和H，其计算公式为：
根据本公开的实施例，采用最大期望算法(EM算法)更新融合特征向量的类内协方差矩阵Sμ和类间协方差矩阵Sε。
在操作S803，计算融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分。
根据本公开的实施例，计算融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分。利用融合特征向量x与类别身份向量μ生成相似性得分r，其计算公式为：
r(x，μ)＝xTBx+μTHμ-2xTHμ9 (12)
根据本公开的实施例，计算融合特征向量与类别身份向量的相似度得分，该相似性得分理论上可理解为一种对数似然概率，将概率值作为融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分。根据相似度得分确定手指静脉图像的类别，为手指静脉识别提供了量化指标，解决手指静脉识别进行参数化分析的问题。
图9示意性示出了根据本公开的实施例的一种手指静脉识别装置的结构图。
如图9所示，在该手指静脉识别装置900中，包括第一获取模块901、第一输入模块902、第二输入模块903、串联模块904、第一计算模块905、第一确定模块906。
根据本公开的实施例，图10示意性示出了根据本公开实施例的第一计算模块的框图。
其中，第一计算模块905包括：计算单元9051，用于计算利用融合特征向量x与类别身份向量μ生成相似性得分r中的参数B和H；生成单元9052，用于利用融合特征向量x与类别身份向量μ生成相似性得分r，其计算公式为：
r(x，μ)＝xTBx+μTHμ-2xTHμ9 (15)
根据本公开的实施例，还包括更新模块907，利用期望算法更新融合特征向量的类内协方差矩阵Sμ和类间协方差矩阵Sε，利用随机梯度下降法更新第一分支卷积神经网络和第二分支卷积神经网络的参数集θ和类别身份向量μ。
根据本公开的实施例，还包括：判断模块908，利用手指静脉识别损失LJBS判断类内协方差矩阵、类间协方差矩阵、参数集以及类别身份向量的更新效果，手指静脉识别损失LJBS通过联合贝叶斯识别损失函数计算生成，其公式为：
上式中，C表示训练集中的类别数，yi为类别标签值，r(x，μi)为所述融合特征向量x和训练集中类别i的身份向量μi之间的相似度得分。
根据本公开的实施例，图11示意性示出了根据本公开实施例的第一获取模块的框图。其中第一获取模块901包括第一处理单元9011，用于利用边缘检测装置计算手指静脉图像的邻近像素梯度，得到手指的边缘信息，再对边缘信息进行二值化处理生成手指轮廓图像。第二处理单元9012，用于对手指静脉图像进行方向校正、裁剪，最后归一化到相同尺寸生成手指静脉感兴趣区域图像。
根据本公开的实施例，还包括第二获取模块909，用于获取用于训练第一分支卷积神经网络和第二分支卷积神经网络的样本集中每一类别样本对应的融合特征向量，其中，样本集中包括多个类别样本，每个类别包括多个样本；第二计算模块910，用于计算每一类别样本对应的融合特征向量的平均值；第二确定模块911，用于将每一类别样本对应的融合特征向量的平均值作为一个类别身份向量。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一获取模块901、第一输入模块902、第二输入模块903、串联模块904、第一计算模块905、第一确定模块906、更新模块907、判断模块908、第二获取模块909、第二计算模块910、第二确定模块911中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一获取模块901、第一输入模块902、第二输入模块903、串联模块904、第一计算模块905、第一确定模块906、更新模块907、判断模块908、第二获取模块909、第二计算模块910、第二确定模块911中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块901、第一输入模块902、第二输入模块903、串联模块904、第一计算模块905、第一确定模块906、更新模块907、判断模块908、第二获取模块909、第二计算模块910、第二确定模块911中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中手指静脉识别装置部分与本公开的实施例中手指静脉识别方法部分是相对应的，手指静脉识别装置部分的描述具体参考手指静脉识别方法部分，在此不再赘述。
本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当一个或多个指令被一个或多个处理器执行时，使得一个或多个处理器实现如上的方法。
下面以电子设备为计算机系统为例进行说明。
图12示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图12示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，根据本公开实施例的计算机系统1200包括处理器1201，其可以根据存储在只读存储器(ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM)1203中的程序而执行各种适当的动作和处理。处理器1201例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1201还可以包括用于缓存用途的板载存储器。处理器1201可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1203中，存储有系统1200操作所需的各种程序和数据。处理器1201、ROM1202以及RAM 1203通过总线1204彼此相连。处理器1201通过执行ROM 1202和/或RAM 1203中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM 1202和RAM 1203以外的一个或多个存储器中。处理器1201也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统1200还可以包括输入/输出(I/O)接口1205，输入/输出(I/O)接口1205也连接至总线1204。系统1200还可以包括连接至I/O接口1205的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器1201执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1202和/或RAM 1203和/或ROM 1202和RAM 1203以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时电可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种基于多视图特征融合及联合贝叶斯识别模型的手指静脉识别方法，其特征在于，包括：
利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像；
将所述手指轮廓图像输入第一分支卷积神经网络，提取手指轮廓特征；
将所述手指静脉感兴趣区域图像输入第二分支卷积神经网络，提取手指静脉主特征；
将所述手指轮廓特征和所述手指静脉主特征串联，以生成融合特征向量；
计算所述融合特征向量x和训练集中多个类别身份向量μ中的每个类别身份向量之间的相似度得分r；以及
根据多个所述相似度得分确定所述手指静脉图像的类别；
其中，所述计算所述融合特征向量x和训练集中多个类别身份向量中的每个类别身份向量μ之间的相似度得分r，其计算公式为：
r(x，μ)＝xTBx+μTHμ-2xTHμ
上式中，Sμ和Sε分别表示训练集中的融合特性向量的类内协方差矩阵和类间协方差矩阵。
2.根据权利要求1所述的方法，其特征在于，
所述训练集中的融合特征向量的类内协方差矩阵Sμ和类间协方差矩阵Sε使用期望算法进行更新。
3.根据权利要求2所述的方法，其特征在于，所述第一分支卷积神经网络和所述第二分支卷积神经网络的参数集θ和类别身份向量μ使用随机梯度下降法更新。
4.根据权利要求3所述的方法，其特征在于，所述类内协方差矩阵Sμ、所述类间协方差矩阵Sε、所述参数集θ以及所述类别身份向量μ的更新效果以手指静脉识别损失LJBS为判断依据，所述手指静脉识别损失LJBS通过联合贝叶斯识别损失函数计算生成，其公式为：
上式中，C表示训练集中的类别数，yi为类别标签值，r(x，μi)为所述融合特征向量x和训练集中类别i的身份向量μi之间的相似度得分。
5.根据权利要求1所述的方法，其特征在于，所述利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像包括：
利用边缘检测算子计算所述手指静脉图像的邻近像素梯度，得到手指的边缘信息，再对边缘信息进行二值化处理生成所述手指轮廓图像；
对所述手指静脉图像进行方向校正、裁剪，最后归一化到相同尺寸生成所述手指静脉感兴趣区域图像。
6.根据权利要求1所述的方法，其特征在于，所述手指轮廓图像与所述手指静脉感兴趣区域图像成对出现。
7.根据权利要求1所述的方法，其特征在于，还包括：
获取用于训练所述第一分支卷积神经网络和所述第二分支卷积神经网络的样本集中每一类别样本对应的融合特征向量，其中，所述样本集中包括多个类别样本，每个类别包括多个样本；
计算所述每一类别样本对应的融合特征向量的平均值；
将所述每一类别样本对应的融合特征向量的平均值作为一个所述类别身份向量。
8.一种基于多视图特征融合及联合贝叶斯识别模型的手指静脉识别装置，其特征在于，包括：
第一获取模块，用于利用手指静脉图像获取手指轮廓图像和手指静脉感兴趣区域图像；
第一输入模块，用于将所述手指轮廓图像输入第一分支卷积神经网络，提取手指轮廓特征；
第二输入模块，用于将所述手指静脉感兴趣区域输入第二分支卷积神经网络，提取手指静脉主特征；
串联模块，用于将所述手指轮廓特征和所述手指静脉主特征串联，以生成融合特征向量；
第一计算模块，用于计算所述融合特征向量和多个类别身份向量中的每个类别身份向量之间的相似度得分；以及
第一确定模块，用于根据多个所述相似度得分确定所述手指静脉图像的类别；
其中，所述第一计算模块包括：
计算单元计算所述融合特征向量x和训练集中多个类别身份向量中的每个类别身份向量μ之间的相似度得分r，其计算公式为：
r(x，μ)＝xTBx+μTHμ-2xTHμ
上式中，Sμ和Sε分别表示训练集中的融合特性向量的类内协方差矩阵和类间协方差矩阵。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个指令，
其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。
CN202010900363.6A 2020-08-31 2020-08-31 手指静脉识别方法、装置、电子设备及可读存储介质 Active CN112036316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010900363.6A CN112036316B (zh) 2020-08-31 2020-08-31 手指静脉识别方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010900363.6A CN112036316B (zh) 2020-08-31 2020-08-31 手指静脉识别方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112036316A CN112036316A (zh) 2020-12-04
CN112036316B true CN112036316B (zh) 2023-12-15

Family

ID=73586895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010900363.6A Active CN112036316B (zh) 2020-08-31 2020-08-31 手指静脉识别方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112036316B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111744B (zh) * 2021-03-29 2023-02-14 华南理工大学 一种基于时域短时及长时特征融合的脉纹识别方法
CN113756059B (zh) * 2021-09-29 2023-09-29 四川虹美智能科技有限公司 物联网安全洗衣机系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427832A (zh) * 2019-07-09 2019-11-08 华南理工大学 一种基于神经网络的小数据集手指静脉识别方法
CN110516595A (zh) * 2019-08-27 2019-11-29 中国民航大学 基于卷积神经网络的手指多模态融合识别方法
CN110555399A (zh) * 2019-08-23 2019-12-10 北京智脉识别科技有限公司 手指静脉识别方法、装置、计算机设备及可读存储介质
KR20200000001A (ko) * 2018-06-05 2020-01-02 동국대학교 산학협력단 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200000001A (ko) * 2018-06-05 2020-01-02 동국대학교 산학협력단 딥 러닝 기반의 지정맥 특징과 손가락 형태를 이용하는 생체 인식 장치 및 방법
CN110427832A (zh) * 2019-07-09 2019-11-08 华南理工大学 一种基于神经网络的小数据集手指静脉识别方法
CN110555399A (zh) * 2019-08-23 2019-12-10 北京智脉识别科技有限公司 手指静脉识别方法、装置、计算机设备及可读存储介质
CN110516595A (zh) * 2019-08-27 2019-11-29 中国民航大学 基于卷积神经网络的手指多模态融合识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Convolutional Neural Network-Based Finger-Vein Recognition Using NIR Image Sensors;Hong Hyung Gil et.al;《https://doi.org/10.3390/s17061297》;全文 *
基于手指静脉和手指轮廓的个性化融合方法;袭肖明;尹义龙;杨公平;孟宪静;;计算机研究与发展(09);全文 *
基于改进卷积神经网络的指静脉识别;何鑫 等;《计算机工程与设计》;全文 *
聚类优化贝叶斯算法在手背静脉识别中的应用研究;武静;《信息技术与信息化》;全文 *

Also Published As

Publication number Publication date
CN112036316A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
WO2021218060A1 (zh) 基于深度学习的人脸识别方法及装置
CN108596258B (zh) 一种基于卷积神经网络随机池化的图像分类方法
WO2021012526A1 (zh) 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
WO2019174130A1 (zh) 票据识别方法、服务器及计算机可读存储介质
WO2019119505A1 (zh) 人脸识别的方法和装置、计算机装置及存储介质
CN108229419B (zh) 用于聚类图像的方法和装置
US9152888B2 (en) System and method for automated object detection in an image
CN108985190B (zh) 目标识别方法和装置、电子设备、存储介质
CN107633522A (zh) 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
CN112036316B (zh) 手指静脉识别方法、装置、电子设备及可读存储介质
US11302108B2 (en) Rotation and scaling for optical character recognition using end-to-end deep learning
US20190347472A1 (en) Method and system for image identification
CN112132812B (zh) 证件校验方法、装置、电子设备及介质
CN112464803A (zh) 图像比较方法和装置
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN110941978A (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
Lee et al. Facial landmarks detection using improved active shape model on android platform
Vlachos et al. Finger vein segmentation from infrared images based on a modified separable mumford shah model and local entropy thresholding
Zhou et al. Adaptive weighted locality-constrained sparse coding for glaucoma diagnosis
CN115526882A (zh) 一种医学图像的分类方法、装置、设备及存储介质
WO2024109859A1 (zh) 一种肿瘤基因突变分类方法、装置、电子设备及存储介质
Yi et al. Illumination normalization of face image based on illuminant direction estimation and improved retinex
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
US11080551B2 (en) Proposal region filter for digital image processing
CN116805522A (zh) 诊断报告输出方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant