CN110210288A - 掌纹识别方法及装置 - Google Patents

掌纹识别方法及装置 Download PDF

Info

Publication number
CN110210288A
CN110210288A CN201910319410.5A CN201910319410A CN110210288A CN 110210288 A CN110210288 A CN 110210288A CN 201910319410 A CN201910319410 A CN 201910319410A CN 110210288 A CN110210288 A CN 110210288A
Authority
CN
China
Prior art keywords
palmmprint
image
training
area image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910319410.5A
Other languages
English (en)
Inventor
惠慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910319410.5A priority Critical patent/CN110210288A/zh
Publication of CN110210288A publication Critical patent/CN110210288A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Abstract

本发明涉及生物特征识别技术领域。本发明实施例提供一种掌纹识别方法及装置，其中所述掌纹识别方法包括：获取待识别的人手图像；提取所述人手图像所对应的掌纹区域图像；基于掌纹神经网络模型预测所述掌纹区域图像所对应的目标用户ID，其中所述掌纹神经网络模型是以掌纹库中对应于多用户ID的训练掌纹区域图像作为输入进行训练的，并且每一用户ID下具有对应不同拍照条件的训练掌纹区域图像。由此，将掌纹识别技术和神经网络技术相结合，能够快速准确地识别出与所检测的掌纹相匹配的目标用户，并且还能够在各种拍照条件下都可以较佳地完成对掌纹的识别工作，具有广泛的市场应用前景。

Description

掌纹识别方法及装置
技术领域
本发明涉及生物特征识别技术领域，具体地涉及一种掌纹识别方法及装置。
背景技术
生物特征识别作为新兴的身份鉴别技术，是目前国际上最具前景的高新技术之一，属于国际前沿课题。掌纹识别是生物特征识别技术的一个重要分支。
目前掌纹识别样本采集装置一般为如图1A所示的固定掌纹采集装置，且其所采集的掌纹图像如图1B所示。这样的掌纹采集装置一般体型巨大、造价也高，并且该设备需要在封闭设备进行采集，对光照干扰的抗性较弱。
本申请的发明人在实践本申请的过程中发现目前相关技术至少存在如下缺陷：由于目前掌纹识别通常基于结构、子空间、编码三种方式进行识别的，一方面，这样的掌纹识别方式的掌纹效果不够理想，容易导致识别偏差；另一方面，这样的掌纹识别方式还需要采用固定式装置来采集特定手掌区域，对设备的拍照条件要求较为苛刻(例如一般需要在较暗的环境下操作)，导致其也无法广泛地应用于市场中，无法进行推广(例如无法被应用在当下热门的移动终端中)，更不适用于日常需要。
发明内容
本发明实施例的目的是提供一种掌纹识别方法及装置，用以实现不同于结构编码的掌纹识别方式，提高掌纹识别精度且能够广泛地在市场中进行推广。
为了实现上述目的，本发明实施例一方面提供一种掌纹识别方法，包括：获取待识别的人手图像；提取所述人手图像所对应的掌纹区域图像；基于掌纹神经网络模型预测所述掌纹区域图像所对应的目标用户ID，其中所述掌纹神经网络模型是以掌纹库中对应于多用户ID的训练掌纹区域图像作为输入进行训练的，并且每一用户ID下具有对应不同拍照条件的训练掌纹区域图像。
本发明实施例另一方面提供一种掌纹识别装置，包括：人手图像获取单元，用于获取待识别的人手图像；掌纹区域提取单元，用于提取所述人手图像所对应的掌纹区域图像；预测单元，用于基于掌纹神经网络模型预测所述掌纹区域图像所对应的目标用户ID，其中所述掌纹神经网络模型是以掌纹库中对应于多用户ID的训练掌纹区域图像作为输入进行训练的，并且每一用户ID下具有对应不同拍照条件的训练掌纹区域图像。
本发明实施例另一方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现本申请上述的方法的步骤。
本发明实施例另一方面提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请上述的方法的步骤。
通过上述技术方案，提出了从所得到的人手图像中提取掌纹区域图像，并进而应用由多用户ID下不同拍照条件的训练掌纹区域图像所训练的掌纹神经网络模型，来预测掌纹区域图像所对应的目标用户ID。由此，相比于目前相关会技术中的结构编码识别的方案，本发明将掌纹识别技术和神经网络技术相结合，能够快速准确地识别出与所检测的掌纹相匹配的目标用户；另外，由于掌纹神经网络模型是以用户在不同拍照条件下所对应的训练掌纹区域图像进行训练的，使得应用经训练的掌纹神经网络模型能够在各种拍照条件下都可以较佳地完成对掌纹的识别工作，而不需要固定的掌纹采集装置和苛刻的拍照条件要求，因此本发明的掌纹识别技术方案能够被广泛地应用于市场中。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1A是目前相关技术中所应用的固定掌纹采集装置的示意图；
图1B是应用图1A所示的固定掌纹采集装置所采集的掌纹图像的示意图；
图2是本发明一实施例的掌纹识别方法的流程图；
图3A是图2的掌纹识别方法中所涉及的掌纹神经网络模型的训练过程的流程图；
图3B是本发明一实施例的掌纹识别方法中所应用的MobileNet的架构示意图；
图4是本发明一实施例的掌纹识别方法的流程原理示意图；
图5A是本发明一实施例的掌纹识别方法中调用终端相机模块所拍摄的含手的背景图像的示意图；
图5B是对图5A中的背景图像进行人手分割后所形成的人手图像的示意图；
图5C是本发明一实施例的掌纹识别方法中基于关键点检测技术所检测到的掌纹关键点的纹理信息效果图；
图6是本发明一实施例的掌纹识别装置的结构框图；
图7是本发明另一实施例的掌纹识别装置的结构框图；
图8是本发明一实施例的搭建有掌纹识别装置的实体装置的结构框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
如图2所示，本发明一实施例的掌纹识别方法，包括：
S11、获取待识别的人手图像。
关于本发明实施例方法的实施主体，一方面，其可以是专用于掌纹识别的专用集成组件、专用服务器或专用终端等；另一方面，其还可以是通用型服务器或终端，其中该通用型服务器或终端(例如智能手机、平板电脑等)可以是安装有用于进行掌纹识别的模块或配置有用于掌纹识别的程序代码，且以上都属于本发明的保护范围内。
关于人手图像的获取方式，其可以是调用终端的摄像头来采集人手图像，也可以是终端或服务器接收自底层所上传的人手图像。
S12、提取人手图像所对应的掌纹区域图像。
其中，人手图像可以包括手指和手掌，而在掌纹识别的过程中只需要保留用于掌纹识别的掌纹区域即可，因此通过提取掌纹区域图像的预处理操作能够降低后续掌纹识别的工作量。
具体的，可以是基于关键点检测技术确定人手图像中的掌纹关键点，然后基于掌纹关键点构建掌纹区域，进而从人手图像中分割出相对应的掌纹区域图像，例如可以是确定出覆盖了包括所有掌纹关键点的区域，并进而将该区域从人手图像中分割出来。在本发明实施例中，对掌纹关键点检测技术的具体方式在此应不加限制，例如其可以是基于openpose或caffe的掌纹关键点识别技术。
优选地，其还可以是基于级联卷积神经网络来确定人手中的掌纹关键点的。具体的，可以是基于级联卷积神经网络定位人手图像中不同手掌区域所对应的掌纹关键点，以及基于经定位的不同手掌区域所对应的掌纹关键点，确定人手图像中的掌纹关键点。具体的，其可以是基于第一识别卷积神经网络，定位人手图像中第一手掌区域所对应的第一掌纹关键点；基于第二识别卷积神经网络，定位人手图像中第二手掌区域所对应的第二掌纹关键点，其中第一神经网络和第二神经网络为级联的神经网络，且级联的第一神经网络和第二神经网络分别是以标注了掌纹关键点的不同手掌区域作为训练源的；基于第一掌纹关键点和第二掌纹关键点，确定人手图像中的掌纹关键点。
其中，级联卷积神经网络中不同的卷积神经网络分别负责对人手中不同的手掌区域(例如前后手掌或左右手掌)进行关键点提取，例如级联的第一卷积神经网络用于对人手图像的左手掌区域进行关键点特征提取，级联的第二卷积神经网络用于对人手图像的右手掌区域进行关键点特征提取；进而，可以是通过汇总不同手掌区域所对应的掌纹关键点，从而完成对人手图像中所有掌纹关键点的识别。需说明的是，由于级联的第一卷积神经网络和第二卷积神经网络是用于识别不同手掌区域的掌纹关键点的，因此在其训练过程中也可以是分别基于不同的训练数据源(例如标注有掌纹关键点的左手掌区域和右手掌区域)而独立进行的。因此，通过级联卷积神经网络模型来对不同区域的掌纹关键点定位和提取，提高了关键点定位识别的效率和精确度。
S13、基于掌纹神经网络模型预测所述掌纹区域图像所对应的目标用户ID，其中该掌纹神经网络模型是以掌纹库中对应于多用户ID(Identification,标识)的训练掌纹区域图像作为输入进行训练的，并且每一用户ID下具有对应不同拍照条件的训练掌纹区域图像。
在本发明实施例中，将掌纹识别技术和神经网络技术相结合，能够快速准确地识别出与所检测的掌纹相匹配的目标用户；另外，由于掌纹神经网络模型是以用户在不同拍照条件下所对应的训练掌纹区域图像进行训练的，使得应用经训练的掌纹神经网络模型能够在各种拍照条件下都可以较佳地完成对掌纹的识别工作，而不需要固定的掌纹采集装置和苛刻的拍照条件要求，使得本发明实施例的掌纹识别技术方案能够被广泛地应用于市场中。
其中，拍照条件包括以下中的一者或多者：拍照设备像素、光照亮度以及手掌摆放角度；例如，当拍照条件为光照亮度时，经训练的神经网络可以实现对不同光照亮度下(甚至暗处)的人手的掌纹识别。
在一些优选实施方式中，在S13之后，该方法还包括：在掌纹库中查询与目标用户ID相对应的目标训练掌纹区域图像，由此找到与预测结果数据相对应的训练源数据；展示包括目标用户ID、目标训练掌纹区域图像和所提取的掌纹区域图像的信息，例如可以是在终端屏幕上展示预测的目标用户ID、所提取的掌纹信息和作为预测基础的训练源数据，以供用户来分辨所预测的目标用户ID是否正确；获取针对所展示的目标用户ID的用户反馈操作，例如可以是接收用户反馈所预测的目标用户ID是否正确；基于所述用户反馈操作和所提取的掌纹区域图像，校准掌纹神经网络模型，例如当用户反馈所预测的目标用户ID为预测正确时，可以是将所提取的掌纹区域图像作为一个正反馈，并将其补充至对应目标用户ID的训练掌纹区域图像中以校准掌纹神经网络模型，由此实现了在用户操作过程中根据用户反馈而实时补充训练数据，从而增强掌纹神经网络模型的鲁棒性和预测精确度。另外，当用户反馈用户反馈操作指示目标用户ID为预测错误时，可以是向后台发送错误警报，以提醒后台工作人员注意检查并维护该目标用户ID所对应的训练掌纹区域图像。
如图3A所示，针对本发明实施例掌纹识别方法中所涉及的掌纹神经网络模型的训练过程包括：
S21、获取标注有用户ID的多张训练人手图像，其中每一用户ID下具有对应不同拍照条件的训练人手图像。
具体的，可以是通过收集通过相机(例如手机的相机)拍照所产生的与人手相关的图像，其具体可以是人工拍摄的，并也可以是从互联网上关键词搜索下载，再应用物体识别技术而得到人手图像的，且都属于本发明的保护范围内；之后，通过人工标注人手图像所对应的用户ID，其中包括为用户在不同拍照条件(例如亮度)下的人手图像标注对应的用户ID。
S22、提取训练人手图像所对应的训练掌纹区域图像，并将训练掌纹区域图像存储至掌纹库。
关于训练掌纹区域图像从训练人手图像中的提取过程，可以是参照本文针对图2所示流程的细节描述，在此便不赘述。
S23、将掌纹库中对应于多用户ID的训练掌纹区域图像输入至掌纹神经网络模型，以训练该掌纹神经网络模型。
因此，通过掌纹库中用户在多拍照条件下的掌纹区域图像的训练源输入，完成对掌纹神经网络模型进行训练，使得经训练的掌纹神经网络模型能够识别出在不同拍照条件下的掌纹区域图像所对应的目标用户ID，扩展了掌纹识别的应用场景，能够被更广泛地应用于市场中。
优选地，掌纹神经网络模型包括深度可分离卷积网络模型，相应地，针对深度可分离神经网络模型的训练过程包括：首先，将掌纹区域图像输入至具有多层通道结构的深度可分离卷积模型，其中每一层通道结构分别用于归类不同的用户ID所对应的掌纹区域图像；然后，对多层通道结构中的每层结构分别采用定制的滤波器进行滤波；之后，逐层卷积多层通道结构下的每一层通道结构，并对每一层通道结构的卷积结果进行结合，从而实现了在卷积结合的过程中只在单层通道结构中针对单个用户ID单独进行卷积结合，输出针对对应单个用户ID的所有卷积结果，而不会存在因跨层卷积所导致的用户ID或训练源错乱的情况，保障了训练源与标签的高匹配度，使得经训练的掌纹神经网络模型能够精确地推导出对应掌纹区域图像的用户ID。
需说明的是，通过应用深度可分离卷积结构(depthwise separableconvolution)的神经网络模型能够实现在保持通道分离的前提下，连续承接深度卷积结构，从而达到空间卷积的效果。
在一些实施方式中，本发明实施例中的深度可分离卷积结构可以是MobileNet的高效模型，MobileNet是基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络。对于MobileNet而言，深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出。而一般的标准卷积就只有一步，即对所有的输入进行结合得到新的一系列输出。深度可分离卷积将其分成了两步，针对每个单独层进行滤波然后下一步即结合，这种分解能够有效的大量减少计算量以及模型的大小。
如图3B，其所示出的是MobileNet的示例性架构，其中一个标准的卷积被分解成深度卷积以及1x1的逐点卷积。在训练时将softmax层设置成实际掌纹分类数，使用tensorflow进行训练，得到模型。进而，利用训练出来的模型参数进行预测，将获取AvgPool/s1层作为特征文件进行识别，识别方法为计算两个特征的夹角余弦，如果比较大，说明很有可能是同一只手，如果不同则表明不是同一只手。
如图4所示，本发明一实施例的基于MobileNet计算机视觉神经网络模型的掌纹识别方法，主要包括MobileNet计算机视觉神经网络模型的训练阶段和应用阶段。其中，在训练阶段是基于特征图片进行训练，从而得出具备特征提取器功能的MobileNet计算机视觉神经网络模型。然后，在模型应用阶段，将图片输入模型，得出该图片所对应的特征，使得模型能够预测出与特征相匹配的用户ID及MobileNet在预测操作所应用在掌纹库中的训练掌纹区域图像。
1)模型训练阶段
S41、获取训练用人手图像。
具体的，可以是通过收集通过相机(例如手机的相机)拍照所产生的与人手相关的图像，其具体可以是人工拍摄的、或也可以是从互联网上关键词搜索下载而得到的等；然后，通过物体识别技术识别出人手区域，并对图像中的人手区域进行裁剪以得到人手图像。
S42、预处理人手图像，以得出人手图像所对应的掌纹区域图像；
具体的，通过关键点检测技术来找出人手中的掌纹关键点信息，并依据该掌纹关键点信息来确定人手图像所对应的掌纹区域，从而得到人手图像所对应的掌纹区域图像。然后，对所得到的掌纹区域图像进行增强处理，将经处理的掌纹区域图像存储至掌纹库，在掌纹库中预存储有多个用户ID和与用户ID所唯一对应的掌纹。
S43、将多用户ID所分别对应的掌纹区域图像输入至深度可分离卷积模型进行训练，其中对应于每一用户ID所输入的掌纹区域图像为多张。MobileNet模型用于预测输入掌纹图像所对应的用户ID，然后借助用户ID来从掌纹库中找到相对应的训练掌纹图像，供用户检测模型预测结果是否正确，并进而利用用户针对预测结果的反馈来校准模型的训练过程。
在训练的过程中，主要是对深度可分离卷积网络模型的训练；具体的，深度可分离卷积模型是一种将标准卷积分解成深度卷积以及一个1x1的卷积即逐点卷积，优选的，可以选用MobileNet，其深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到的输出。也就是说，深度可分离卷积将其分成了两步，针对每个单独层进行滤波然后下一步即结合。这种分解能够有效的大量减少计算量以及模型的大小。其具体包括了：首先，将掌纹区域图像输入至具有多层通道结构的深度可分离卷积模型，其中每一层通道结构分别对应于不同的用户id的掌纹区域图像；然后，对多层通道结构中的每层结构分别采用定制的滤波器进行滤波；进而，对经滤波的多层通道结构进行结合。在训练时，将Softmax层(或称归一化指数函数层)设置成实际掌纹分类数(也就是多层结构所对应的用户ID数)，使用tensorflow(其是谷歌基于DistBelief进行研发的第二代人工智能学习系统)进行训练，从而得到模型。具体的，模型训练的输入是标注有用户id的多张掌纹区域图像，输出是将掌纹区域图像与用户id之间进行归类，使得在应用该模型时，能够直接通过掌纹区域图像预测出相对应的用户ID。
2)模型应用阶段
S44、获取待识别的人手图像。
具体的，当将本发明实施例方案集成在终端设备上时，可以是通过用户打开终端的相机进行拍照来采集待识别的人手图像，例如用户打开APP，并通过APP调用相机模块对人手图像进行采集；之后，终端能够将所采集的人手图像发送至服务器，从而获取到待识别的人手图像。作为示例，可以是通过调用终端相机来拍摄得到如图5A的含人手的背景图像，进而通过物体识别来从背景图像中分割出如图5B所示的人手图像。
S45、预处理人手图像，以得出人手图像所对应的掌纹区域图像。
具体的，通过关键点检测技术(例如级联卷积神经网络Cascade CNN)来找出人手中的掌纹关键点信息，如图5C所示出的是基于关键点检测技术所检测到的掌纹关键点的纹理信息效果图，并依据该掌纹关键点信息来确定人手图像所对应的掌纹区域，从而得到人手图像所对应的掌纹区域图像。然后，对所得到的掌纹区域图像进行增强处理，将经处理的掌纹区域图像存储至掌纹库。
作为示例，当采用级联卷积神经网络检测关键点时，可以包括对级联神经网络的训练和应用阶段，级联卷积神经网络是由多个卷积神经网络级联而成的；示例性的，在应用方面，其可以是由两个卷积神经网络级联而成，第一个卷积神经网络用于完成对图像中手纹的特征点定位，并把输出的信息输入到第二个卷积神经网络；第二个卷积神经网络用于完成对图像中手纹的裁剪和分割。
在级联卷积神经网络的训练方面，其可以是包括级联卷积神经网络的结构建立包括确定神经网络卷积层的层数和每个卷积层的特征图数、反卷积层的层数和每个反卷积层的特征图数、全连接层的层数和每个全连接层的特征图数、池化层的层数、卷积层所用的卷积核的大小、反卷积层所用的反卷积核的大小、池化层所用的采样核的大小，还有训练步长。
S46、基于深度可分离卷积网络模型，预测与待识别的掌纹区域图像相对应的目标掌纹图像。
具体的，可包括如下步骤：提取待识别的掌纹区域图像所对应的特征结构；基于深度可分离卷积网络模型，预测与所提取的特征结构相匹配的用户ID，具体的，可以是将所提取的特征与模型中的特征进行比对，可以是计算上述这两个特征之间的夹角余弦；如果二者之间的夹角余弦比较大时，说明很有可能是同一只手或匹配成功，如果不同则表明不是同一只手或匹配失败；基于从掌纹库中找出与所预测的用户ID相对应的在掌纹库中的目标掌纹图像。其中，特征结构可以是指示AvgPool/s1层的数据信息。
在本发明实施例中，实现了对应于1：1，1：n的识别过程；其中，1:1就是表示输入的掌纹区域图像，1：n是表示输出的掌纹。因此，实现了直接识别出对应掌纹区域图像的掌纹。
本发明实施例具有适用范围广的优点，其中传统方法因为是基于结构-子空间-编码的方式来进行掌纹识别的，使得其只能处理固定式装置且相同像素下的识别，识别方法依赖于设备；而本实施例应用了卷积神经网络模型作为特征分类器实现了对不同用户ID所对应的掌纹区域图像的分类和识别，并结合存储有各个用户ID的掌纹信息的掌纹库来锁定目标掌纹，其并不需要图像的结构编码处理和识别，使得对于低像素、高像素都能够适用，识别结果相对于现有技术中的图像结构编码处理的识别结果更加精确，只要进行充足的训练即可进行识别，只需要一个摄像头经过相应的处理流程便能够完成，适用于日常需要。
另外，由于现有技术中的图像结构化编码识别方式对图像的曝光量有着严苛的要求，相比之下，应用本发明实施例训练模型的过程中，采用了多样化的拍照条件下的掌纹区域图像训练样本，例如在各种光照条件下的掌纹区域图像样本，由此使得本发明实施例方法识别图像对于光照变化的适应性更宽，且对噪声具有一定的抗性。
如图6所示，本发明一实施例的掌纹识别装置，包括：
人手图像获取单元601，用于获取待识别的人手图像；
掌纹区域提取单元602，用于提取所述人手图像所对应的掌纹区域图像；
预测单元603，用于基于掌纹神经网络模型预测所述掌纹区域图像所对应的目标用户ID，其中所述掌纹神经网络模型是以掌纹库中对应于多用户ID的训练掌纹区域图像作为输入进行训练的，并且每一用户ID下具有对应不同拍照条件的训练掌纹区域图像。
在具体的应用场景中，如图7所示，该装置还包括训练单元604，该训练单元604用于获取标注有用户ID的多张训练人手图像，其中每一用户ID下具有对应不同拍照条件的训练人手图像，以及提取所述训练人手图像所对应的训练掌纹区域图像，并将所述训练掌纹区域图像存储至掌纹库，以及将所述掌纹库中对应于多用户ID的训练掌纹区域图像输入至所述掌纹神经网络模型，以训练所述掌纹神经网络模型。
优选地，所述掌纹神经网络模型包括深度可分离卷积网络模型，其中针对所述深度可分离神经网络模型的训练过程包括：将掌纹区域图像输入至具有多层通道结构的所述深度可分离卷积模型，其中每一层通道结构分别用于归类不同的用户ID所对应的掌纹区域图像；对多层通道结构中的每层结构分别采用定制的滤波器进行滤波；逐层卷积所述多层通道结构下的每一层通道结构，并对所述每一层通道结构的卷积结果进行结合。
所述掌纹区域提取单元602还用于基于关键点检测技术，确定所述人手图像中的掌纹关键点，以及基于所述掌纹关键点，从所述人手图像中分割出相对应的掌纹区域图像。
所述掌纹区域提取单元602还用于基于第一识别卷积神经网络，定位所述人手图像中第一手掌区域所对应的第一掌纹关键点，以及，基于第二识别卷积神经网络，定位所述人手图像中第二手掌区域所对应的第二掌纹关键点，其中所述第一神经网络和所述第二神经网络为级联的神经网络，且级联的所述第一神经网络和所述第二神经网络分别是以标注了掌纹关键点的不同手掌区域作为训练源的，以及，基于所述第一掌纹关键点和所述第二掌纹关键点，确定所述人手图像中的掌纹关键点。
所述掌纹识别装置还包括模型校准单元605，用于在所述掌纹库中查询与所述目标用户ID相对应的目标训练掌纹区域图像，以及展示包括所述目标用户ID、所述目标训练掌纹区域图像和所提取的掌纹区域图像的信息，以及获取针对所展示的目标用户ID的用户反馈操作，以及当所述用户反馈操作指示目标用户ID为预测正确时，将所述所提取的掌纹区域图像补充至对应所述目标用户ID的训练掌纹区域图像中，以校准所述掌纹神经网络模型。
在一些实施方式中，所述掌纹神经网络模型为MobileNet。
需要说明的是，本发明实施例提供的一种掌纹识别装置所涉及各功能单元的其他相应描述，可以参考图2-5C中的对应描述，在此不再赘述。
基于上述如图2-5C所示方法，相应的，本发明实施例还提供了一种存储设备，其上存储有计算机程序，该程序被处理器执行时实现上述如图2-5C所示的掌纹识别方法。
基于上述如图2-5C所示方法和如图6、7所示虚拟装置的实施例，为了实现上述目的，如图8所示，本发明实施例还提供了一种掌纹识别装置的实体装置80，该实体装置80包括存储设备801和处理器802；所述存储设备801，用于存储计算机程序；所述处理器802，用于执行所述计算机程序以实现上述如图2-5C所示的掌纹识别方法。
通过应用本发明的技术方案，将掌纹识别技术和神经网络技术相结合，能够快速准确地识别出与所检测的掌纹相匹配的目标用户；另外，由于掌纹神经网络模型是以用户在不同拍照条件下所对应的训练掌纹区域图像进行训练的，使得应用经训练的掌纹神经网络模型能够在各种拍照条件下都可以较佳地完成对掌纹的识别工作，而不需要固定的掌纹采集装置和苛刻的拍照条件要求，因此本发明的掌纹识别技术方案能够被广泛地应用于市场中。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种掌纹识别方法，其特征在于，包括：
获取待识别的人手图像；
提取所述人手图像所对应的掌纹区域图像；
基于掌纹神经网络模型预测所述掌纹区域图像所对应的目标用户ID，其中所述掌纹神经网络模型是以掌纹库中对应于多用户ID的训练掌纹区域图像作为输入进行训练的，并且每一用户ID下具有对应不同拍照条件的训练掌纹区域图像。
2.根据权利要求1所述的方法，其中，该方法还包括针对所述掌纹神经网络模型的训练过程，所述针对掌纹神经网络模型的训练过程包括：
获取标注有用户ID的多张训练人手图像，其中每一用户ID下具有对应不同拍照条件的训练人手图像；
提取所述训练人手图像所对应的训练掌纹区域图像，并将所述训练掌纹区域图像存储至掌纹库；
将所述掌纹库中对应于多用户ID的训练掌纹区域图像输入至所述掌纹神经网络模型，以训练所述掌纹神经网络模型。
3.根据权利要求2所述的方法，其中，所述掌纹神经网络模型包括深度可分离卷积网络模型，其中针对所述深度可分离神经网络模型的训练过程包括：
将掌纹区域图像输入至具有多层通道结构的所述深度可分离卷积模型，其中每一层通道结构分别用于归类不同的用户ID所对应的掌纹区域图像；
对多层通道结构中的每层结构分别采用定制的滤波器进行滤波；
逐层卷积所述多层通道结构下的每一层通道结构，并对所述每一层通道结构的卷积结果进行结合。
4.根据权利要求1所述的方法，其中，所述提取所述人手图像所对应的掌纹区域图像包括：
基于关键点检测技术，确定所述人手图像中的掌纹关键点；
基于所述掌纹关键点，从所述人手图像中分割出相对应的掌纹区域图像。
5.根据权利要求4所述的方法，其中，所述基于关键点检测技术，确定所述人手图像中的掌纹关键点包括：
基于第一识别卷积神经网络，定位所述人手图像中第一手掌区域所对应的第一掌纹关键点；
基于第二识别卷积神经网络，定位所述人手图像中第二手掌区域所对应的第二掌纹关键点，其中所述第一神经网络和所述第二神经网络为级联的神经网络，且级联的所述第一神经网络和所述第二神经网络分别是以标注了掌纹关键点的不同手掌区域作为训练源的；
基于所述第一掌纹关键点和所述第二掌纹关键点，确定所述人手图像中的掌纹关键点。
6.根据权利要求1所述的方法，其中，在所述基于神经网络模型，预测所述掌纹区域图像所对应的目标用户ID之后，该方法还包括：
在所述掌纹库中查询与所述目标用户ID相对应的目标训练掌纹区域图像；
展示包括所述目标用户ID、所述目标训练掌纹区域图像和所提取的掌纹区域图像的信息；
获取针对所展示的目标用户ID的用户反馈操作；
当所述用户反馈操作指示目标用户ID为预测正确时，将所述所提取的掌纹区域图像补充至对应所述目标用户ID的训练掌纹区域图像中，以校准所述掌纹神经网络模型。
7.根据权利要求1所述的方法，其中，所述掌纹神经网络模型为MobileNet。
8.一种掌纹识别装置，其特征在于，包括：
人手图像获取单元，用于获取待识别的人手图像；
掌纹区域提取单元，用于提取所述人手图像所对应的掌纹区域图像；
预测单元，用于基于掌纹神经网络模型预测所述掌纹区域图像所对应的目标用户ID，其中所述掌纹神经网络模型是以掌纹库中对应于多用户ID的训练掌纹区域图像作为输入进行训练的，并且每一用户ID下具有对应不同拍照条件的训练掌纹区域图像。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910319410.5A 2019-04-19 2019-04-19 掌纹识别方法及装置 Pending CN110210288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910319410.5A CN110210288A (zh) 2019-04-19 2019-04-19 掌纹识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910319410.5A CN110210288A (zh) 2019-04-19 2019-04-19 掌纹识别方法及装置

Publications (1)

Publication Number Publication Date
CN110210288A true CN110210288A (zh) 2019-09-06

Family

ID=67786117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910319410.5A Pending CN110210288A (zh) 2019-04-19 2019-04-19 掌纹识别方法及装置

Country Status (1)

Country Link
CN (1) CN110210288A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178310A (zh) * 2019-12-31 2020-05-19 广东灵机文化传播有限公司 手掌特征识别方法、装置、计算机设备和存储介质
CN111382712A (zh) * 2020-03-12 2020-07-07 厦门中控智慧信息技术有限公司 一种手掌图像识别方法、系统及设备
CN112200124A (zh) * 2020-10-26 2021-01-08 南昌航空大学 融合多任务软生物特征的深度网络掌纹识别方法及系统
CN114419681A (zh) * 2022-01-10 2022-04-29 北京海鑫科金高科技股份有限公司 掌纹识别方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178310A (zh) * 2019-12-31 2020-05-19 广东灵机文化传播有限公司 手掌特征识别方法、装置、计算机设备和存储介质
CN111382712A (zh) * 2020-03-12 2020-07-07 厦门中控智慧信息技术有限公司 一种手掌图像识别方法、系统及设备
CN112200124A (zh) * 2020-10-26 2021-01-08 南昌航空大学 融合多任务软生物特征的深度网络掌纹识别方法及系统
CN112200124B (zh) * 2020-10-26 2022-07-12 南昌航空大学 融合多任务软生物特征的深度网络掌纹识别方法及系统
CN114419681A (zh) * 2022-01-10 2022-04-29 北京海鑫科金高科技股份有限公司 掌纹识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110210288A (zh) 掌纹识别方法及装置
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN105404860B (zh) 用于管理走失人员信息的方法和设备
KR102442844B1 (ko) 실제 3차원 객체를 실제 객체의 2-차원 스푸프로부터 구별하기 위한 방법(Method for Distinguishing a Real Three-Dimensional Object from a Two-Dimensional Spoof of the Real Object)
CN105426857B (zh) 人脸识别模型训练方法和装置
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN110069994B (zh) 基于人脸多区域的人脸属性识别系统、方法
CN103996046B (zh) 基于多视觉特征融合的人员识别方法
CN107808111A (zh) 用于行人检测和姿态估计的方法和装置
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN109657533A (zh) 行人重识别方法及相关产品
CN108121957A (zh) 美颜素材的推送方法及装置
CN108256479A (zh) 人脸跟踪方法和装置
CN108875476B (zh) 自动近红外人脸注册与识别方法、装置和系统及存储介质
CN109740415A (zh) 车辆属性识别方法及相关产品
CN108537115B (zh) 图像识别方法、装置及电子设备
CN110264493A (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN110287370B (zh) 基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质
CN108875517A (zh) 视频处理方法、装置和系统及存储介质
CN105913507A (zh) 一种考勤方法及系统
CN113011403B (zh) 手势识别方法、系统、介质及设备
CN112489143A (zh) 一种颜色识别方法、装置、设备及存储介质
CN110992500B (zh) 考勤方法、装置及存储介质、服务器
CN104951440B (zh) 一种图像处理方法及电子设备
CN104765440B (zh) 手检测方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination