CN116311400A - 掌纹图像的处理方法、电子设备及存储介质 - Google Patents

掌纹图像的处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116311400A
CN116311400A CN202310156904.2A CN202310156904A CN116311400A CN 116311400 A CN116311400 A CN 116311400A CN 202310156904 A CN202310156904 A CN 202310156904A CN 116311400 A CN116311400 A CN 116311400A
Authority
CN
China
Prior art keywords
palm
images
target
under
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310156904.2A
Other languages
English (en)
Inventor
李茜
吴举豪
梁嘉骏
戢仁和
董世超
李友水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202310156904.2A priority Critical patent/CN116311400A/zh
Publication of CN116311400A publication Critical patent/CN116311400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请实施例公开一种掌纹图像的处理方法、电子设备及存储介质，该方法包括：获取目标对象在K个不同光谱下的待处理图像，K为大于1的整数；从所述K个不同光谱下的待处理图像中，获取所述目标对象在所述K个不同光谱下的手掌图像，其中，一个所述手掌图像对应于一个所述待处理图像中的一个图像区域；将所述手掌图像输入目标模型，通过所述目标模型的特征提取网络，提取所述K个不同光谱下的手掌图像的手掌特征向量，以及，通过所述目标模型的特征融合网络，对所述K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量；基于所述多光谱手掌融合特征向量对所述目标对象进行识别和/或对所述目标对象进行活体检测。

Description

掌纹图像的处理方法、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域，特别涉及一种掌纹图像的处理方法、电子设备及存储介质。
背景技术
随着生物识别技术的发展，越来越多的生物识别技术被应用于门禁、支付、金融、通行等领域，其中，基于掌纹和掌静脉的生物识别技术因其可以非接触使用，并且具有良好的隐私保护特性而被广泛应用。目前，相关技术进行掌纹图像处理时存在精度不足、使用场景受限等问题。
发明内容
本申请实施例提供一种掌纹图像的处理方法、电子设备及存储介质，以解决相关技术在进行掌纹图像处理时存在的精度低、使用场景受限的技术问题。
根据本申请的第一方面，公开了一种掌纹图像的处理方法，所述方法包括：
获取目标对象在K个不同光谱下的待处理图像，K为大于1的整数；
从所述K个不同光谱下的待处理图像中，获取所述目标对象在所述K个不同光谱下的手掌图像，其中，一个所述手掌图像对应于一个所述待处理图像中的一个图像区域；
将所述手掌图像输入目标模型，通过所述目标模型的特征提取网络，提取所述K个不同光谱下的手掌图像的手掌特征向量，以及，通过所述目标模型的特征融合网络，对所述K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量；
基于所述多光谱手掌融合特征向量对所述目标对象进行识别和/或对所述目标对象进行活体检测。
根据本申请的第二方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的掌纹图像的处理方法。
根据本申请的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的掌纹图像的处理方法。
根据本申请的第四方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的掌纹图像的处理方法。
本申请实施例中，获取目标对象在K个不同光谱下的待处理图像，K为大于1的整数；从K个不同光谱下的待处理图像中，获取目标对象在K个不同光谱下的手掌图像，其中，一个手掌图像对应于一个待处理图像中的一个图像区域；将手掌图像输入目标模型，通过目标模型的特征提取网络，提取K个不同光谱下的手掌图像的手掌特征向量，以及通过目标模型的特征融合网络，对K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量；基于多光谱手掌融合特征向量对目标对象进行识别和/或对目标对象进行活体检测。
可见，本申请实施例中，利用手掌在不同波段光谱下的不同成像特性和不同响应，结合多种光谱成像优点，对多个不同光谱下采集到的待处理图像进行手掌特征提取，并对提取到的不同光谱下的手掌特征进行融合，根据融合后的特征进行识别和/或活体检测，提高了掌纹图像处理的精度，减少了手掌误识与拒识；同时缩小了在暗光、逆光、远距离等边缘场景中对比正常光、近距离等主要使用场景的准确率与召回率损失，增强了掌纹图像处理方法对于使用场景的鲁棒性，可以解决相关技术中基于单一光谱的掌纹图像处理方法出现的精度低与使用场景受限等问题。
附图说明
图1是本申请实施例提供的一种掌纹图像的处理方法的流程图；
图2是本申请实施例提供的步骤102的一种实施方式的流程图；
图3是本申请实施例提供的目标模型的一个示例图；
图4是本申请实施例提供的目标模型的另一个示例图；
图5是本申请实施例提供的一种目标模型的训练方法的流程图；
图6是本申请实施例提供的一种掌纹图像的处理装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安全防范、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
与此同时，随着公共卫生需要的上涨，以及公众对于个人生物信息隐私安全认识的加深，掌纹图像处理技术作为一种低接触、高隐私的生物识别技术逐渐得到广泛应用，例如被广泛应用于门禁、支付、金融、通行等领域。掌纹图像处理算法是掌纹图像处理技术的核心，能够通过提取特定手掌区域中的图像信息，生成每个手掌的独立、可量化、可比较的数学特征，基于数学特征进行识别和/或活体检测。
相关技术中，掌纹图像处理算法大致基于两种图像信息：一种是基于可见光采集的掌纹图像，另一种是基于近红外光采集的掌静脉图像。基于可见光掌纹图像的掌纹图像处理算法受限于采集场景的照度、被采集对象的手掌表面状态以及采集设备等，在暗光、逆光等可见光不足的场景下难以采集到精细的手掌纹理信息，无法为掌纹图像处理算法提供有效图像用于特征提取，容易出现误识、拒识等问题；而基于近红外掌静脉图像的掌纹图像处理算法受限于采集设备、采集距离与角度，在较远距离及近红外光斜射等情况下难以采集到被采集对象的手掌掌静脉纹路，因此常常需要借助遮蔽外界光源、通过接触或者极近距离进行采集的专有设备进行采集，限制了掌纹图像处理算法的应用场景。可见，相关技术中，将单一光谱的图像作为掌纹图像处理算法的待处理图像进行识别和/或活体检测时，存在精度不足、使用场景受限等问题。
本申请实施例提供了一种掌纹图像的处理方法、电子设备及存储介质，以解决相关技术在进行掌纹图像处理时存在的精度低、使用场景受限的问题，同时达到高精度、场景鲁棒两个目标。
为了便于理解，下面首先对本申请实施例中涉及的应用场景和概念进行介绍。
应用场景：掌纹图像的处理方法可以应用于活体检测场景，也可以应用于用户识别场景，如识别用户是否为某公司员工、识别用户是否为本人等。
应用场景示例：目前，可以针对门禁、支付、金融、通行等领域，部署掌纹图像处理系统，该掌纹图像处理系统可以包括：用于采集图像的相机和用于对相机采集到的图像进行处理的处理设备，其中，该处理设备可以为移动终端，也可以为服务器。以楼宇门禁领域的掌纹图像处理系统为例，当用户想要进入楼宇时，需要将自己手掌移动至掌纹图像处理系统的相机的图像采集范围内，以便相机对用户的手掌进行图像采集，之后相机将采集到的图像传输给掌纹图像处理系统的处理设备。处理设备在接收到图像后，首先会对图像进行活体检测，以检测相机采集到的图像是否为真人的手掌图像。若检测到相机采集到的图像为真人的手掌图像，则确定活体检测通过，触发执行进一步的识别处理，即比较相机采集到的图像和预先录入的手掌图像是否匹配。
相关技术中的掌纹图像处理系统：仅部署一种类型的相机，例如，仅部署可见光相机，或者仅部署近红外相机，在进行图像采集时，仅能采集到一种光谱下的图像，例如，仅能采集到可见光光谱的图像，或者仅能采集到近红外光谱的图像。掌纹图像处理系统中的处理设备，基于相机在一种光谱下采集到的图像进行识别和/或活体检测。
本申请实施例中的掌纹图像处理系统：部署多个不同类型的相机，或者部署一个集成多个不同类型摄像头的相机，以部署多个不同类型的相机为例，同时部署可见光相机、近红外相机和紫外光相机，在进行图像采集时，能采集到多种光谱下的图像，例如，能采集到可见光光谱的图像、近红外光谱的图像和紫外光光谱的图像。掌纹图像处理系统中的处理设备，基于相机在多种光谱下采集到的图像进行识别和/或活体检测。
接下来对本申请实施例提供的一种掌纹图像的处理方法进行介绍。
需要说明的是，本申请实施例中的掌纹图像的处理方法的应用场景为：处理设备获取相机在多种光谱下采集到的待处理图像，基于多种光谱下的待处理图像进行识别和/或活体检测。
图1是本申请实施例提供的一种掌纹图像的处理方法的流程图，应用于掌纹图像处理系统中的处理设备，如图1所示，该方法可以包括以下步骤：
步骤101、步骤102、步骤103、步骤104和步骤105；
在步骤101中，获取目标对象在K个不同光谱下的待处理图像，K为大于1的整数。
本申请实施例中，可以使用多个不同类型的相机，对目标对象的手掌进行K个不同光谱的图像采集，得到目标对象在K个不同光谱下的待处理图像。
本申请实施例中，每个光谱下采集到的待处理图像的数量相同，例如，每个光谱下的待处理图像的数量均为M个，M为大于1的整数；或者，每个光谱下的待处理图像的数量均为1个。
在一些实施例中，对于活体检测场景，可以获取目标对象在K个不同光谱下的K个待处理图像，也即，每个光谱下仅采集一个待处理图像。
在一些实施例中，对于识别场景，可以获取目标对象在K个不同光谱下的K*M个待处理图像，也即，每个光谱下采集M个待处理图像。
在一个例子中，K个不同光谱可以包括：可见光光谱、近红外光谱和紫外光光谱。
需要说明的是，步骤101中光谱的数量、种类、每个光谱下的待处理图像的数量以及待处理图像的光谱顺序，与目标模型在训练阶段所使用数据集的光谱数量、种类、每个光谱下的样本手掌图像的数量以及样本手掌图像的光谱顺序相同。
本申请实施例中，为了确保所有待处理图像属于同一个被识别对象，在获取待处理图像时，可以获取两两采集时间间隔较短的待处理图像，相应地，N个不同光谱中任意两个光谱下的两个待处理图像的时间戳间隔小于第四阈值，其中，时间戳用于表征待处理图像的采集时间。
示例性的，可以基于历史经验，设置第四阈值，例如，设置第四阈值为100毫秒。
在步骤102中，从K个不同光谱下的待处理图像中，获取目标对象在K个不同光谱下的手掌图像，其中，一个手掌图像对应于一个待处理图像中的一个图像区域。
考虑到待处理图像中除包含手掌影像之外，还会包含一些与手掌无关、甚至干扰识别的影像，因此，直接从待处理图像中提取手掌特征，效果并不理想，针对以上情况，本申请实施例中，首先从各个待处理图像中提取手掌影像，即手掌图像，之后从手掌图像中提取手掌特征，以提高特征提取的准确性。
在一些实施例中，为确保获取手掌图像的速度较快，以及计算量较小，上述步骤102包括以下步骤：对于K个不同光谱下的每个待处理图像，检测待处理图像中的最大手掌感兴趣区域(Region Of Intrest，ROI)，提取待处理图像中最大手掌ROI区域内的图像，作为该待处理图像对应的手掌图像。
在一些实施例中，为了确保后续手掌特征提取结果的准确性，如图2所示，上述步骤102包括以下步骤：步骤1021、步骤1022和步骤1023；
在步骤1021中，将K个不同光谱下的待处理图像调整至同一尺寸，并检测K个不同光谱下的同一尺寸的待处理图像中的目标手掌区域，其中，一个待处理图像对应于一个目标手掌区域。
本申请实施例中，考虑到不同相机采集到的图像的尺寸可能不同，同一相机的不同摄像头采集到的图像的尺寸也可能不同，因此，为了便于后续处理，可以先将K个不同光谱下的待处理图像调整(resize)至同一尺寸，得到K个不同光谱下的同一尺寸的待处理图像。
本申请实施例中，考虑到一个图像中可能会有多个手掌的情况下，针对这种情况，可以检测各待处理图像中的最大手掌ROI区域，将图像中的最大手掌ROI区域作为目标手掌区域。
在步骤1022中，对于检测到的目标手掌区域，计算其中一个目标手掌区域与其他目标手掌区域的交并比，得到多个目标交并比。
本申请实施例中，可以计算各目标手掌区域之间的交并比，通过计算得到的交并比，来检测各目标手掌区域所在的待处理图像是否属于同一被检测对象，即目标对象，以确保后续提取到的手掌特征属于同一被检测对象，防止出现提取的不同模态特征不属于同一被检测对象的情况发生。
本申请实施例中，若各目标手掌区域之间的交并比，均大于第三阈值，则认为步骤101中的所有待处理图像属于同一被检测对象，否则认为不属于同一被检测对象，丢弃所有待处理图像。
示例性的，可以在相机出厂时采集多组使用范围内的对应的多个不同光谱信息的手掌图像，计算上述多组图像的手掌区域IOU的最小值作为第三阈值。
在步骤1023中，在多个目标交并比均大于第三阈值的情况下，基于各目标手掌区域，获取目标对象在K个不同光谱下的手掌图像。
本申请实施例中，在根据各目标手掌区域之间的交并比，确定步骤101中的所有待处理图像属于同一被检测对象的情况下，从各待处理图像中提取出各目标手掌区域。
可选地，可以直接将各目标手掌区域内的图像，作为待处理图像对应的手掌图像。
可选地，为了后续不同光谱下的手掌特征提取及融合具有更好的效果，可以先将各目标手掌区域进行对齐，以便对齐不同光谱下手掌的空间特征分布，相应地，上述步骤1023包括以下步骤：步骤10231；
在步骤10231中，将各目标手掌区域进行对齐，得到对齐后的各手掌区域，其中，对齐后的各手掌区域的图像为目标对象在K个不同光谱下的手掌图像。
具体地，可以基于手掌关键点进行仿射变换，来对齐不同光谱信息的目标手掌区域，相应地，上述步骤10231包括以下步骤：获取各目标手掌区域的手掌关键点，以一个目标手掌区域的手掌关键点为参考关键点，通过仿射变换将其他目标手掌区域的手掌关键点在空间域上与参考关键点对齐，得到对齐后的各手掌区域。
本申请实施例中，手掌关键点可以包括：手掌上的各关节点，例如，大拇指、食指、中指、无名指、小指、手腕与手掌连接的关节点。其中，可以采用相关技术中的算法，检测目标手掌区域中的手掌关键点。
本申请实施例中，在检测到各目标手掌区域的手掌关键点后，获取手掌关键点的坐标，基于手掌关键点的坐标，通过仿射变换将各目标手掌区域在空间域上对齐。
本申请实施例中，以一个目标手掌区域的手掌关键点为参考关键点，通过仿射变换将其他目标手掌区域的手掌关键点，均映射到该参考关键点的坐标系下，得到对齐后的各手掌区域。
可见，本申请实施例中，可以基于手掌关键点进行仿射变换，对齐不同光谱信息的手掌区域，由于手掌关键点的提取比较简单、仿射变换的计算量较小，因此可以在占用较少计算资源的情况下，快速高效地对齐多个手掌区域。
在步骤103中，将手掌图像输入目标模型，通过目标模型的特征提取网络，提取K个不同光谱下的手掌图像的手掌特征向量。
本申请实施例中，在将K个不同光谱下的手掌图像输入目标模型之前，可以先判断上述手掌图像的尺寸是否满足目标模型对输入图像的尺寸要求，若满足，则直接将K个不同光谱下的手掌图像输入至目标模型的特征提取网络中进行处理；若不满足，则先将上述手掌图像的尺寸调整至满足尺寸要求，再输入至目标模型的特征提取网络中进行处理。
本申请实施例中，可以预先训练目标模型，具体地，可以根据掌纹图像处理的不同应用场景，预先训练不同功能的目标模型，不同功能的目标模型具有不同的网络结构。
例如，对于活体检测场景，如图3所示，目标模型的网络结构包括：特征提取网络、特征融合网络和分类网络，其中，特征提取网络用于提取K个不同光谱下的手掌图像的手掌特征向量；特征融合网络用于对K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量；分类网络用于计算多光谱手掌融合特征向量对应的分类概率值，该分类概率值用于反映活体检测结果。
例如，对于识别场景，如图4所示，目标模型的网络结构包括：特征提取网络和特征融合网络，其中，特征提取网络用于提取K个不同光谱下的手掌图像的手掌特征向量；特征融合网络用于对K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量，该多光谱手掌融合特征向量用于与预先录入的手掌图像的手掌特征进行匹配度的度量，实现不同手掌之间的认证与识别。
以上目标模型的具体训练过程，参见图5所示实施例中的内容。
本申请实施例中，特征提取网络中可以包括：一个通用的特征提取器，或者可以包括：多个针对不同光谱专门的特征提取器。
本申请实施例中，一个手掌图像对应一个手掌特征向量。
本申请实施例中，手掌特征可以包括以下至少一项：纹线特征、点特征、纹理特征、几何特征和掌静脉特征。
在步骤104中，通过目标模型的特征融合网络，对K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量。
本申请实施例中，特征融合网络可以通过线性映射、特征降维、线性组合、或者向量拼接等一种或者多种方法，对K个不同光谱下的手掌图像的手掌特征向量进行特征融合。
本申请实施例中，多光谱手掌融合特征向量用于表示目标对象在多种不同光谱下的手掌特征。
在步骤105中，基于多光谱手掌融合特征向量对目标对象进行识别和/或对目标对象进行活体检测。
在一些实施例中，目标模型用于活体检测，目标模型的网络结构如图3所示，相应地，上述步骤105包括以下步骤：步骤1051、步骤1052和步骤1053；
在步骤1051中，通过目标模型的分类网络，计算多光谱手掌融合特征向量对应的分类概率值。
本申请实施例中，分类网络可以采用相关技术中的任一种分类器。
在步骤1052中，在分类概率值大于第一阈值的情况下，确定目标对象为真人，即活体检测通过。
在步骤1053中，在分类概率值不大于第一阈值的情况下，确定目标对象为活体攻击对象，即活体检测未通过。
可见，本申请实施例中，由于目前分类网络的分类效果比较好，处理速度比较快，因此通过目标模型的分类网络，计算多光谱手掌融合特征向量对应的分类概率值，根据分类概率值确定活体检测结果，可以确保活体检测结果的准确性和检测速度。
在一些实施例中，目标模型用于识别，目标模型的网络结构如图4所示，相应地，上述步骤105包括以下步骤：步骤1054、步骤1055和步骤1056；
在步骤1054中，计算多光谱手掌融合特征向量与参考手掌特征向量的匹配度，其中，参考手掌特征向量为预先录入的手掌图像的手掌融合特征向量。其中，预先录入的手掌图像的手掌融合特征向量，也是多光谱的手掌融合特征。
本申请实施例中，可以计算两个特征向量之间的相似度或者距离，以相似度或者距离来表征这两个特征向量的匹配度。
在步骤1055中，在匹配度大于第二阈值的情况下，确定目标对象认证成功，即鉴权成功。
在步骤1056中，在匹配度不大于第二阈值的情况下，确定目标对象认证失败，即鉴权失败。
可见，本申请实施例中，由于多光谱手掌融合特征向量综合了手掌在多个光谱下呈现的特征，避免单一光谱下的特征呈现不足，因此基于多光谱手掌融合特征向量进行匹配度的度量，用以进行用户的认证与识别，可以确保识别结果的准确性。
由上述实施例可见，该实施例中，获取目标对象在K个不同光谱下的待处理图像，K为大于1的整数；从K个不同光谱下的待处理图像中，获取目标对象在K个不同光谱下的手掌图像，其中，一个手掌图像对应于一个待处理图像中的一个图像区域；将手掌图像输入目标模型，通过目标模型的特征提取网络，提取K个不同光谱下的手掌图像的手掌特征向量，以及通过目标模型的特征融合网络，对K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量；基于多光谱手掌融合特征向量对目标对象进行识别和/或对目标对象进行活体检测。
可见，本申请实施例中，利用手掌在不同波段光谱下的不同成像特性和不同响应，结合多种光谱成像优点，对多个不同光谱下采集到的待处理图像进行手掌特征提取，并对提取到的不同光谱下的手掌特征进行融合，根据融合后的特征进行识别和/或活体检测，提高了掌纹图像处理精度，减少了手掌误识与拒识；同时缩小了在暗光、逆光、远距离等边缘场景中对比正常光、近距离等主要使用场景的准确率与召回率损失，增强了掌纹图像处理方法对于使用场景的鲁棒性，可以解决相关技术中基于单一光谱的掌纹图像处理方法出现的精度低与使用场景受限等问题。
图5是本申请实施例提供的一种目标模型的训练方法的流程图，如图5所示，该方法可以包括以下步骤：步骤501、步骤502和步骤503；
在步骤501中，获取训练集，其中，训练集中包括多个样本对象的手掌图像数据集，每个样本对象的手掌图像数据集中包括K个不同的光谱数据集，每个光谱数据集中包括一种光谱下采集到的样本对象的多个样本手掌图像，不同的光谱数据集对应不同的光谱。
本申请实施例中，根据被采集样本对象的划分采集数据，将完整的训练集根据被采集样本对象的不同，划分为不同被采集样本对象各自的手掌图像数据集，其中，每个被采集样本对象的手掌图像数据集均包括同样多种特定光谱下采集的样本手掌图像，每种特定光谱下采集的样本手掌图像构成一个光谱数据集。
在步骤502中，构建待训练模型和对应的损失函数。
本申请实施例中，可以根据掌纹图像处理的应用场景的不同，构建相应的待训练模型，例如，对于活体检测场景，构建如图3所示的待训练模型；而对于识别场景，构建如图4所示的待训练模型。
本申请实施例中，损失函数可以为基于分类任务的损失函数，例如，平滑最大值损失；或者，可以为基于配对度量学习的损失函数，例如，三元组损失。
在步骤503中，基于训练集和损失函数，对待训练模型进行多次迭代训练直至收敛，得到目标模型。
在一些实施例中，在训练过程的每次迭代时，包括以下步骤：步骤5031、步骤5032、步骤5033、步骤5034和步骤5035；
在步骤5031中，从训练集中，随机抽样获取N个样本对象的手掌图像数据集。
在步骤5032中，从每个样本对象的手掌图像数据集的每个光谱数据集中，随机抽样获取M个样本手掌图像。
本申请实施例中，随机抽样得到N个样本对象在K个光谱下的M个样本手掌图像，即N*M*K个样本手掌图像。
在步骤5033中，将N个样本对象在K个光谱下的M个样本手掌图像进行任意相同的预处理后，输入待训练模型的特征提取网络中进行处理，得到N*M*K个样本手掌图像的手掌特征向量。
在一些实施例中，在进行任意相同的预处理后，可以得到通道数、高度、宽度均相等的图像。
在步骤5034中，将N*M*K个样本手掌图像的手掌特征向量输入待训练模型的特征融合网络进行处理，得到N*M个多光谱手掌融合特征向量。
本申请实施例中，分别对N个样本对象的M*K个手掌特征向量进行融合，通过将M*K个手掌特征向量根据在手掌图像数据集中的采样顺序进行组合，得到M组来自K个不同光谱下数据的手掌特征向量。对这M组手掌特征向量应用包括线性映射、特征降维、线性组合、向量拼接等在内的多种方法进行特征融合，即得到M个多光谱手掌融合特征向量。
在步骤5035中，根据N*M个多光谱手掌融合特征向量和损失函数，对待训练模型的参数进行反向传播更新。
本申请实施例中，将N个样本对象的M个多光谱手掌融合特征向量，应用基于分类或配对相似度等概念的损失函数进行度量学习监督，进而对待训练模型的参数进行反向传播更新。
重复多次上述迭代训练过程，直至模型收敛，得到目标模型。
在一个例子中，根据被采集样本对象不同的划分采集数据，记完整的训练集为D＝{P1,P2,P3,...PZ}，共包括Z个不同被采集样本对象的手掌图像数据。其中，P1、P2、P3...PZ为不同被采集样本对象在不同光谱下采集获得的手掌图像数据集，每个被采集样本对象均包括在K个特定光谱下采集的样本手掌图像。不失一般性地，可以记Pθ＝{S1Pθ,S2Pθ,S3Pθ,...SKPθ}，其中，S1Pθ、S2Pθ、S3Pθ,...SKPθ为被采集样本对象Pθ在某光谱下被采集获取的光谱数据集。在训练过程的每次迭代时：
(1)从完整的训练集D中随机抽样获取数量为N的被采集样本对象的手掌图像数据集，记为D'；
(2)从D'中每个被采集样本对象的每个光谱数据集中随机采样获取相同数量的图像数据，记Pθ抽样获取的数据集合为P'θ＝{S'1Pθ,S'2Pθ,S'3Pθ,...}，其中，每个集合包括的图像数据数量均相等，记为M；
(3)在保证来源的被采集样本对象数据集顺序、光谱数据集顺序不变的前提下，将上述抽样得到的N个被采集样本对象来自K个光谱下的M个样本手掌图像进行任意相同的预处理，例如得到通道数、高度、宽度均分别为C、H、W的图像数据，则经过预处理的上述数据的形状为(N,K,M,C,H,W)。将这些数据作为一个批次的训练数据送入模型的特征提取网络进行处理，获得模型提取得到的N*K*M个图像的手掌特征向量。
(4)假定模型选取的特征向量的长度为L，则(3)中获得的一个批次图像的手掌特征向量矩阵的形状为(N,K,M,L)。首先，将手掌特征向量矩阵各维度顺序调整为(N,M,K,L)，此时，可以对N个被采集样本对象的M组形状为(K,L)的手掌特征向量应用包括线性映射、特征降维、线性组合、向量拼接等在内的多种方法进行特征融合。不失一般性地，融合后的M组特征向量长度为J，则得到来自N个被采集样本对象的M组数据的多光谱手掌融合特征向量矩阵，其形状为(N,M,J)。
(5)对于(4)中获得的形状为(N,M,J)的特征向量矩阵，应用基于分类任务的损失函数或基于配对度量学习的损失函数进行监督。
可见，本申请实施例中，借助多光谱图像对掌纹图像处理算法进行联合训练，充分利用手掌在不同波段下的不同响应，结合多种光谱成像优点，提高掌纹图像处理算法精度，大量减少手掌误识与拒识；同时缩小了算法在暗光、逆光、远距离等边缘场景中对比正常光近距离等主要使用场景的准确率与召回率损失，增强掌纹图像处理算法对于使用场景的鲁棒性。
可以理解的是，对于图5所示训练得到的目标模型，在使用该目标模型时，需采集使用者的多光谱手掌图像，其光谱数量与种类需与训练阶段使用的数据集相等，其光谱图像顺序需与训练阶段相同。
例如，根据训练阶段使用的多光谱种类及数量，每次实际使用时采集使用者的一组多光谱图像I＝{I1,I2,I3,...}，其中I1、I2、I3等图像的光谱与训练阶段P1、P2、P3等图像的光谱依序对应。在实际使用时：
与训练阶段(3)采取的特征联合监督策略不同，将上述一组多光谱图像I送入同一或不同针对特定光谱图像的特征提取网络进行特征提取，获得顺序与多光谱图像I对应的一组实际使用阶段的特征向量E＝{e1,e2,e3,...}，其中e1、e2、e3等特征向量的光谱与多光谱图像I中I1、I2、I3等图像的光谱依序对应。
与训练阶段(4)中选择的特征融合策略不同，对实际使用阶段中获得的一组多光谱特征向量E采取相同方法进行融合，获取特征融合后的长度为J的融合特征向量，该融合特征向量可用于进行相似度或距离度量。
最后，为了便于对本申请实施例中的技术方案进行整体理解，以活体检测场景为例进行举例说明，识别场景类似，在此不再赘述。
相机采集到两种光谱的两个待处理图像，分别为可见光光谱图像和近红外光谱图像，两个待处理图像的时间戳差值小于100毫秒，后续以“RGB图像”代替“可见光光谱图像”，以“IR图像”代替“近红外光谱图像”进行描述。
首先，检测RGB图像的最大手掌ROI区域，检测IR图像的最大手掌ROI区域，计算以上两个最大手掌ROI区域的交并比，若交并比不大于阈值，则丢弃RGB图像和IR图像；若交并比大于阈值，则利用手掌关键点对齐以上两个最大手掌ROI区域，将对齐后的两个手掌区域，归一化到同一尺度后，输入图3所示的目标模型进行处理，得到活体检测结果。
可见，本申请实施例中，基于多光谱融合的活体检测方法，通过采集相近时间戳的多光谱待处理图像，利用手掌关键点对齐RGB图像和IR图像后进行特征提取，并对不同模态的特征进行融合，根据融合后的特征进行活体检测，解决了仅使用单一光谱信息时掌纹活体检测精度低的问题。
图6是本申请实施例提供的一种掌纹图像的处理装置的结构示意图，如图6所示，所述掌纹图像的处理装置600，可以包括：第一获取模块601、第二获取模块602、提取模块603、融合模块604和处理模块605；
第一获取模块601，用于获取目标对象在K个不同光谱下的待处理图像，K为大于1的整数；
第二获取模块602，用于从所述K个不同光谱下的待处理图像中，获取所述目标对象在所述K个不同光谱下的手掌图像，其中，一个所述手掌图像对应于一个所述待处理图像中的一个图像区域；
提取模块603，用于将所述手掌图像输入目标模型，通过所述目标模型的特征提取网络，提取所述K个不同光谱下的手掌图像的手掌特征向量；
融合模块604，用于通过所述目标模型的特征融合网络，对所述K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量；
处理模块605，用于基于所述多光谱手掌融合特征向量对所述目标对象进行识别和/或对所述目标对象进行活体检测。
由上述实施例可见，该实施例中，获取目标对象在K个不同光谱下的待处理图像，K为大于1的整数；从K个不同光谱下的待处理图像中，获取目标对象在K个不同光谱下的手掌图像，其中，一个手掌图像对应于一个待处理图像中的一个图像区域；将手掌图像输入目标模型，通过目标模型的特征提取网络，提取K个不同光谱下的手掌图像的手掌特征向量，以及通过目标模型的特征融合网络，对K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量；基于多光谱手掌融合特征向量对目标对象进行识别和/或对目标对象进行活体检测。
可见，本申请实施例中，利用手掌在不同波段光谱下的不同成像特性和不同响应，结合多种光谱成像优点，对多个不同光谱下采集到的待处理图像进行手掌特征提取，并对提取到的不同光谱下的手掌特征进行融合，根据融合后的特征进行识别和/或活体检测，提高了掌纹图像处理精度，减少了手掌误识与拒识；同时缩小了在暗光、逆光、远距离等边缘场景中对比正常光、近距离等主要使用场景的准确率与召回率损失，增强了掌纹图像处理方法对于使用场景的鲁棒性，可以解决相关技术中基于单一光谱的掌纹图像处理方法出现的精度低与使用场景受限等问题。
可选地，作为一个实施例，所述处理模块605，可以包括：
第一计算子模块，用于通过所述目标模型的分类网络，计算所述多光谱手掌融合特征向量对应的分类概率值；
第一确定子模块，用于在所述分类概率值大于第一阈值的情况下，确定所述目标对象为真人；
第二确定子模块，用于在所述分类概率值不大于所述第一阈值的情况下，确定所述目标对象为活体攻击对象。
可选地，作为一个实施例，所述处理模块605，可以包括：
第二计算子模块，用于计算所述多光谱手掌融合特征向量与参考手掌特征向量的匹配度，其中，所述参考手掌特征向量为预先录入的手掌图像的手掌融合特征向量；
第三确定子模块，用于在所述匹配度大于第二阈值的情况下，确定所述目标对象认证成功；
第四确定子模块，用于在所述匹配度不大于所述第二阈值的情况下，确定所述目标对象认证失败。
可选地，作为一个实施例，所述第二获取模块602，可以包括：
检测子模块，用于将所述K个不同光谱下的待处理图像调整至同一尺寸，并检测所述K个不同光谱下的同一尺寸的待处理图像中的目标手掌区域，其中，一个所述待处理图像对应于一个所述目标手掌区域；
第三计算子模块，用于对于检测到的所述目标手掌区域，计算其中一个所述目标手掌区域与其他所述目标手掌区域的交并比，得到多个目标交并比；
获取子模块，用于在所述多个目标交并比均大于第三阈值的情况下，基于各所述目标手掌区域，获取所述目标对象在所述K个不同光谱下的手掌图像。
可选地，作为一个实施例，所述获取子模块，可以包括：
对齐单元，用于将各所述目标手掌区域进行对齐，得到对齐后的各手掌区域，其中，所述对齐后的各手掌区域的图像为所述目标对象在所述K个不同光谱下的手掌图像。
可选地，作为一个实施例，所述对齐单元，可以包括：
获取子单元，用于获取各所述目标手掌区域的手掌关键点；
变换子单元，用于以一个所述目标手掌区域的手掌关键点为参考关键点，通过仿射变换将其他所述目标手掌区域的手掌关键点在空间域上与所述参考关键点对齐，得到对齐后的各手掌区域。
可选地，作为一个实施例，所述掌纹图像的处理装置600，还可以包括：训练模块；
所述训练模块，用于获取训练集，其中，所述训练集中包括多个样本对象的手掌图像数据集，每个样本对象的手掌图像数据集中包括K个不同的光谱数据集，每个光谱数据集中包括一种光谱下采集到的所述样本对象的多个样本手掌图像，不同的光谱数据集对应不同的光谱；
构建待训练模型和对应的损失函数；
基于所述训练集和所述损失函数，对所述待训练模型进行多次迭代训练直至收敛，得到所述目标模型。
可选地，作为一个实施例，在训练过程的每次迭代时，
从所述训练集中，随机抽样获取N个样本对象的手掌图像数据集；
从每个所述样本对象的手掌图像数据集的每个光谱数据集中，随机抽样获取M个样本手掌图像；
将所述N个样本对象在K个光谱下的M个样本手掌图像进行任意相同的预处理后，输入所述待训练模型的特征提取网络中进行处理，得到N*M*K个样本手掌图像的手掌特征向量；
将所述N*M*K个样本手掌图像的手掌特征向量输入所述待训练模型的特征融合网络进行处理，得到N*M个多光谱手掌融合特征向量；
根据所述N*M个多光谱手掌融合特征向量和所述损失函数，对所述待训练模型的参数进行反向传播更新。
可选地，作为一个实施例，所述N个不同光谱中任意两个光谱下的两个待处理图像的时间戳间隔小于第四阈值，其中，所述时间戳用于表征所述待处理图像的采集时间。
本申请提供的掌纹图像的处理方法的实施例中的任意一个步骤和任意一个步骤中的具体操作均可以由掌纹图像的处理装置中的相应的模块完成掌纹图像的处理装置中的各个模块完成的相应的操作的过程参考在掌纹图像的处理方法的实施例中描述的相应的操作的过程。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图7是本申请的一个实施例的一种电子设备的结构框图。电子设备包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述方法。
电子设备还可以包括一个电源组件726被配置为执行电子设备的电源管理，一个有线或无线网络接口750被配置为将电子设备连接到网络，和一个输入输出(I/O)接口758。电子设备可以操作基于存储在存储器732的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
根据本申请的再一个实施例，本申请还提供了计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的掌纹图像的处理方法中的步骤。
根据本申请的再一个实施例，本申请还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的掌纹图像的处理方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种掌纹图像的处理方法、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种掌纹图像的处理方法，其特征在于，所述方法包括：
获取目标对象在K个不同光谱下的待处理图像，K为大于1的整数；
从所述K个不同光谱下的待处理图像中，获取所述目标对象在所述K个不同光谱下的手掌图像，其中，一个所述手掌图像对应于一个所述待处理图像中的一个图像区域；
将所述手掌图像输入目标模型，通过所述目标模型的特征提取网络，提取所述K个不同光谱下的手掌图像的手掌特征向量，以及，通过所述目标模型的特征融合网络，对所述K个不同光谱下的手掌图像的手掌特征向量进行融合，得到多光谱手掌融合特征向量；
基于所述多光谱手掌融合特征向量对所述目标对象进行识别和/或对所述目标对象进行活体检测。
2.根据权利要求1所述的方法，其特征在于，基于所述多光谱手掌融合特征向量对所述目标对象进行活体检测，包括：
通过所述目标模型的分类网络，计算所述多光谱手掌融合特征向量对应的分类概率值；
在所述分类概率值大于第一阈值的情况下，确定所述目标对象为真人；
在所述分类概率值不大于所述第一阈值的情况下，确定所述目标对象为活体攻击对象。
3.根据权利要求1所述的方法，其特征在于，基于所述多光谱手掌融合特征向量对所述目标对象进行识别，包括：
计算所述多光谱手掌融合特征向量与参考手掌特征向量的匹配度，其中，所述参考手掌特征向量为预先录入的手掌图像的手掌融合特征向量；
在所述匹配度大于第二阈值的情况下，确定所述目标对象认证成功；
在所述匹配度不大于所述第二阈值的情况下，确定所述目标对象认证失败。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述从所述K个不同光谱下的待处理图像中，获取所述目标对象在所述K个不同光谱下的手掌图像，包括：
将所述K个不同光谱下的待处理图像调整至同一尺寸，并检测所述K个不同光谱下的同一尺寸的待处理图像中的目标手掌区域，其中，一个所述待处理图像对应于一个所述目标手掌区域；
对于检测到的所述目标手掌区域，计算其中一个所述目标手掌区域与其他所述目标手掌区域的交并比，得到多个目标交并比；
在所述多个目标交并比均大于第三阈值的情况下，基于各所述目标手掌区域，获取所述目标对象在所述K个不同光谱下的手掌图像。
5.根据权利要求4所述的方法，其特征在于，所述基于各所述目标手掌区域，获取所述目标对象在所述K个不同光谱下的手掌图像，包括：
将各所述目标手掌区域进行对齐，得到对齐后的各手掌区域，其中，所述对齐后的各手掌区域的图像为所述目标对象在所述K个不同光谱下的手掌图像。
6.根据权利要求5所述的方法，其特征在于，所述将各所述目标手掌区域进行对齐，得到对齐后的各手掌区域，包括：
获取各所述目标手掌区域的手掌关键点；
以一个所述目标手掌区域的手掌关键点为参考关键点，通过仿射变换将其他所述目标手掌区域的手掌关键点在空间域上与所述参考关键点对齐，得到对齐后的各手掌区域。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述目标模型通过以下步骤训练得到：
获取训练集，其中，所述训练集中包括多个样本对象的手掌图像数据集，每个样本对象的手掌图像数据集中包括K个不同的光谱数据集，每个光谱数据集中包括一种光谱下采集到的所述样本对象的多个样本手掌图像，不同的光谱数据集对应不同的光谱；
构建待训练模型和对应的损失函数；
基于所述训练集和所述损失函数，对所述待训练模型进行多次迭代训练直至收敛，得到所述目标模型。
8.根据权利要求7所述的方法，其特征在于，
在训练过程的每次迭代时，
从所述训练集中，随机抽样获取N个样本对象的手掌图像数据集；
从每个所述样本对象的手掌图像数据集的每个光谱数据集中，随机抽样获取M个样本手掌图像；
将所述N个样本对象在K个光谱下的M个样本手掌图像进行任意相同的预处理后，输入所述待训练模型的特征提取网络中进行处理，得到N*M*K个样本手掌图像的手掌特征向量；
将所述N*M*K个样本手掌图像的手掌特征向量输入所述待训练模型的特征融合网络进行处理，得到N*M个多光谱手掌融合特征向量；
根据所述N*M个多光谱手掌融合特征向量和所述损失函数，对所述待训练模型的参数进行反向传播更新。
9.根据权利要求1-3任一项所述的方法，其特征在于，
所述N个不同光谱中任意两个光谱下的两个待处理图像的时间戳间隔小于第四阈值，其中，所述时间戳用于表征所述待处理图像的采集时间。
10.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-9任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-9任一项所述的方法。
12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-9任一项所述的方法。
CN202310156904.2A 2023-02-10 2023-02-10 掌纹图像的处理方法、电子设备及存储介质 Pending CN116311400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310156904.2A CN116311400A (zh) 2023-02-10 2023-02-10 掌纹图像的处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310156904.2A CN116311400A (zh) 2023-02-10 2023-02-10 掌纹图像的处理方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116311400A true CN116311400A (zh) 2023-06-23

Family

ID=86823296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310156904.2A Pending CN116311400A (zh) 2023-02-10 2023-02-10 掌纹图像的处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116311400A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392710A (zh) * 2023-12-05 2024-01-12 杭州海康威视数字技术股份有限公司 一种图像识别系统
CN117831082A (zh) * 2023-12-29 2024-04-05 广电运通集团股份有限公司 手掌区域检测方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392710A (zh) * 2023-12-05 2024-01-12 杭州海康威视数字技术股份有限公司 一种图像识别系统
CN117392710B (zh) * 2023-12-05 2024-03-08 杭州海康威视数字技术股份有限公司 一种图像识别系统
CN117831082A (zh) * 2023-12-29 2024-04-05 广电运通集团股份有限公司 手掌区域检测方法和装置

Similar Documents

Publication Publication Date Title
US11288504B2 (en) Iris liveness detection for mobile devices
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN108197592B (zh) 信息获取方法和装置
CN116311400A (zh) 掌纹图像的处理方法、电子设备及存储介质
CN106919921B (zh) 结合子空间学习与张量神经网络的步态识别方法及系统
CN108108711B (zh) 人脸布控方法、电子设备及存储介质
CN110070029A (zh) 一种步态识别方法及装置
CN112364827A (zh) 人脸识别方法、装置、计算机设备和存储介质
Haji et al. Real time face recognition system (RTFRS)
CN114218543A (zh) 一种基于多场景表情识别的加密解锁系统及方法
CN113569627A (zh) 人体姿态预测模型训练方法、人体姿态预测方法及装置
CN112633222B (zh) 基于对抗网络的步态识别方法、装置、设备及介质
CN113591603A (zh) 证件的验证方法、装置、电子设备及存储介质
Seal et al. Minutiae based thermal human face recognition using label connected component algorithm
Kalangi et al. Deployment of Haar Cascade algorithm to detect real-time faces
JP5279007B2 (ja) 照合システム、照合方法、プログラム及び記録媒体
CN114627533A (zh) 人脸识别方法、装置、设备和计算机可读存储介质
Santosh et al. Recent Trends in Image Processing and Pattern Recognition: Third International Conference, RTIP2R 2020, Aurangabad, India, January 3–4, 2020, Revised Selected Papers, Part I
CN112818808A (zh) 一种结合两个向量嵌入空间的高精度步态识别方法
Akhtar et al. Human-based Interaction Analysis via Automated Key point Detection and Neural Network Model
Indrawal et al. Development of efficient and secured face recognition using biometrics
Shende et al. Soft computing approach for feature extraction of palm biometric
Hashem et al. Human gait identification system based on transfer learning
He et al. Special issue on ubiquitous biometrics
CN113221088B (zh) 用户身份识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination