CN116612501A - 对象识别方法、装置、电子设备和计算机可读存储介质 - Google Patents
对象识别方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116612501A CN116612501A CN202310877891.8A CN202310877891A CN116612501A CN 116612501 A CN116612501 A CN 116612501A CN 202310877891 A CN202310877891 A CN 202310877891A CN 116612501 A CN116612501 A CN 116612501A
- Authority
- CN
- China
- Prior art keywords
- palm print
- frequency domain
- features
- candidate
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000001514 detection method Methods 0.000 claims abstract description 317
- 238000001228 spectrum Methods 0.000 claims abstract description 64
- 238000006243 chemical reaction Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 65
- 238000009826 distribution Methods 0.000 claims description 51
- 238000005070 sampling Methods 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 44
- 230000004927 fusion Effects 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/117—Biometrics derived from hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种对象识别方法、装置、电子设备和计算机可读存储介质;本申请实施例在获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域后,提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,然后,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,然后,基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果;该方案可以提升对象识别的准确率。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种对象识别方法、装置、电子设备和计算机可读存储介质。
背景技术
近年来,随着互联网技术的飞速发展,掌纹识别技术成为继面部(人脸)识别技术以后的新一代生物特征识别技术。相较于面部识别技术,掌纹因其隐蔽性,更有利于保护隐私,同时不会受到口罩、化妆、墨镜等外部因素的影响。因此,可以将掌纹识别技术应用于对象识别。现有的采用掌纹进行对象识别的方法往往基于待识别对象的掌纹图像中的几何特征或纹理特征进行识别。
在对现有技术的研究和实践过程中,本申请的发明人发现几何特征和纹理特征均属于掌纹图像的时域特征,而对于一些高相似度的掌纹(比如,同卵双胞胎的掌纹或者其他相似度较高的掌纹)在时域特征上的差异非常小,因此,导致对象识别的准确率较低。
发明内容
本发明实施例提供一种对象识别方法、装置、电子设备和计算机可读存储介质,可以提高对象识别的准确率。
一种对象识别方法,包括:
获取待识别对象的手部图像,并在所述手部图像中识别出候选掌纹区域;
提取所述候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像;
对所述掌纹检测图像进行频域转换,得到频谱信息,并在所述频谱信息中提取出频域特征;
在所述掌纹检测图像中提取出时域特征,并将所述掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征;
基于所述目标掌纹特征对所述待识别对象进行识别,得到所述待识别对象的识别结果。
相应的,本发明实施例提供一种对象识别装置,包括:
获取单元,用于获取待识别对象的手部图像,并在所述手部图像中识别出候选掌纹区域;
提取单元,用于提取所述候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像;
转换单元,用于对所述掌纹检测图像进行频域转换,得到频谱信息,并在所述频谱信息中提取出频域特征;
融合单元,用于在所述掌纹检测图像中提取出时域特征,并将所述掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征;
识别单元,用于基于所述目标掌纹特征对所述待识别对象进行识别,得到所述待识别对象的识别结果。
在一些实施例中,所述获取单元,具体可以用于在所述手部图像中检测出多个手部关键点;基于所述手部关键点的位置,确定所述手部图像中的候选掌纹中心点;根据所述候选掌纹中心点的位置,在所述手部图像中识别出候选掌纹区域。
在一些实施例中,所述获取单元,具体可以用于根据所述手部关键点的位置,确定所述手部关键点之间的关键点距离;基于所述手部关键点的位置,在所述手部图像中构建出局部坐标系;根据所述关键点距离,在所述局部坐标系中识别出候选掌纹中心点。
在一些实施例中,所述获取单元,具体可以用于基于所述食指指缝关键点的位置和所述无名指指缝关键点的位置,确定所述手部图像中局部坐标系的横坐标轴;根据所述中指指缝关键点的位置,确定所述手部图像中局部坐标系的纵坐标轴;基于所述横坐标轴和纵坐标轴,在所述手部图像中构建出局部坐标系。
在一些实施例中,所述获取单元,具体可以用于在所述手部图像中确定出所述局部坐标系的坐标原点;在所述关键点距离中筛选出所述食指指缝关键点与所述无名指指缝关键点之间的目标关键点距离;在所述纵坐标轴的负方向上识别出与所述坐标原点的距离为所述目标关键点距离的位置点,得到候选掌纹中心点。
在一些实施例中,所述获取单元,具体可以用于基于所述关键点距离,确定候选掌纹区域的区域边长,并将所述候选掌纹中心点作为所述候选掌纹区域的区域中心;根据所述区域边长和所述区域中心,在所述手部图像中划分出所述候选掌纹区域。
在一些实施例中,所述提取单元,具体可以用于基于所述区域边长,确定多个不同尺寸的采样区域边长,所述采样区域边长小于等于所述区域边长;根据所述采样区域边长和所述候选掌纹区域的区域中心,在所述候选掌纹区域中采样出多个尺度的掌纹检测区域;在所述手部图像中裁剪出每一掌纹检测区域对应的初始掌纹检测图像,并将所述初始掌纹检测图像的图像尺寸调整至同一尺寸,得到每一掌纹检测区域对应的掌纹检测图像。
在一些实施例中,所述识别单元,具体可以用于在所述目标掌纹特征中提取出所述待识别对象的对象特征;计算所述对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度;基于所述特征相似度,在所述候选对象集合中筛选出目标对象,并将所述目标对象的对象标识作为所述待识别对象的识别结果。
在一些实施例中,所述转换单元,具体可以用于采用对象识别模型的频域特征提取网络在所述频谱信息中提取出频域特征;所述在所述掌纹检测图像中提取出时域特征,包括:采用所述对象识别模型的时域特征提取网络在所述掌纹检测图像中提取出时域特征。
在一些实施例中,所述对象识别装置还可以包括训练单元,所述训练单元,具体可以用于获取训练样本集,所述训练样本集包括样本对象集合中每一样本对象对应的多个掌纹检测图像样本;采用预设对象识别模型对所述掌纹检测图像样本进行特征提取,得到每一掌纹检测图像样本的样本时域特征和样本频域特征;将所述样本时域特征和样本频域特征进行拼接,得到样本融合特征,并采用所述预设对象识别模型在所述样本融合特征中提取出每一样本对象的样本对象特征; 根据所述样本时域特征、样本频域特征和样本对象特征,确定所述预设对象识别模型的对象识别损失,并基于所述对象识别损失对所述预设对象识别模型进行收敛,得到对象识别模型。
在一些实施例中,所述训练单元,具体可以用于根据所述样本对象特征和预设附加角度裕度,确定所述训练样本集对应的分类损失;基于所述样本时域特征和所述样本频域特征,确定所述训练样本集对应的类别约束损失;将所述分类损失和所述类别约束损失进行融合,得到所述预设对象识别模型对应的对象识别损失。
在一些实施例中,所述训练单元,具体可以用于计算所述样本时域特征之间的特征相似度,得到时域特征相似度,所述时域特征相似度包括同类时域特征相似度和异类时域特征相似度;计算所述样本频域特征之间的特征相似度,得到频域特征相似度,所述频域特征相似度包括同类频域特征相似度和异类频域特征相似度;基于所述同类时域特征相似度和同类频域特征相似度,确定所述训练样本集对应的同类约束损失;根据所述异类时域特征相似度和异类频域特征相似度,确定所述训练样本集对应的异类约束损失;将所述同类约束损失和所述异类约束损失进行融合,得到所述训练样本集对应的类别约束损失。
在一些实施例中,所述训练单元,具体可以用于计算所述样本频域特征之间的特征相似度,得到初始频域特征相似度;在所述初始频域特征相似度中筛选出同一对象样本对应的初始频域特征相似度,得到同类频域特征相似度;在所述初始频域特征相似度中筛选出不同对象样本对应的初始频域特征相似度,得到异类频域特征相似度。
在一些实施例中,所述训练单元,具体可以用于计算所述同类时域特征相似度的分布,得到时域分布信息;计算所述同类频域特征相似度的分布,得到频域分布信息;确定所述时域分布信息与所述频域分布信息之间的信息散度,并将所述信息散度作为所述训练样本集对应的同类约束损失。
此外,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的对象识别方法。
此外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种对象识别方法中的步骤。
此外,本申请实施例还提供一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现本申请实施例提供的对象识别方法中的步骤。
本发明实施例在获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域后,提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,然后,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,然后,基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果;由于该方案可以在手部图像中裁剪出多个尺度的掌纹检测图像,不仅在掌纹检测图像中提取出时域特征,还可以对掌纹检测图像进行频域转换,并提取出频域特征,从而可以充分利用频域下微小的特征差异来区分高相似度的掌纹,因此,可以提升对象识别的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的对象识别方法的场景示意图;
图2是本发明实施例提供的对象识别方法的流程示意图;
图3是本发明实施例提供的手部图像中手部关键点的示意图;
图4是本发明实施例提供的手部图像中局部坐标系的示意图;
图5是本发明实施例提供的手部图像中候选掌纹中心点的示意图;
图6是本发明实施例提供的手部图像中候选掌纹区域的示意图;
图7是本发明实施例提供的采样出的掌纹检测区域的示意图;
图8是本发明实施例提供的计算对象特征与每一候选对象特征之间的特征相似度的示意图;
图9是本发明实施例提供的移动支付场景下的身份识别的整体流程示意图;
图10是本发明实施例提供的对象识别方法的另一流程示意图;
图11是本发明实施例提供的对象识别装置的结构示意图;
图12是本发明实施例提供的对象识别装置的另一结构示意图;
图13是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种对象识别方法、装置、电子设备和计算机可读存储介质。其中,该对象识别装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
例如,参见图1,以对象识别装置集成在电子设备中为例,电子设备在获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域后,提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,然后,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,然后,基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果,进而提升对象识别的准确率。
其中,本申请实施例提供的图像处理方法涉及人工智能领域中的计算机视觉方向。本申请实施例可以对掌纹检测图像进行特征提取、以及基于提取出的时域特征和频域特征对待识别对象进行识别,从而得到待识别对象的识别结果。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。其中,人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中,计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指通过计算机代替人眼对目标进行识别、测量等的机器视觉,并进一步进行图像处理,使图像经过计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术。
其中,可以理解的是,在本申请的具体实施方式中,涉及到待识别对象的手部图像或者掌纹检测图像等相关数据,当本申请以下实施例运用到具体产品或技术中时,需要获得许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从对象识别装置的角度进行描述,该对象识别装置具体可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备;其中,该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC,Personal Computer)、可穿戴设备、虚拟现实设备或其他可以进行对象识别的智能设备等设备。
一种对象识别方法,包括:
获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域,提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果。
如图2所示,该对象识别方法的具体流程如下:
101、获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域。
其中,待识别对象可以为需要进行对象识别的对象,比如,在移动支付场景下,待识别对象就可以为需要进行支付操作的对象,或者,在身份核验场景下,待识别对象就可以为需要核验身份的对象,等等。
其中,手部图像可以为包含待识别对象的部分或者完整手部区域的图像。
其中,候选掌纹区域可以为手部图像中可能包含掌纹的区域,候选掌纹区域可以包含待识别对象的全部或部分手掌区域,等等。候选掌纹区域也可以理解为是一个ROI区域(即感兴趣区域)。
其中,获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域的方式可以如下:
S1、获取待识别对象的手部图像。
例如,可以直接获取终端或客户端上传的待识别对象的手部图像,或者,可以通过图像采集设备采集待识别对象的手部图像,或者,可以通过图像采集设备采集待识别对象的对象图像,并在对象图像中检测出手部区域,在对象图像中裁剪出手部区域对应的图像,从而得到待识别对象的手部图像,或者,还可以在图像数据库或者网络上获取待识别对象的手部图像,或者,通过掌纹采集设备采集待识别对象的手部图像,或者,当手部图像的数量较多或者尺寸较大时,还可以接收对象识别请求,该对象识别请求携带待识别对象的手部图像的存储地址,基于存储地址,获取待识别对象的手部图像,等等。
S2、在手部图像中识别出候选掌纹区域。
例如,可以在手部图像中检测出多个手部关键点,基于手部关键点的位置,确定手部图像中的候选掌纹中心点,根据候选掌纹中心点的位置,在手部图像中识别出候选掌纹区域,具体可以如下:
(1)在手部图像中检测出多个手部关键点。
其中,手部关键点可以为手部图像中指示掌纹区域的关键点,手部关键点可以包括食指指缝关键点、中指指缝关键点和无名指指缝关键点。以手部图像如图3所示,食指指缝关键点就可以图3中的A点,中指指缝关键点就可以为图3中的B点,无名指指缝关键点就可以为图3中的C点。
其中,在手部图像中检测出多个手部关键点的方式可以有多种,具体可以如下:
例如,可以采用指缝点检测网络在手部图像中检测出食指指缝关键点、中指指缝关键点和无名指指缝关键点,从而得到多个手部关键点,或者,还可以采用指缝点检测网络在手部图像中检测出多个指缝点,在指缝点中筛选出食指指缝关键点、中指指缝关键点和无名指指缝关键点,从而得到多个手部关键点,等等。
其中,指缝点检测网络的网络结构可以有多种,比如,可以为yolov2(一种关键点检测网络)、CNN(卷积神经网络)或者可以检测出指缝关键点的网络结构,等等。
(2)基于手部关键点的位置,确定手部图像中的候选掌纹中心点
其中,候选掌纹中心点可以为可能存在或包含掌纹的候选掌纹区域的中心点。基于手部关键点的位置,确定手部图像中的候选掌纹中心点的方式可以有多种,具体可以如下:
例如,可以根据手部关键点的位置,确定手部关键的关键点距离,基于手部关键点的位置,在手部图像中构建出局部坐标系,根据关键点距离,在局部坐标系中识别出候选掌纹中心点。
其中,局部坐标系可以为用于确定候选掌纹中心点在局部构建的坐标系。基于手部关键点的位置,在手部图像中构建出局部坐标系的方式可以有多种,比如,可以基于食指指缝关键点的位置和无名指指缝关键点的位置,确定手部图像中局部坐标系的横坐标轴,根据中指指缝关键点的位置,确定手部图像中局部坐标系的纵坐标轴,基于横坐标轴和纵坐标轴,在手部图像中构建出局部坐标系。
其中,基于食指指缝关键点的位置和无名指指缝关键点的位置,确定手部图像中局部坐标系的横坐标轴的方式可以有多种,比如,基于食指指缝关键点的位置和无名指指缝关键点的位置,将食指指缝关键点与无名指指缝关键点构成的直线作为局部坐标系的横坐标轴(x轴)。
其中,根据中指指缝关键点的位置,确定手部图像中局部坐标系的纵坐标轴的方式可以有多种,比如,根据中指指缝关键点的位置,将穿过中指指缝关键点(即中指指缝关键点在纵坐标轴上),且与横坐标轴垂直的直线作为局部坐标系的纵坐标轴(y轴)。
在确定出横坐标轴和纵坐标轴之后,便可以基于横坐标轴和纵坐标轴,在手部图像中构建出局部坐标系,构建出的局部坐标系可以为如图4所示。
在构建出局部坐标系之后,便可以基于关键点距离,在局部坐标系中识别出候选掌纹中心点。所谓关键点距离可以为手部关键点之间的距离。在局部坐标系中识别出候选掌纹中心点的方式可以有多种,比如,在手部图像中确定出局部坐标系的坐标原点,在关键点距离中筛选出食指指缝关键点与无名指指缝关键点之间的目标关键点距离,在坐标轴的负方向上识别出与坐标原点的距离为目标关键点距离的位置点,得到候选掌纹中心点。如图5所示,A点为食指指缝关键点,B点为中指指缝关键点,C点为无名指指缝关键点,D点为候选掌纹中心点。
(3)根据候选掌纹中心点的位置,在手部图像中识别出候选掌纹区域。
例如,可以基于关键点距离,确定候选掌纹区域的区域边长,并将候选掌纹中心点作为候选掌纹区域的区域中心,根据区域边长和区域中心,在手部图像中划分出候选掌纹区域。
其中,区域边长可以为候选掌纹区域的边长。基于关键点距离,确定候选掌纹区域的区域边长的方式可以有多种,比如,可以在关键点距离中筛选出食指指缝关键点与无名指指缝关键点之间的目标关键点距离,获取手部图像对应的掌纹区域参数,将掌纹区域参数与目标关键点距离融合,从而得到候选掌纹区域的区域边长。所谓掌纹区域参数可以为表征目标关键点距离与候选掌纹区域的区域边长之间的映射关系的参数。掌纹区域参数可以为预先设定的,也可以为在手部图像中计算得到。掌纹区域参数可以为任意数值,比如,可以为3/2或者其他数值,以3/2为例,则区域边长就可以为目标关键点距离乘以3/2得到。
在确定出候选掌纹区域的区域边长之后,便可以将候选掌纹中心点作为候选掌纹区域的区域中心,并根据区域边长和区域中心,在手部图像中划分出候选掌纹区域。根据区域边长和区域中心,在手部图像中划分出候选掌纹区域的方式可以有多种,比如,可以在手部图像中定位出区域中心,以该区域中心为中心点,在手部图像中划分出一个正方形区域,该正方形区域的边长为区域边长,从而可以将该正方形区域作为候选掌纹区域。以掌纹区域参数为3/2为例,划分出的候选掌纹区域可以如图6所示,D点为候选掌纹区域的区域中心,区域边长为3/2倍的AC的距离,A点为食指指缝关键点,B点为中指指缝关键点,C点为无名指指缝关键点。
102、提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像。
其中,掌纹检测区域可以理解为进行掌纹检测或者掌纹识别的区域,掌纹检测区域中可以包括待识别对象的手部中手掌的掌纹。通过提取该区域中待识别对象的掌纹信息或特征,从而识别出待识别对象的身份。
其中,掌纹检测图像可以包括每一尺度的掌纹检测区域对应的图像。
其中,在手部图像中提取候选掌纹区域中多个尺度的掌纹检测区域的图像的方式可以有多种,具体可以如下:
例如,可以基于区域边长,确定多个不同尺寸的采样区域边长,根据采样区域边长和候选掌纹区域的区域中心,在候选掌纹区域中采样出多个尺度的掌纹检测区域,在手部图像中裁剪出每一掌纹检测区域对应的初始掌纹检测图像,并将初始掌纹检测图像的图像尺寸调整值同一尺寸,得到每一掌纹检测区域对应的掌纹检测图像。
其中,采样区域边长可以为进行采样的锚点框的边长。采样区域边长小于等于区域边长。基于区域边长,确定多个不同尺寸的采样区域边长的方式可以有多种,比如,以区域边长为d为例,可以在[0,d]中随机采样出多个数值作为采样区域边长,每次采样出的数值不同,从而可以得到多个不同尺寸的采样区域边长,或者,还可以将[0,d]划分成多个子区间,在每一个子区间中随机采样出一个或者多个数值,将采样出的数值作为采样区域边长,从而得到多个不同尺寸的采样区域边长。
其中,需要说明的是,采样区域边长的数量可以为预设数量,也可以为根据候选掌纹区域的区域尺寸确定出的数量。采样区域边长的数量可以为任意数值,比如,可以为5或者其他数量。
在确定出多个不同尺寸的采样区域边长之后,便可以根据采样区域边长和候选掌纹区域的区域中心,在候选掌纹区域中采样出多个尺度的掌纹检测区域。在候选掌纹区域中采样出多个尺度的掌纹检测区域的方式可以有多种,比如,可以在候选掌纹区域中构建每一采样区域边长对应的正方形框作为锚点框,并将锚点框的中心移动至候选掌纹区域的区域中心,将移动后的锚点框作为候选掌纹区域中的掌纹检测区域,或者,还可以在采样区域边长中随机采样出至少一个采样区域边长,得到目标采样区域边长,在候选掌纹区域中构建每一目标采样区域边长对应的正方形框作为锚点框,并将锚点框的中心移动至候选掌纹区域的区域中心,将移动后的锚点框作为候选掌纹区域中的掌纹检测区域。
其中,需要说明的是,掌纹检测区域的数量可以与采样区域边长的数量相同,也可以小于采样区域边长的数量。初始掌纹检测区域的数量可以为任意数值,比如,可以为5或者其他数值,等等。以初始掌纹检测区域的数量为5个为例,在候选掌纹区域中采样出的多个尺度的掌纹检测区域可以如图7所示。另外,对于多个尺度的掌纹检测区域可以理解为一个采样区域边长或一个目标采样区域边长对应一个尺度,也可以理解为每个掌纹检测区域的边长不同,每一个边长对应一个尺度。
在候选掌纹区域中采样出多个尺度的掌纹检测区域之后,便可以在手部图像中裁剪出每一掌纹检测区域对应的初始掌纹检测图像,并将初始掌纹检测图像的图像尺寸调整至同一尺寸,得到每一掌纹检测区域对应的掌纹检测图像。每一掌纹检测区域对应的掌纹检测图像的图像尺寸相同。将初始掌纹检测图像的图像尺寸调整至同一尺寸的方式可以有多种,比如,可以获取每一初始掌纹检测图像的当前图像尺寸,当当前图像尺寸小于预设图像尺寸时,将初始掌纹检测图像均匀放大至预设图像尺寸,从而得到掌纹检测图像,当当前图像大于预设图像尺寸时,将初始掌纹图像均匀缩小至预设图像尺寸,从而得到掌纹检测图像。
其中,预设图像尺寸可以为预先设定的进行特征提取的图像尺寸。预设图像尺寸的尺寸可以为任意尺寸,比如,可以为224×224或者其他尺寸,等等。
103、对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征。
其中,频谱信息可以为将掌纹检测图像进行频域转换后得到的频谱相关的信息。
其中,对掌纹检测图像进行频域转换的方式可以有多种,具体可以如下:
例如,可以采用快速傅里叶变换(FFT)对掌纹检测图像进行频域转换,从而得到掌纹检测图像对应的频谱信息,或者,可以采用其他傅里叶变换方式对掌纹检测图像进行频域变换,从而得到掌纹检测图像对应的频谱信息,或者,还可以采用频域转换算法对掌纹检测图像进行频域变换,从而得到掌纹检测图像对应的频谱信息,等等。
其中,以采用FFT对掌纹检测图像进行频域变换为例,对掌纹检测图像进行频域的变换可以如公式(1)所示,具体可以如下:
Input_freq=FFT(ROI)(1)
其中,Input_freq为掌纹检测图像的频谱信息,ROI为掌纹检测图像。
在将掌纹检测图像进行频谱变换之后,便可以在变换后的频谱信息中提取出频域特征。提取频域特征的方式可以有多种,比如,可以采用对象识别模型的频域特征提取网络在频谱信息中提取出频域特征。
其中,频域特征提取网络也可以称为频域编码器(E_freq),采用频域特征编码器在频谱信息中提取出频域特征的方式可以如公式(2)所示,具体可以如下:
feature_freq=E_freq(Input_freq)(2)
其中,feature_freq为掌纹检测图像的频域特征,Input_freq为掌纹检测图像的频谱信息。
其中,需要说明的是,不同掌纹检测图像的频谱信息均共享频域特征提取网络(频域编码器),也可以理解为采用同一个频域特征提取网络对不同掌纹检测图像的频谱信息进行频域特征提取,得到每一掌纹检测图像对应的频域特征。
可选的,该对象识别模型可以由运维人员预先进行设置或训练,也可以由该对象识别装置自行训练得到的,即步骤“采用对象识别模型的频域特征提取网络在频谱信息中提取出频域特征”之后,该对象识别方法还可以包括:
获取训练样本集,该训练样本集包括样本对象集合中每一样本对象对应的多个掌纹检测图像样本,采用预设对象识别模型对掌纹检测图像样本进行特征提取,得到每一掌纹检测图像样本的样本时域特征和样本频域特征,将样本时域特征和样本频域特征进行拼接,得到样本融合特征,并采用预设对象识别模型在样本融合特征中提取出样本对象特征,根据样本时域特征、样本频域特征和样本对象特征,确定预设对象识别模型的对象识别损失,并基于对象识别损失对预设对象识别模型进行收敛,得到对象识别模型,具体可以如下:
(1)获取训练样本集。
其中,训练样本集包括样本对象集合中每一样本对象对应的多个掌纹检测图像。
其中,获取训练样本集的方式可以有多种,具体可以如下:
例如,可以获取样本对象集合中每一样本对象的样本手部图像,并在样本手部图像中裁剪出多个尺寸的掌纹检测区域,从而得到每一对象对应的多个掌纹检测图像。获取样本手部图像的方式可以与获取待识别对象的手部图像的方式类似,详见上文所述,在此就不再一一赘述。
其中,需要说明的是,样本对象的多个掌纹检测图像中可以携带样本标签,该样本标签指示样本对象的标注对象标识。
(2)采用预设对象识别模型对掌纹检测图像样本进行特征提取,得到每一掌纹检测图像的样本时域特征和样本频域特征。
例如,可以对掌纹检测图像样本进行频域转换,得到样本频谱信息,采用预设对象识别模型的频域特征提取网络在样本频谱信息中提取出样本频域特征,采用预设对象识别模型的时域特征提取网络在掌纹检测图像样本中提取出样本时域特征。
(3)将样本时域特征和样本频域特征进行拼接,得到样本融合特征,并采用预设对象识别模型在样本融合特征中提取出每一样本对象的样本对象特征。
例如,可以将样本时域特征和样本频域特征进行拼接,从而得到每一掌纹检测图像样本对应的样本融合特征,采用预设对象识别模型的对象特征提取网络在同一样本对象的样本融合特征中提取出对象特征,得到该样本对象的样本对象特征。
(4)根据样本时域特征、样本频域特征和样本对象特征,确定预设对象识别模型的对象识别损失,并基于对象识别损失对预设对象识别模型进行收敛,得到对象识别模型。
其中,对象识别损失可以理解为采用预设对象识别模型对样本对象进行对象识别时产生的差异或误差。
其中,根据样本时域特征、样本频域特征和样本对象特征,确定预设对象识别模型的对象识别损失的方式可以有多种,具体可以如下:
例如,可以根据样本对象特征和预设附加角度裕度,确定训练样本集对应的分类损失,基于样本时域特征和样本频域特征,确定训练样本集对应的类别约束损失,将分类损失和类别约束损失进行融合,得到预设对象识别模型对应的对象识别损失。
其中,根据样本对象特征和预设附加角度裕度,确定训练样本集对应的分类损失的方式可以有多种,比如,可以采用arcface loss(一种分类损失函数),根据样本对象特征和预测附加角度裕度m,确定训练样本集对应的分类损失。通过arcface loss作为分类损失函数来区分不同对象间的特征,可以增加类内的致密性和类间的分离性。
其中,类别约束损失可以用来约束同类样本间的相似性和不同样本之间的非相似性。基于样本时域特征和样本频域特征,确定训练样本集对应的类别约束损失的方式可以有多种,比如,可以计算样本时域特征之间的特征相似度,得到时域特征相似度,该时域特征相似度包括同类时域特征相似度和异类特征相似度,计算样本频域特征之间的特征相似度,得到频域特征相似度,该频域特征相似度包括同类频域特征相似度和异类频域特征相似度,基于同类时域特征相似度和同类频域特征相似度,确定训练样本即对应的同类约束损失,根据异类时域特征相似度和异类频域特征相似度,确定训练样本集对应的异类约束损失,将同类约束损失和异类约束损失进行融合,得到训练样本集对应的类别约束损失。
其中,同类时域特征相似度和同类频域特征相似度中的“同类”指的是同一对象的不同掌纹检测样本,异类时域特征相似度和异类频域特征相似度中的“异类”指的是不同样本对象的掌纹检测样本,因此,同类时域特征相似度可以为同一样本对象的不同掌纹检测样本的样本时域特征之间的特征相似度,异类时域特征相似度可以为不同样本对象的掌纹检测样本的样本时域特征之间的特征相似度。同类频域特征相似度可以为同一样本对象的不同掌纹检测样本的样本频域特征之间的特征相似度,异类频域特征相似度可以为不同样本对象的样本频域特征之间的特征相似度。计算样本频域特征之间的特征相似度的方式可以有多种,比如,可以计算样本频域特征之间的特征相似度,得到初始频域特征相似度,在初始频域特征相似度中筛选出同一对象样本对应的初始频域特征相似度,得到同类频域特征相似度,在初始频域特征相似度中筛选出不同对象样本对应的初始频域特征相似度,得到异类频域特征相似度。
其中,计算样本时域特征之间的特征相似度与计算样本频域特征之间的特征相似度的方式类似,比如,可以计算样本时域特征之间的特征相似度,得到初始时域特征相似度,在初始时域特征相似度中筛选出同一对象样本对应的初始时域特征相似度,得到同类时域特征相似度,在初始时域特征相似度中筛选出不同对象样本对应的初始时域特征相似度,得到异类时域特征相似度。
其中,同类约束损失(loss_kl_pos)可以用于约束同类样本件的相似性。基于同类时域特征相似度和同类频域特征相似度,确定训练样本集对应的同类约束损失的方式可以有多种,比如,可以计算同类时域特征相似度的分布,得到时域分布信息(sim_dis_pos_time),计算同类频域特征相似度的分布,得到频域分布信息(sim_dis_pos_freq),确定时域分布信息和频域分布信息之间的信息散度,并将信息散度作为训练样本集对应的同类约束损失,具体可以如公式(3)所示,具体可以如下:
loss_kl_pos=KL(sim_dis_pos_time, sim_dis_pos_freq)(3)
其中,loss_kl_pos为同类约束损失,sim_dis_pos_time为时域分布信息,sim_dis_pos_freq为频域分布信息。
其中,信息散度也可以称之为KL散度、相对熵,可以为两个概率分布(probabilitydistribution)间差异的非对称性度量,主要用来衡量两个随机分布或概率分布之间距离。这里的时域分布信息和频域分布信息就可以看作时两个随机分布或者概率分布。
在计算出时域分布信息与频域分布之间的信息散度之后,便可以将信息散度作为训练样本集对应的同类约束损失。
其中,根据异类时域特征相似度和异类频域特征相似度,确定训练样本集对应的异类约束损失的方式可以有多种,比如,可以计算异类时域特征相似度的分布,得到异类时域分布信息,计算异类频域特征相似度的分布,得到异类频域分布信息,确定异类时域分布信息与异类频域分布信息之间的信息散度,从而得到训练样本集的异类约束损失信息,具体可以如公式(4)所示,具体可以如下:
loss_kl_neg=KL(sim_dis_neg_time, sim_dis_neg_freq)(4)
其中,loss_kl_neg为异类约束损失,sim_dis_neg_time为异类时域分布信息,sim_dis_neg_freq为异类频域分布信息。
在确定出训练样本集对应的同类约束损失和异类约束损失之后,便可以将同类约束损失和异类约束损失进行融合,得到训练样本集对应的类别约束损失。将同类约束损失和异类约束损失进行融合的方式可以有多种,比如,可以直接将同类约束损失和异类约束损失相加,从而得到训练样本集对应的类别约束损失,或者,还可以获取类别约束权重,基于类别约束权重,分别对同类约束损失和异类约束进行加权,并将加权后的同类约束损失和加权后的异类约束损失相加,从而得到训练样本集对应的类别约束损失,等等。
其中,需要说明的是,在对预设对象识别模型进行训练过程中,通过类别约束损失约束时域/频域的正负样本相似度分布,可以提升跨域信息交互和利用率,进而可以提升预设对象识别模型的训练精度。
在确定出分类损失和类别约束损失之后,便可以将分类损失和类别约束损失进行融合,从而得到预设对象识别模型对应的对象识别损失。将分类损失与类别约束损失进行融合的方式可以有多种,比如,可以直接将分类损失和类别约束损失相加,从而得到对象识别损失,具体可以如公式(5)所示,具体可以如下:
Loss_all=loss_time_freq=loss_arcface+loss_kl_pos+loss_kl_neg(5)
其中,Loss_all和loss_time_freq为对象识别损失,loss_arcface为分类损失,loss_kl_pos为同类约束损失,loss_kl_neg为异类约束损失。
可选的,在一些实施例中,还可以获取对象识别权重,并基于对象识别权重,分别对分类损失和类别约束损失进行加权,将加权后的分类损失和加权后的类别约束损失相加,从而得到对象识别损失。
在确定出对象识别损失之后,便可以基于对象识别损失对预设对象识别模型进行收敛,得到对象识别模型。对预设对象识别模型进行收敛的方式可以有多种,比如,可以采用梯度下降算法,基于对象识别损失对预设识别模型的网络参数进行更新,得到更新后的对象识别模型,将更新后的对象识别模型作为预设对象识别模型,并返回执行获取训练样本集的过程,直至预设对象识别模型收敛时为止,从而得到训练后的对象识别模型,或者,还可以采用其他参数更新算法,基于对象识别损失对预设识别模型的网络参数进行更新,得到更新后的对象识别模型,将更新后的对象识别模型作为预设对象识别模型,并返回执行获取训练样本集的过程,直至预设对象识别模型收敛时为止,从而得到训练后的对象识别模型,等等。
104、在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征。
其中,时域特征可以为掌纹检测图像在时域下的特征信息。在掌纹检测图像中提取出时域特征的方式可以有多种,具体可以如下:
例如,可以采用对象识别模型的时域特征提取网络在掌纹检测图像中提取出时域特征,从而得到每一掌纹检测图像的时域特征。
其中,需要说明的是,时域特征提取网络也可以称为时域编码器(E_time),采用时域特征编码器在掌纹检测图像中提取出时域特征的方式可以如公式(6)所示,具体可以如下:
feature_time=E_time(Input_time)(6)
其中,feature_time为时域特征,Input_time为掌纹检测图像。
其中,需要说明的是,不同掌纹检测图像均共享时域特征提取网络(时域编码器),也可以理解为采用同一时域特征提取网络对不同掌纹检测图像进行时域特征提取,从而得到每一掌纹检测图像的时域特征。
在掌纹检测图像中提取出时域特征之后,便可以将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征。将掌纹检测图像的时域特征与频域特征进行融合的方式可以有多种,比如,可以将同一掌纹检测图像的时域特征与频域特征进行拼接,得到每一掌纹检测图像的融合特征,将融合特征作为该掌纹检测图像的目标掌纹特征,具体可以如公式(7)所示,具体可以如下:
feature_fusion=concat(feature_freq, feature_time)(7)
其中,feature_fusion为融合特征,即目标掌纹特征,feature_freq为频域特征,feature_time为时域特征。
可选的,在一些实施例中,还可以获取特征融合权重,并基于特征融合权重分别对时域特征和频域特征进行加权,并将加权后的时域特征和加权后的频域特征进行拼接,从而得到每一掌纹检测图像的融合特征,将融合特征作为该掌纹检测图像的目标掌纹特征。
105、基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果。
其中,识别结果可以包括待识别对象的对象标识或目标对象标识,等等。
其中,基于目标掌纹特征对待识别对象进行识别的方式可以有多种,具体可以如下:
例如,可以在目标掌纹特征中提取出待识别对象的对象特征,计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度,基于特征相似度,在候选对象集合中筛选出目标对象,并将目标对象的对象标识作为待识别对象的识别结果。
其中,对象特征可以为表征待识别对象的身份标识的特征信息。在目标掌纹特征中提取出待识别对象的对象特征的方式可以有多种,比如,可以采用对象识别模型的对象特征提取网络在目标掌纹特征中提取出对象特征,得到每一掌纹检测图像对应的初始对象特征,将初始对象特征进行融合,得到待识别对象的对象特征,或者,可以采用对象识别模型在目标掌纹特征中提取出待识别对象的对象特征,或者,还可以将目标掌纹特征进行拼接,得到待识别对象的融合特征,在融合特征中提取出对象特征,等等。
在提取出对象特征之后,便可以计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度。候选对象集合可以为预先设定的已知对象身份的对象集合,候选对象特征可以为候选对象集合中每一候选对象的对象特征。计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度的方式可以有多种,比如,可以采用全连接层(FC)将对象特征映射至候选对象集合的每一候选对象上,从而得到对象特征与候选对象特征之间的特征相似度,或者,可以直接计算对象特征与候选对象集合中每一候选对象的候选对象特征的余弦相似度,从而得到特征相似度,或者,还可以计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征距离,并将特征距离作为特征相似度,等等。
其中,以特征相似度为余弦相似度为例,计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度就可以如公式(8)所示,具体可以如下:
/>
其中,为特征相似度,/>为候选对象特征,/>为对象特征。
其中,以待识别对象的掌纹检测图像的数量为5个,通过FC层计算特征相似度为例,计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度的过程可以如图8所示,通过FFT将每一掌纹检测图像进行频域转换,然后,通过频域编码器(E_freq)在频谱信息中提取出频域特征,通过时域编码器(E_time)在掌纹检测图像中提取出时域特征,将每一掌纹检测图像的时域特征和频域特征进行拼接,得到掌纹检测图像的目标掌纹特征,在目标掌纹特征中提取出待识别对象的对象特征,提取后的对象特征由一个全连接层(FC)映射至候选对象集合的每一候选对象上,从而得到特征相似度。
在计算出对象特征与每一候选对象特征之间的特征相似度之后,便可以基于特征相似度,在候选对象集合中筛选出目标对象。在候选对象集合中筛选出目标对象的方式可以有多种,比如,可以在候选对象集合中筛选出特征相似度最大的候选对象作为目标对象,或者,还可以基于特征相似度,对候选对象集合中的候选对象进行排序,基于排序结果,在候选对象集合中筛选出特征相似度最大的候选对象,得到目标对象,等等。
在候选对象集合中筛选出目标对象之后,便可以将目标对象的对象标识作为待识别对象的识别结果。比如,可以获取目标对象的对象标识,将该对象标识作为待识别对象的目标对象标识,从而得到待识别对象的识别结果。
可选的,在对待识别对象进行识别之后,还可以将待识别对象的识别结果返回至采集手部图像的终端,以便终端基于待识别对象的识别结果对待识别对象的业务请求进行处理。比如,以待识别对象的业务请求为支付请求为例,终端在接收到待识别对象的识别结果之后,便可以基于识别结果,确定出待识别对象的支付信息,基于支付请求,对支付信息进行处理,从而实现待识别对象的支付,等等。
其中,本方案的对象识别方法可以应用在移动支付、身份核验等应用场景下,以在移动支付场景为例,本方案可以用于在移动支付场景下的身份识别,身份识别的整体流程可以如图9所述,接收终端支付设备采集的用户手部图像,对用户手部图像进行指缝关键点检测,基于检测出的指缝关键点,在手部图像中提取出手掌感兴趣区域(候选掌纹区域),对手掌感兴趣区域随机中心裁剪出多个尺度的掌纹检测区域,得到每一掌纹检测区域对应的掌纹检测图像,对不同尺度的掌纹检测图像进行快速傅里叶变换,得到每一掌纹检测图像对应的频谱信息,通过对象识别模型的频域特征提取网络在频谱信息中提取出频域特征,通过对象识别模型的时域特征提取网络在掌纹检测图像中提取出时域特征,然后,将同一掌纹检测图像的时域特征与频域特征进行特征融合,得到每一掌纹检测图像的目标掌纹特征,通过对象识别模型的对象特征提取网络在目标掌纹特征提取出对象特征,计算对象特征与底库特征(候选用户的候选对象特征)之间的特征相似度,将特征相似度最高的候选用户的身份标识(ID)作为待识别用户的识别结果。最后,将待识别用户的识别结果返回至终端支付设备。
可选的,在一些实施例中,还可以在终端支付设备中集成对象识别模型,终端支付设备采集用户手部图像,然后,采用对象识别模型在用户手部图像中识别出的待识别用户的身份标识(ID),将该对象标识作为待识别用户的识别结果,并基于识别结果,对待识别用户的业务请求进行处理。
其中,本方案的对象识别方法可以针对高相似度的掌纹进行识别。如表1所示,使用四十对双胞胎的高清和模糊掌纹图像作为高相似掌纹图像进行测试。将同一对双胞胎的左手/右手作为一个样本对,总共包含3600个样本对,在高清图像上,现有最先进的方法arcface(一种对象识别方法)有37对样本识别结果错误,本方案的对象识别方法没有识别错误的样本;在模糊图像上,arcface有46对识别错误样本,本方案的对象识别方法没有识别错误的样本。
表1
通过表1可以发现,本方案的对象识别方法通过融合时域特征和频域特征,提升对高相似掌纹的区分性,从而在高相似样本中的识别有效性,进而提升对象识别的准确率。
由以上可知,本申请实施例在获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域后,提取候选掌纹区域中多个尺度的掌纹检测区域,以作为掌纹检测图像,然后,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,然后,基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果;由于该方案可以在手部图像中裁剪出多个尺度的掌纹检测图像,不仅在掌纹检测图像中提取出时域特征,还可以对掌纹检测图像进行频域转换,并提取出频域特征,从而可以充分利用频域下微小的特征差异来区分高相似度的掌纹,因此,可以提升对象识别的准确率。
根据上面实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以该对象识别装置具体集成在电子设备,电子设备为服务器,待识别对象为待识别用户,候选掌纹区域为ROI区域为例进行说明。
(一)图像生成模型的训练。
(1)服务器获取训练样本集。
例如,服务器可以获取样本对象集合中每一样本对象的样本手部图像,并在样本手部图像中裁剪出多个尺寸的掌纹检测区域的图像,从而得到每一对象对应的多个掌纹检测图像。
(2)服务器采用预设对象识别模型对掌纹检测图像样本进行特征提取,得到每一掌纹检测图像的样本时域特征和样本频域特征。
例如,服务器可以对掌纹检测图像样本进行频域转换,得到样本频谱信息,采用预设对象识别模型的频域特征提取网络在样本频谱信息中提取出样本频域特征,采用预设对象识别模型的时域特征提取网络在掌纹检测图像样本中提取出样本时域特征。
(3)服务器将样本时域特征和样本频域特征进行拼接,得到样本融合特征,并采用预设对象识别模型在样本融合特征中提取出每一样本对象的样本对象特征。
例如,服务器可以将样本时域特征和样本频域特征进行拼接,从而得到每一掌纹检测图像样本对应的样本融合特征,采用预设对象识别模型的对象特征提取网络在同一样本对象的样本融合特征中提取出对象特征,得到该样本对象的样本对象特征。
(4)根据样本时域特征、样本频域特征和样本对象特征,确定预设对象识别模型的对象识别损失,并基于对象识别损失对预设对象识别模型进行收敛,得到对象识别模型。
例如,服务器可以采用arcface loss,根据样本对象特征和预测附加角度域度m,确定训练样本集对应的分类损失。
服务器可以计算样本频域特征之间的特征相似度,得到初始频域特征相似度,在初始频域特征相似度中筛选出同一对象样本对应的初始频域特征相似度,得到同类频域特征相似度,在初始频域特征相似度中筛选出不同样本对应的初始频域特征相似度,得到异类频域特征相似度。采用类似的方法计算样本时域特征之间的特征相似度,得到时域特征相似度,该时域特征相似度包括同类时域特征相似度和异类时域特征相似度。
服务器计算同类时域特征相似度的分布,得到时域分布信息,计算同类频域特征相似度的分布,得到频域分布信息,确定时域分布信息和频域分布信息之间的信息散度,并将信息散度作为训练样本集对应的同类约束损失。计算异类时域特征相似度的分布,得到异类时域分布信息,计算异类频域特征相似度的分布,得到异类频域分布信息,确定异类时域分布信息与异类频域分布信息之间的信息散度,从而得到训练样本集的异类约束损失信息。将同类约束损失和异类约束损失相加,从而得到训练样本集对应的类别约束损失,或者,还可以获取类别约束权重,基于类别约束权重,分别对同类约束损失和异类约束进行加权,并将加权后的同类约束损失和加权后的异类约束损失相加,从而得到训练样本集对应的类别约束损失,等等。
服务器可以将分类损失和类别约束损失相加,从而得到对象识别损失,或者,获取对象识别权重,并基于对象识别权重,分别对分类损失和类别约束损失进行加权,将加权后的分类损失和加权后的类别约束损失相加,从而得到对象识别损失。
服务器可以采用梯度下降算法,基于对象识别损失对预设识别模型的网络参数进行更新,得到更新后的对象识别模型,将更新后的对象识别模型作为预设对象识别模型,并返回执行获取训练样本集的过程,直至预设对象识别模型收敛时为止,从而得到训练后的对象识别模型,或者,还可以采用其他参数更新算法,基于对象识别损失对预设识别模型的网络参数进行更新,得到更新后的对象识别模型,将更新后的对象识别模型作为预设对象识别模型,并返回执行获取训练样本集的过程,直至预设对象识别模型收敛时为止,从而得到训练后的对象识别模型,等等。
(二)服务器采用训练后的对象识别模型,基于待识别用户的手部图像,对待识别用户进行识别,得到识别结果。
其中,对象识别模型可以包括频域特征提取网络、时域特征提取网络和对象特征提取网络,等等。
如图10所示,一种对象识别方法,具体流程如下:
201、服务器获取待识别用户的手部图像。
例如,服务器可以直接获取终端或客户端上传的待识别用户的手部图像,或者,可以通过图像采集设备采集待识别用户的手部图像,或者,可以通过图像采集设备采集待识别用户的对象图像,并在对象图像中检测出手部区域,在对象图像中裁剪出手部区域对应的图像,从而得到待识别用户的手部图像,或者,还可以在图像数据库或者网络上获取待识别用户的手部图像,或者,通过掌纹采集设备采集待识别用户的手部图像,或者,当手部图像的数量较多或者尺寸较大时,还可以接收对象识别请求,该对象识别请求携带待识别用户的手部图像的存储地址,基于存储地址,获取待识别用户的手部图像,等等。
202、服务器在手部图像中识别出ROI区域。
例如,服务器可以采用yolov2在手部图像中检测出食指指缝关键点、中指指缝关键点和无名指指缝关键点,从而得到多个手部关键点,或者,还可以采用yolov2在手部图像中检测出多个指缝点,在指缝点中筛选出食指指缝关键点、中指指缝关键点和无名指指缝关键点,从而得到多个手部关键点,等等。
服务器可以根据手部关键点的位置,确定手部关键的关键点距离。基于食指指缝关键点的位置和无名指指缝关键点的位置,将食指指缝关键点与无名指指缝关键点构成的直线作为局部坐标系的横坐标轴(x轴),根据中指指缝关键点的位置,将穿过中指指缝关键点(即中指指缝关键点在纵坐标轴上),且与横坐标轴垂直的直线作为局部坐标系的纵坐标轴(y轴),基于横坐标轴和纵坐标轴,在手部图像中构建出局部坐标系。
服务器可以在手部图像中确定出局部坐标系的坐标原点,在关键点距离中筛选出食指指缝关键点与无名指指缝关键点之间的目标关键点距离,在坐标轴的负方向上识别出与坐标原点的距离为目标关键点距离的位置点,得到候选掌纹中心点。
服务器可以在关键点距离中筛选出食指指缝关键点与无名指指缝关键点之间的目标关键点距离,将目标关键点距离乘以3/2得到ROI区域的区域边长。将候选掌纹中心点作为ROI区域的区域中心。在手部图像中定位出区域中心,以该区域中心为中心点,在手部图像中划分出一个正方形区域,该正方形区域的边长为区域边长,从而可以将该正方形区域作为ROI区域。
203、服务器提取ROI区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像。
例如,以区域边长为d为例,服务器可以在[0,d]中随机采样出多个数值作为采样区域边长,每次采样出的数值不同,从而可以得到5个或者5个以上不同尺寸的采样区域边长,或者,还可以将[0,d]划分成多个子区间,在每一个子区间中随机采样出一个或者多个数值,将采样出的数值作为采样区域边长,从而得到5个或5个以上不同尺寸的采样区域边长。
服务器在ROI区域中构建5个采样区域边长中每一采样区域边长对应的正方形框作为锚点框,并将锚点框的中心移动至ROI区域的区域中心,将移动后的锚点框作为ROI区域中的掌纹检测区域,从而得到5个掌纹检测区域,或者,当采样区域边长的数量大于5个时,还可以在采样区域边长中随机采样出5个采样区域边长,得到目标采样区域边长,在ROI区域中构建每一目标采样区域边长对应的正方形框作为锚点框,并将锚点框的中心移动至ROI区域的区域中心,将移动后的锚点框作为ROI区域中的掌纹检测区域,从而得到5个掌纹检测区域。
服务器在手部图像中裁剪出每一掌纹检测区域对应的初始掌纹检测图像,将初始掌纹检测图像的图像尺寸均匀调整至224×224,从而得到每一掌纹检测区域对应的掌纹检测图像。
204、服务器对掌纹检测图像进行频域转换,得到频谱信息。
例如,服务器可以采用快速傅里叶变换(FFT)对掌纹检测图像进行频域转换,从而得到掌纹检测图像对应的频谱信息。
205、服务器在频谱信息中提取出频域特征。
例如,服务器可以采用对象识别模型的频域特征提取网络在频谱信息中提取出频域特征。
206、服务器在掌纹检测图像中提取出时域特征。
例如,服务器可以采用对象识别模型的时域特征提取网络在掌纹检测图像中提取出时域特征,从而得到每一掌纹检测图像的时域特征。
207、服务器将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征。
例如,服务器将同一掌纹检测图像的时域特征与频域特征进行拼接,得到每一掌纹检测图像的融合特征,将融合特征作为该掌纹检测图像的目标掌纹特征,具体可以如公式(7)所示。
208、服务器基于目标掌纹特征对待识别用户进行识别,得到待识别用户的识别结果。
例如,服务器可以采用对象识别模型的对象特征提取网络在目标掌纹特征中提取出对象特征,得到每一掌纹检测图像对应的初始对象特征,将初始对象特征进行融合,得到待识别用户的对象特征,或者,可以采用对象识别模型在目标掌纹特征中提取出待识别用户的对象特征,或者,还可以将目标掌纹特征进行拼接,得到待识别用户的融合特征,在融合特征中提取出对象特征,等等。
服务器可以采用全连接层(FC)将对象特征映射至候选用户集合的每一候选用户上,从而得到对象特征与候选对象特征之间的特征相似度,或者,可以直接计算对象特征与候选用户集合中每一候选用户的候选对象特征的余弦相似度,从而得到特征相似度,或者,还可以计算对象特征与候选用户集合中每一候选用户的候选对象特征之间的特征距离,并将特征距离作为特征相似度,等等。
服务器可以在候选用户集合中筛选出特征相似度最大的候选用户作为目标对象,或者,还可以基于特征相似度,对候选用户集合中的候选用户进行排序,基于排序结果,在候选用户集合中筛选出特征相似度最大的候选用户,得到目标对象,等等。获取目标对象的对象标识,将该对象标识作为待识别用户的目标对象标识,从而得到待识别用户的识别结果。
可选的,在一些实施例中,服务器在对待识别用户进行识别之后,还可以将待识别用户的识别结果返回至采集手部图像的终端,以便终端基于待识别用户的识别结果对待识别用户的业务请求进行处理。
由以上可知,本实施例服务器在获取待识别用户的手部图像,并在手部图像中识别出ROI区域后,提取ROI区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,然后,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,然后,基于目标掌纹特征对待识别用户进行识别,得到待识别用户的识别结果;由于该方案可以在手部图像中裁剪出多个尺度的掌纹检测图像,不仅在掌纹检测图像中提取出时域特征,还可以对掌纹检测图像进行频域转换,并提取出频域特征,从而可以充分利用频域下微小的特征差异来区分高相似度的掌纹,因此,可以提升对象识别的准确率。
为了更好地实施以上方法,本发明实施例还提供一种对象识别装置,该对象识别装置可以集成在电子设备,比如服务器或终端等设备中,该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如,如图11所示,该对象识别装置可以包括获取单元301、提取单元302、转换单元303、融合单元304和识别单元305,如下:
(1)获取单元301;
获取单元301,用于获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域。
例如,获取单元301,具体可以用于获取待识别对象的手部图像,在手部图像中检测出多个手部关键点,基于手部关键点的位置,确定手部图像中的候选掌纹中心点,根据候选掌纹中心点的位置,在手部图像中识别出候选掌纹区域。
(2)提取单元302;
提取单元302,用于提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像。
例如,提取单元302,具体可以用于基于区域边长,确定多个不同尺寸的采样区域边长,根据采样区域边长和候选掌纹区域的区域中心,在候选掌纹区域中采样出多个尺度的掌纹检测区域,在手部图像中裁剪出每一掌纹检测区域对应的初始掌纹检测图像,并将初始掌纹检测图像的图像尺寸调整值同一尺寸,得到每一掌纹检测区域对应的掌纹检测图像。
(3)转换单元303;
转换单元303,用于对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征。
例如,转换单元303,具体可以用于采用快速傅里叶变换(FFT)对掌纹检测图像进行频域转换,从而得到掌纹检测图像对应的频谱信息,采用对象识别模型的频域特征提取网络在频谱信息中提取出频域特征。
(4)融合单元304;
融合单元304,用于在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征。
例如,融合单元304,具体可以用于采用对象识别模型的时域特征提取网络在掌纹检测图像中提取出时域特征,从而得到每一掌纹检测图像的时域特征,将同一掌纹检测图像的时域特征与频域特征进行拼接,得到每一掌纹检测图像的融合特征,将融合特征作为该掌纹检测图像的目标掌纹特征。
(5)识别单元305;
识别单元305,用于基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果。
例如,识别单元305,具体可以用于在目标掌纹特征中提取出待识别对象的对象特征,计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度,基于特征相似度,在候选对象集合中筛选出目标对象,并将目标对象的对象标识作为待识别对象的识别结果。
可选的,对象识别装置还可以包括训练单元306,如图12所示,具体可以如下:
训练单元306,用于对预设对象识别模型进行训练,得到训练后的对象识别模型。
例如,训练单元306,具体可以用于获取训练样本集,该训练样本集包括样本对象集合中每一样本对象对应的多个掌纹检测图像样本,采用预设对象识别模型对掌纹检测图像样本进行特征提取,得到每一掌纹检测图像样本的样本时域特征和样本频域特征,将样本时域特征和样本频域特征进行拼接,得到样本融合特征,并采用预设对象识别模型在样本融合特征中提取出样本对象特征,根据样本时域特征、样本频域特征和样本对象特征,确定预设对象识别模型的对象识别损失,并基于对象识别损失对预设对象识别模型进行收敛,得到对象识别模型。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本实施例在获取单元301获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域后,提取单元302提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,然后,转换单元303对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,融合单元304在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,然后,识别单元305基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果;由于该方案可以在手部图像中裁剪出多个尺度的掌纹检测图像,不仅在掌纹检测图像中提取出时域特征,还可以对掌纹检测图像进行频域转换,并提取出频域特征,从而可以充分利用频域下微小的特征差异来区分高相似度的掌纹,因此,可以提升对象识别的准确率。
本发明实施例还提供一种电子设备,如图13所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图13中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域,提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果。
例如,电子设备可以获取待识别对象的手部图像,在手部图像中检测出多个手部关键点,基于手部关键点的位置,确定手部图像中的候选掌纹中心点,根据候选掌纹中心点的位置,在手部图像中识别出候选掌纹区域。基于区域边长,确定多个不同尺寸的采样区域边长,根据采样区域边长和候选掌纹区域的区域中心,在候选掌纹区域中采样出多个尺度的掌纹检测区域,在手部图像中裁剪出每一掌纹检测区域对应的初始掌纹检测图像,并将初始掌纹检测图像的图像尺寸调整值同一尺寸,得到每一掌纹检测区域对应的掌纹检测图像。采用快速傅里叶变换(FFT)对掌纹检测图像进行频域转换,从而得到掌纹检测图像对应的频谱信息,采用对象识别模型的频域特征提取网络在频谱信息中提取出频域特征。采用对象识别模型的时域特征提取网络在掌纹检测图像中提取出时域特征,从而得到每一掌纹检测图像的时域特征,将同一掌纹检测图像的时域特征与频域特征进行拼接,得到每一掌纹检测图像的融合特征,将融合特征作为该掌纹检测图像的目标掌纹特征。在目标掌纹特征中提取出待识别对象的对象特征,计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度,基于特征相似度,在候选对象集合中筛选出目标对象,并将目标对象的对象标识作为待识别对象的识别结果。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。
由以上可知,本申请实施例在获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域后,提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,然后,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,然后,基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果;由于该方案可以在手部图像中裁剪出多个尺度的掌纹检测图像,不仅在掌纹检测图像中提取出时域特征,还可以对掌纹检测图像进行频域转换,并提取出频域特征,从而可以充分利用频域下微小的特征差异来区分高相似度的掌纹,因此,可以提升对象识别的准确率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种对象识别方法中的步骤。例如,该指令可以执行如下步骤:
获取待识别对象的手部图像,并在手部图像中识别出候选掌纹区域,提取候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,对掌纹检测图像进行频域转换,得到频谱信息,并在频谱信息中提取出频域特征,在掌纹检测图像中提取出时域特征,并将掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征,基于目标掌纹特征对待识别对象进行识别,得到待识别对象的识别结果。
例如,获取待识别对象的手部图像,在手部图像中检测出多个手部关键点,基于手部关键点的位置,确定手部图像中的候选掌纹中心点,根据候选掌纹中心点的位置,在手部图像中识别出候选掌纹区域。基于区域边长,确定多个不同尺寸的采样区域边长,根据采样区域边长和候选掌纹区域的区域中心,在候选掌纹区域中采样出多个尺度的掌纹检测区域,在手部图像中裁剪出每一掌纹检测区域对应的初始掌纹检测图像,并将初始掌纹检测图像的图像尺寸调整值同一尺寸,得到每一掌纹检测区域对应的掌纹检测图像。采用快速傅里叶变换(FFT)对掌纹检测图像进行频域转换,从而得到掌纹检测图像对应的频谱信息,采用对象识别模型的频域特征提取网络在频谱信息中提取出频域特征。采用对象识别模型的时域特征提取网络在掌纹检测图像中提取出时域特征,从而得到每一掌纹检测图像的时域特征,将同一掌纹检测图像的时域特征与频域特征进行拼接,得到每一掌纹检测图像的融合特征,将融合特征作为该掌纹检测图像的目标掌纹特征。在目标掌纹特征中提取出待识别对象的对象特征,计算对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度,基于特征相似度,在候选对象集合中筛选出目标对象,并将目标对象的对象标识作为待识别对象的识别结果。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种对象识别方法中的步骤,因此,可以实现本发明实施例所提供的任一种对象识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述对象识别方面或者掌纹识别方面的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的一种对象识别方法、装置、电子设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (17)
1.一种对象识别方法,其特征在于,包括:
获取待识别对象的手部图像,并在所述手部图像中识别出候选掌纹区域;
提取所述候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像;
对所述掌纹检测图像进行频域转换,得到频谱信息,并在所述频谱信息中提取出频域特征;
在所述掌纹检测图像中提取出时域特征,并将所述掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征;
基于所述目标掌纹特征对所述待识别对象进行识别,得到所述待识别对象的识别结果。
2.根据权利要求1所述的对象识别方法,其特征在于,所述在所述手部图像中识别出候选掌纹区域,包括:
在所述手部图像中检测出多个手部关键点;
基于所述手部关键点的位置,确定所述手部图像中的候选掌纹中心点;
根据所述候选掌纹中心点的位置,在所述手部图像中识别出候选掌纹区域。
3.根据权利要求2所述的对象识别方法,其特征在于,所述基于所述手部关键点的位置,确定所述手部图像中的候选掌纹中心点,包括:
根据所述手部关键点的位置,确定所述手部关键点之间的关键点距离;
基于所述手部关键点的位置,在所述手部图像中构建出局部坐标系;
根据所述关键点距离,在所述局部坐标系中识别出候选掌纹中心点。
4.根据权利要求3所述的对象识别方法,其特征在于,所述手部关键点包括食指指缝关键点、中指指缝关键点和无名指指缝关键点,所述基于所述手部关键点的位置,在所述手部图像中构建出局部坐标系,包括:
基于所述食指指缝关键点的位置和所述无名指指缝关键点的位置,确定所述手部图像中局部坐标系的横坐标轴;
根据所述中指指缝关键点的位置,确定所述手部图像中局部坐标系的纵坐标轴;
基于所述横坐标轴和纵坐标轴,在所述手部图像中构建出局部坐标系。
5.根据权利要求4所述的对象识别方法,其特征在于,所述根据所述关键点距离,在所述局部坐标系中识别出候选掌纹中心点,包括:
在所述手部图像中确定出所述局部坐标系的坐标原点;
在所述关键点距离中筛选出所述食指指缝关键点与所述无名指指缝关键点之间的目标关键点距离;
在所述纵坐标轴的负方向上识别出与所述坐标原点的距离为所述目标关键点距离的位置点,得到候选掌纹中心点。
6.根据权利要求3所述的对象识别方法,其特征在于,所述根据所述候选掌纹中心点的位置,在所述手部图像中识别出候选掌纹区域,包括:
基于所述关键点距离,确定候选掌纹区域的区域边长,并将所述候选掌纹中心点作为所述候选掌纹区域的区域中心;
根据所述区域边长和所述区域中心,在所述手部图像中划分出所述候选掌纹区域。
7.根据权利要求6所述的对象识别方法,其特征在于,所述提取所述候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像,包括:
基于所述区域边长,确定多个不同尺寸的采样区域边长,所述采样区域边长小于等于所述区域边长;
根据所述采样区域边长和所述候选掌纹区域的区域中心,在所述候选掌纹区域中采样出多个尺度的掌纹检测区域;
在所述手部图像中裁剪出每一掌纹检测区域对应的初始掌纹检测图像,并将所述初始掌纹检测图像的图像尺寸调整至同一尺寸,得到每一掌纹检测区域对应的掌纹检测图像。
8.根据权利要求1至7任一项所述的对象识别方法,其特征在于,所述基于所述目标掌纹特征对所述待识别对象进行识别,得到所述待识别对象的识别结果,包括:
在所述目标掌纹特征中提取出所述待识别对象的对象特征;
计算所述对象特征与候选对象集合中每一候选对象的候选对象特征之间的特征相似度;
基于所述特征相似度,在所述候选对象集合中筛选出目标对象,并将所述目标对象的对象标识作为所述待识别对象的识别结果。
9.根据权利要求1至7任一项所述的对象识别方法,其特征在于,所述在所述频谱信息中提取出频域特征,包括:
采用对象识别模型的频域特征提取网络在所述频谱信息中提取出频域特征;
所述在所述掌纹检测图像中提取出时域特征,包括:采用所述对象识别模型的时域特征提取网络在所述掌纹检测图像中提取出时域特征。
10.根据权利要求9所述的对象识别方法,其特征在于,所述采用对象识别模型的频域特征提取网络在所述频谱信息中提取出频域特征之前,还包括:
获取训练样本集,所述训练样本集包括样本对象集合中每一样本对象对应的多个掌纹检测图像样本;
采用预设对象识别模型对所述掌纹检测图像样本进行特征提取,得到每一掌纹检测图像样本的样本时域特征和样本频域特征;
将所述样本时域特征和样本频域特征进行拼接,得到样本融合特征,并采用所述预设对象识别模型在所述样本融合特征中提取出每一样本对象的样本对象特征;
根据所述样本时域特征、样本频域特征和样本对象特征,确定所述预设对象识别模型的对象识别损失,并基于所述对象识别损失对所述预设对象识别模型进行收敛,得到对象识别模型。
11.根据权利要求10所述的对象识别方法,其特征在于,所述根据所述样本时域特征、样本频域特征和样本对象特征,确定所述预设对象识别模型的对象识别损失,包括:
根据所述样本对象特征和预设附加角度裕度,确定所述训练样本集对应的分类损失;
基于所述样本时域特征和所述样本频域特征,确定所述训练样本集对应的类别约束损失;
将所述分类损失和所述类别约束损失进行融合,得到所述预设对象识别模型对应的对象识别损失。
12.根据权利要求11所述的对象识别方法,其特征在于,所述基于所述样本时域特征和所述样本频域特征,确定所述训练样本集对应的类别约束损失,包括:
计算所述样本时域特征之间的特征相似度,得到时域特征相似度,所述时域特征相似度包括同类时域特征相似度和异类时域特征相似度;
计算所述样本频域特征之间的特征相似度,得到频域特征相似度,所述频域特征相似度包括同类频域特征相似度和异类频域特征相似度;
基于所述同类时域特征相似度和同类频域特征相似度,确定所述训练样本集对应的同类约束损失;
根据所述异类时域特征相似度和异类频域特征相似度,确定所述训练样本集对应的异类约束损失;
将所述同类约束损失和所述异类约束损失进行融合,得到所述训练样本集对应的类别约束损失。
13.根据权利要求12所述的对象识别方法,其特征在于,所述计算所述样本频域特征之间的特征相似度,得到频域特征相似度,包括:
计算所述样本频域特征之间的特征相似度,得到初始频域特征相似度;
在所述初始频域特征相似度中筛选出同一对象样本对应的初始频域特征相似度,得到同类频域特征相似度;
在所述初始频域特征相似度中筛选出不同对象样本对应的初始频域特征相似度,得到异类频域特征相似度。
14.根据权利要求12所述的对象识别方法,其特征在于,所述基于所述同类时域特征相似度和同类频域特征相似度,确定所述训练样本集对应的同类约束损失,包括:
计算所述同类时域特征相似度的分布,得到时域分布信息;
计算所述同类频域特征相似度的分布,得到频域分布信息;
确定所述时域分布信息与所述频域分布信息之间的信息散度,并将所述信息散度作为所述训练样本集对应的同类约束损失。
15.一种对象识别装置,其特征在于,包括:
获取单元,用于获取待识别对象的手部图像,并在所述手部图像中识别出候选掌纹区域;
提取单元,用于提取所述候选掌纹区域中多个尺度的掌纹检测区域的图像,以作为掌纹检测图像;
转换单元,用于对所述掌纹检测图像进行频域转换,得到频谱信息,并在所述频谱信息中提取出频域特征;
融合单元,用于在所述掌纹检测图像中提取出时域特征,并将所述掌纹检测图像的时域特征与频域特征进行融合,得到每一掌纹检测图像的目标掌纹特征;
识别单元,用于基于所述目标掌纹特征对所述待识别对象进行识别,得到所述待识别对象的识别结果。
16.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至14任一项所述的对象识别方法中的步骤。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至14任一项所述的对象识别方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310877891.8A CN116612501A (zh) | 2023-07-18 | 2023-07-18 | 对象识别方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310877891.8A CN116612501A (zh) | 2023-07-18 | 2023-07-18 | 对象识别方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116612501A true CN116612501A (zh) | 2023-08-18 |
Family
ID=87675052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310877891.8A Pending CN116612501A (zh) | 2023-07-18 | 2023-07-18 | 对象识别方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116612501A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014142881A (ja) * | 2013-01-25 | 2014-08-07 | Fujitsu Ltd | 画像変換装置、画像変換方法、生体認証装置及び生体認証方法ならびに画像変換用コンピュータプログラム |
CN110688957A (zh) * | 2019-09-27 | 2020-01-14 | 腾讯科技(深圳)有限公司 | 应用于人脸识别的活体检测方法、装置及存储介质 |
CN111191619A (zh) * | 2020-01-02 | 2020-05-22 | 北京百度网讯科技有限公司 | 车道线虚线段的检测方法、装置、设备和可读存储介质 |
US20200342220A1 (en) * | 2017-12-28 | 2020-10-29 | Normee Limited | Personal authentication method and personal authentication device |
CN112927266A (zh) * | 2021-03-01 | 2021-06-08 | 中国科学技术大学 | 基于不确定性引导训练的弱监督时域动作定位方法及系统 |
CN113515988A (zh) * | 2020-07-09 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 掌纹识别方法、特征提取模型训练方法、设备及介质 |
CN115311490A (zh) * | 2022-07-26 | 2022-11-08 | 新疆医科大学第一附属医院 | 一种肝囊型包虫病分类模型及计算机介质 |
CN115512405A (zh) * | 2022-08-16 | 2022-12-23 | 平安科技(深圳)有限公司 | 一种背景图像处理方法、装置、电子设备及存储介质 |
CN115880203A (zh) * | 2021-09-26 | 2023-03-31 | 腾讯科技(深圳)有限公司 | 图像真伪检测方法、图像真伪检测模型训练方法 |
CN116246127A (zh) * | 2023-02-14 | 2023-06-09 | 支付宝(杭州)信息技术有限公司 | 图像模型训练方法、图像处理方法、装置、介质及设备 |
-
2023
- 2023-07-18 CN CN202310877891.8A patent/CN116612501A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014142881A (ja) * | 2013-01-25 | 2014-08-07 | Fujitsu Ltd | 画像変換装置、画像変換方法、生体認証装置及び生体認証方法ならびに画像変換用コンピュータプログラム |
US20200342220A1 (en) * | 2017-12-28 | 2020-10-29 | Normee Limited | Personal authentication method and personal authentication device |
CN110688957A (zh) * | 2019-09-27 | 2020-01-14 | 腾讯科技(深圳)有限公司 | 应用于人脸识别的活体检测方法、装置及存储介质 |
CN111191619A (zh) * | 2020-01-02 | 2020-05-22 | 北京百度网讯科技有限公司 | 车道线虚线段的检测方法、装置、设备和可读存储介质 |
CN113515988A (zh) * | 2020-07-09 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 掌纹识别方法、特征提取模型训练方法、设备及介质 |
CN112927266A (zh) * | 2021-03-01 | 2021-06-08 | 中国科学技术大学 | 基于不确定性引导训练的弱监督时域动作定位方法及系统 |
CN115880203A (zh) * | 2021-09-26 | 2023-03-31 | 腾讯科技(深圳)有限公司 | 图像真伪检测方法、图像真伪检测模型训练方法 |
CN115311490A (zh) * | 2022-07-26 | 2022-11-08 | 新疆医科大学第一附属医院 | 一种肝囊型包虫病分类模型及计算机介质 |
CN115512405A (zh) * | 2022-08-16 | 2022-12-23 | 平安科技(深圳)有限公司 | 一种背景图像处理方法、装置、电子设备及存储介质 |
CN116246127A (zh) * | 2023-02-14 | 2023-06-09 | 支付宝(杭州)信息技术有限公司 | 图像模型训练方法、图像处理方法、装置、介质及设备 |
Non-Patent Citations (1)
Title |
---|
曹毅 等: "基于新型损失函数 DV-Softmax的声纹识别方法", 《吉林大学学报(工学版)》网络首发论文, pages 1 - 8 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108280477B (zh) | 用于聚类图像的方法和装置 | |
WO2019119505A1 (zh) | 人脸识别的方法和装置、计算机装置及存储介质 | |
CN112131978B (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
CN105426356B (zh) | 一种目标信息识别方法和装置 | |
CN108304835A (zh) | 文字检测方法和装置 | |
CN110598019B (zh) | 重复图像识别方法及装置 | |
CN110490238A (zh) | 一种图像处理方法、装置及存储介质 | |
CN111897962A (zh) | 一种物联网资产标记方法及装置 | |
CN110941978B (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
CN111177367A (zh) | 案件分类方法、分类模型训练方法及相关产品 | |
CN116226785A (zh) | 目标对象识别方法、多模态识别模型的训练方法和装置 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN112580108A (zh) | 签名和印章完整性验证方法及计算机设备 | |
KR101093107B1 (ko) | 영상정보 분류방법 및 장치 | |
CN113762049B (zh) | 内容识别方法、装置、存储介质和终端设备 | |
CN117058723B (zh) | 掌纹识别方法、装置及存储介质 | |
CN114329004A (zh) | 数字指纹生成、数据推送方法、装置和存储介质 | |
CN115878750A (zh) | 信息处理方法、装置、设备及计算机可读存储介质 | |
CN116151965B (zh) | 一种风险特征提取方法、装置、电子设备及存储介质 | |
CN113705310A (zh) | 特征学习的方法、目标物体的识别方法和对应装置 | |
CN116366312A (zh) | 一种Web攻击检测方法、装置及存储介质 | |
CN113824989B (zh) | 一种视频处理方法、装置和计算机可读存储介质 | |
CN116612501A (zh) | 对象识别方法、装置、电子设备和计算机可读存储介质 | |
CN114332599A (zh) | 图像识别方法、装置、计算机设备、存储介质和产品 | |
CN117173731B (zh) | 一种模型训练的方法、图像处理的方法以及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40091916 Country of ref document: HK |