CN113515988B - 掌纹识别方法、特征提取模型训练方法、设备及介质 - Google Patents
掌纹识别方法、特征提取模型训练方法、设备及介质 Download PDFInfo
- Publication number
- CN113515988B CN113515988B CN202010659354.2A CN202010659354A CN113515988B CN 113515988 B CN113515988 B CN 113515988B CN 202010659354 A CN202010659354 A CN 202010659354A CN 113515988 B CN113515988 B CN 113515988B
- Authority
- CN
- China
- Prior art keywords
- palm
- target
- sample
- similarity
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 382
- 238000012549 training Methods 0.000 title claims abstract description 229
- 238000000034 method Methods 0.000 title claims abstract description 144
- 238000012546 transfer Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 210000003811 finger Anatomy 0.000 description 34
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 17
- 238000012795 verification Methods 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000004080 punching Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 210000004932 little finger Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请实施例公开了一种掌纹识别方法、特征提取模型训练方法、设备及介质,属于计算机技术领域。该方法包括:获取目标手部图像,对目标手部图像进行手掌提取,得到目标手部图像的目标手掌图像,调用特征提取模型,对目标手掌图像进行特征提取,得到目标掌纹特征,根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对目标掌纹特征进行识别处理,确定目标掌纹特征的目标用户标识。通过从手部图像中提取到手掌图像,减少了手部图像中对掌纹特征的影响因素,提高了掌纹特征的准确性,训练该特征提取模型时采用的样本手部图像通过不同类型的设备采集得到,应用范围广,提高了得到的掌纹特征的准确性,从而提高了用户标识的准确性。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种掌纹识别方法、特征提取模型训练方法、设备及介质。
背景技术
随着计算机技术的发展,掌纹识别技术应用越来越广泛。由于用户手掌中的掌纹是一种生物特征,具有唯一性,可以通过用户的掌纹对用户进行身份验证。
相关技术中提供了一种掌纹识别方法,获取待验证的手部图像,对手部图像进行编码,得到该手部图像的图像特征,该图像特征即可包含掌纹特征,则调用特征识别模型对该图像特征进行识别,确定该手部图像的用户标识。上述方法对手部图像的质量要求高,应用范围窄,且编码得到的图像特征的准确性差,导致确定的用户标识的准确性差。
发明内容
本申请实施例提供了一种掌纹识别方法、特征提取模型训练方法、设备及介质,能够提高确定的用户标识的准确性。所述技术方案如下:
一方面,提供了一种掌纹识别方法,所述方法包括:
获取目标手部图像,所述目标手部图像包含手掌;
对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像;
调用特征提取模型,对所述目标手掌图像进行特征提取,得到目标掌纹特征,所述特征提取模型是根据多个样本用户标识的样本掌纹特征进行训练得到的,每个样本用户标识具有多个样本掌纹特征,所述多个样本掌纹特征是通过对应的样本用户标识的多个样本手部图像分别进行特征提取得到的,同一个样本用户标识的多个样本手部图像是通过不同类型的设备采集到的;
根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对所述目标掌纹特征进行识别处理,确定所述目标掌纹特征的目标用户标识。
在一种可能实现方式中,所述对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像,包括:
对所述目标手部图像进行手掌关键点检测,得到所述目标手部图像中的至少一个手掌关键点;
根据所述至少一个手掌关键点,确定所述目标手部图像中所述手掌所处的目标区域;
对所述目标手部图像的目标区域进行手掌提取,得到所述目标手掌图像。
在另一种可能实现方式中,所述至少一个手掌关键点包括第一手掌关键点、第二手掌关键点和第三手掌关键点,所述第二手掌关键点位于所述第一手掌关键点与所述第三手掌关键点之间;
所述根据所述至少一个手掌关键点,确定所述目标手部图像中所述手掌所处的目标区域,包括:
将所述第一手掌关键点与所述第三手掌关键点之间的距离与第三预设数值的乘积,作为第一距离;
确定第四手掌关键点,所述第四手掌关键点与所述第二手掌关键点之间的距离等于所述第一距离,所述第一手掌关键点及所述第三手掌关键点构成的直线,与所述第二手掌关键点及所述第四手掌关键点构成的直线垂直;
将所述第一手掌关键点与所述第三手掌关键点之间的距离与第四预设数值的乘积,作为第二距离;
以所述第四手掌关键点为目标区域的中心,以所述第二距离为目标区域的边长,确定正方形的目标区域;或者,
以所述第四手掌关键点为目标区域的中心,以所述第二距离为目标区域的半径,确定圆形的目标区域。
在另一种可能实现方式中,所述根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对所述目标掌纹特征进行识别处理,确定所述目标掌纹特征的目标用户标识,包括:
根据所述目标掌纹特征与所述每个预设掌纹特征之间的相似度,将所述多个预设掌纹特征中,与所述目标掌纹特征的相似度最大的预设掌纹特征,识别为相似掌纹特征;
将所述相似掌纹特征对应的用户标识,确定为所述目标用户标识。
在另一种可能实现方式中,所述获取目标手部图像,包括:
响应于资源转移请求,采集所述目标手部图像;
所述确定所述目标手部图像的目标用户标识之后,所述方法还包括:
基于所述资源转移请求,对所述目标用户标识的资源进行转移。
另一方面,提供了一种特征提取模型训练方法,其特征在于,所述方法包括:
获取多个样本用户标识的样本手部图像,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到;
对每个样本手部图像进行手掌提取,得到所述多个样本用户标识的样本手掌图像;
调用特征提取模型,对所述每个样本手掌图像进行特征提取,得到所述每个样本手掌图像的样本掌纹特征;
根据所述多个样本用户标识的样本掌纹特征,对所述特征提取模型进行训练。
另一方面,提供了一种掌纹识别装置,所述装置包括:
图像获取模块,用于获取目标手部图像,所述目标手部图像包含手掌;
手掌提取模块,用于对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像;
特征提取模块,用于调用特征提取模型,对所述目标手掌图像进行特征提取,得到目标掌纹特征,所述特征提取模型是根据多个样本用户标识的样本掌纹特征进行训练得到的,每个样本用户标识具有多个样本掌纹特征,所述多个样本掌纹特征是通过对应的样本用户标识的多个样本手部图像分别进行特征提取得到的,同一个样本用户标识的多个样本手部图像是通过不同类型的设备采集到的;
识别处理模块,用于根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对所述目标掌纹特征进行识别处理,确定所述目标掌纹特征的目标用户标识。
在一种可能实现方式中,所述装置还包括:
所述图像获取模块,还用于获取所述多个样本用户标识的样本手部图像;
所述手掌提取模块,还用于对每个样本手部图像进行手掌提取,得到所述多个样本用户标识的样本手掌图像;
所述特征提取模块,还用于调用所述特征提取模型,对所述每个样本手掌图像进行特征提取,得到所述每个样本手掌图像的样本掌纹特征;
损失值确定模块,用于根据所述多个样本用户标识的样本掌纹特征,确定所述特征提取模型的损失值;
模型训练模块,用于根据所述损失值,对所述特征提取模型进行训练。
在另一种可能实现方式中,所述装置还包括:
组合生成模块,用于根据所述多个样本用户标识的样本手掌图像,生成多个正样本图像组合和多个负样本图像组合,所述正样本图像组合包括属于同一样本用户标识的两个样本手掌图像,所述负样本图像组合包括分别属于不同样本用户标识的两个样本手掌图像;
所述损失值确定模块,包括:
相似度获取单元,用于根据得到的多个样本手掌图像的样本掌纹特征,获取每个正样本图像组合的相似度及每个负样本图像组合的相似度,所述正样本图像组合的相似度表示所述正样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度,所述负样本图像组合的相似度表示所述负样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度;
第一损失值确定单元,用于根据所述多个正样本图像组合的相似度及所述多个负样本图像组合的相似度,确定所述特征提取模型的损失值。
在另一种可能实现方式中,所述第一损失值确定单元,用于对所述多个正样本图像组合的相似度进行统计,得到所述多个正样本图像组合对应的第一统计值;对所述多个负样本图像组合的相似度进行统计,得到所述多个负样本图像组合对应的第二统计值;将所述第二统计值与所述第一统计值之间的差值,确定为所述特征提取模型的第一损失值。
在另一种可能实现方式中,所述第一损失值确定单元,用于根据所述多个正样本图像组合的相似度,确定第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况;对所述多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值,将所述原始统计值增加第一预设数值,得到所述多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值。
在另一种可能实现方式中,所述第一损失值确定单元,用于根据当前训练轮次的多个正样本图像组合的相似度,确定第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值;将上一个训练轮次的多个正样本图像组合对应的目标统计值增加第一预设数值,得到所述当前训练轮次的多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值。
在另一种可能实现方式中,所述第一损失值确定单元,用于根据所述多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况;对所述多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值,将所述原始统计值减少第一预设数值,得到所述多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值。
在另一种可能实现方式中,所述第一损失值确定单元,用于根据当前训练轮次的多个负样本图像组合的相似度,确定第一分布关系数据,所述第一分布关系数据表示所述多个负样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值;将上一个训练轮次的多个负样本图像组合对应的目标统计值减少第一预设数值,得到所述当前训练轮次的多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值。
在另一种可能实现方式中,所述损失值确定模块,包括:
特征分类单元,用于对所述每个样本手掌图像的样本掌纹特征进行分类,得到所述每个样本手掌图像的预测用户标识;
第二损失值确定单元,用于根据多个样本手掌图像的预测用户标识与所述多个样本手掌图像的样本用户标识之间的差异,确定所述特征提取模型的第四损失值。
在另一种可能实现方式中,所述手掌提取模块,还用于调用手掌提取模型,对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像。
在另一种可能实现方式中,所述手掌提取模块,包括:
关键点检测单元,用于对所述目标手部图像进行手掌关键点检测,得到所述目标手部图像中的至少一个手掌关键点;
区域确定单元,用于根据所述至少一个手掌关键点,确定所述目标手部图像中所述手掌所处的目标区域;
手掌提取单元,用于对所述目标手部图像的目标区域进行手掌提取,得到所述目标手掌图像。
在另一种可能实现方式中,所述至少一个手掌关键点包括第一手掌关键点、第二手掌关键点和第三手掌关键点,所述第二手掌关键点位于所述第一手掌关键点与所述第三手掌关键点之间;
所述区域确定单元,用于将所述第一手掌关键点与所述第三手掌关键点之间的距离与第三预设数值的乘积,作为第一距离;确定第四手掌关键点,所述第四手掌关键点与所述第二手掌关键点之间的距离等于所述第一距离,所述第一手掌关键点及所述第三手掌关键点构成的直线,与所述第二手掌关键点及所述第四手掌关键点构成的直线垂直;将所述第一手掌关键点与所述第三手掌关键点之间的距离与第四预设数值的乘积,作为第二距离;以所述第四手掌关键点为目标区域的中心,以所述第二距离为目标区域的边长,确定正方形的目标区域;或者,以所述第四手掌关键点为目标区域的中心,以所述第二距离为目标区域的半径,确定圆形的目标区域。
在另一种可能实现方式中,所述识别处理模块,包括:
特征识别单元,用于根据所述目标掌纹特征与所述每个预设掌纹特征之间的相似度,将所述多个预设掌纹特征中,与所述目标掌纹特征的相似度最大的预设掌纹特征,识别为相似掌纹特征;
用户标识确定单元,用于将所述相似掌纹特征对应的用户标识,确定为所述目标用户标识。
在另一种可能实现方式中,所述图像获取模块,包括:
图像获取单元,用于响应于资源转移请求,采集所述目标手部图像;
所述装置还包括:
资源转移模型,用于基于所述资源转移请求,对所述目标用户标识的资源进行转移。
另一方面,提供了一种特征提取模型训练装置,其特征在于,所述装置包括:
图像获取模块,用于获取多个样本用户标识的样本手部图像,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到;
手掌提取模块,用于对每个样本手部图像进行手掌提取,得到所述多个样本用户标识的样本手掌图像;
特征提取模块,用于调用特征提取模型,对所述每个样本手掌图像进行特征提取,得到所述每个样本手掌图像的样本掌纹特征;
模型训练模块,用于根据所述多个样本用户标识的样本掌纹特征,对所述特征提取模型进行训练。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如上述方面所述的掌纹识别方法,或者,以实现如上述方面所述的特征提取模型训练方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如上述方面所述的掌纹识别方法,或者,以实现如上述方面所述的特征提取模型训练方法。
再一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括至少一条指令,该至少一条指令存储在计算机可读存储介质中,该至少一条指令由处理器加载并执行,以实现上述实施例的掌纹识别方法或特征提取模型训练方法,或者,以实现上述实施例的特征提取模型训练方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例提供的方法、设备及介质,通过从获取到的手部图像中提取到手掌图像,减少了手部图像中对掌纹特征的影响因素,突出了手部图像的手掌,以使特征提取模型能够准确地提取到手掌图像中的掌纹特征,提高了掌纹特征的准确性,从而能够根据得到掌纹特征精准地确定对应的用户标识,提高了得到的用户标识的准确性。并且,训练该特征提取模型时采用的样本手部图像通过不同类型的设备采集得到,使得该特征提取模型能够适应多种类型的设备采集到的手部图像,应用范围广,且训练后的该特征提取模型能够准确地对多种类型的设备拍摄的手部图像进行特征提取,提高了特征提取模型的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的结构示意图;
图2是本申请实施例提供的一种掌纹识别方法的流程图;
图3是本申请实施例提供的一种掌纹识别方法的流程图;
图4是本申请实施例提供的一种手掌关键点所处位置的示意图;
图5是本申请实施例提供的一种手掌关键点所处位置的示意图;
图6是本申请实施例提供的一种掌纹识别方法的流程图;
图7是本申请实施例提供的一种跨设备支付的流程图;
图8是本申请实施例提供的一种跨设备身份验证的流程图;
图9是本申请实施例提供的一种获取识别结果的流程图;
图10是本申请实施例提供的一种模型训练方法的流程图;
图11是本申请实施例提供的一种手部图像和手掌图像的示意图;
图12是本申请实施例提供的一种不同类型设备的手掌图像的示意图;
图13是本申请实施例提供的一种正样本图像组和负样本图像组的相似度均值之间的距离的示意图;
图14是本申请实施例提供的一种模型训练方法的流程图;
图15是本申请实施例提供的一种模型训练方法的流程图;
图16是本申请实施例提供的一种不同损失函数对应的第一分布关系数据的示意图;
图17是本申请实施例提供的一种掌纹特征分布的示意图;
图18是本申请实施例提供的一种分布关系数据的示意图;
图19是本申请实施例提供的一种分布关系数据的示意图;
图20是本申请实施例提供的一种分布关系数据的示意图;
图21是本申请实施例提供的一种模型训练方法的流程图;
图22是本申请实施例提供的一种表示权重参数与准确率之间关系的示意图;
图23是本申请实施例提供的一种掌纹识别装置的结构示意图;
图24是本申请实施例提供的一种掌纹识别装置的结构示意图;
图25是本申请实施例提供的一种模型训练装置的结构示意图;
图26是本申请实施例提供的一种终端的结构示意图;
图27是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”、“第三”、“第四”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一预设数值称为第二预设数值,且类似地,可将第二预设数值称为第一预设数值。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个手掌图像包括3个手掌图像,而每个是指这3个手掌图像中的每一个手掌图像,任一是指这3个手掌图像中的任意一个手掌图像,可以是第一个手掌图像,可以是第二个手掌图像、也可以是第三个手掌图像。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实与地图构建等技术,还包括常见的人脸识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
本申请实施例提供的方案,基于人工智能的机器学习技术,可以训练手掌提取模型和特征提取模型。之后,利用训练后的手掌提取模型和特征提取模型,获取手部图像的掌纹特征,后续可以根据得到的掌纹特征确定用户标识,从而识别该手部图像所属用户的身份。
本申请实施例提供的掌纹识别方法,可以用于计算机设备中,该计算机设备包括终端或服务器。该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
图1是本申请实施例提供的一种实施环境的结构示意图,如图1所示,该实施环境包括终端101和服务器102。终端101与服务器102建立通信连接,通过建立的通信连接进行交互。
终端101获取目标手部图像,将该目标手部图像发送至服务器102,该服务器102接收到该目标手部图像后,对目标手部图像进行手掌提取,得到目标手部图像的目标手掌图像,调用特征提取模型,对目标手掌图像进行特征提取,得到目标掌纹特征,根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对目标掌纹特征进行识别处理,确定目标掌纹特征的目标用户标识,将该目标用户标识发送至该终端101。
本申请实施例提供的方法,可用于身份验证的场景下。
例如,智能支付场景下:
商户的终端通过拍摄用户的手掌,获取到该用户的手部图像,采用本申请实施例提供的掌纹识别方法,确定该手部图像的目标用户标识,将该目标用户标识对应的资源账户中的部分资源,转入到商户资源账户中,实现通过手掌自动支付。
又如,跨设备支付场景下:
用户可以在家或其他私密空间使用个人手机完成身份注册,将该用户的账号与该用户的掌纹特征进行绑定,之后可以到店内设备上对该用户的掌纹特征进行识别,确定该用户的账号,通过该账号直接支付。
再例如,上班打卡场景下:
终端通过拍摄用户的手掌,获取到该用户的手部图像,采用本申请实施例提供的掌纹识别方法,确定该手部图像的目标用户标识,为该目标用户标识建立打卡标记,确定该目标用户标识在当前时间已完成上班打卡。
图2是本申请实施例提供的一种掌纹识别方法的流程图,应用于计算机设备中,如图2所示,该方法包括:
201、计算机设备获取目标手部图像。
其中,目标手部图像为待确定用户标识的手部图像,该目标手部图像中包含手掌,该手掌为待验证身份的用户的手掌,该目标手部图像还可以包含其他的信息,如用户的手指、拍摄用户手掌时所处的场景等。该目标手部图像可以是由该计算机设备对待验证身份的用户的手掌进行拍摄得到的,也可以是由其他设备发送的。例如,计算机设备为商店支付设备,商店支付设备通过摄像头拍摄用户的手掌,得到该目标手部图像;或者,计算机设备为掌纹识别服务器,商店支付设备拍摄到目标手部图像后,将该目标手部图像发送至该掌纹识别服务器。
202、计算机设备对目标手部图像进行手掌提取,得到目标手部图像的目标手掌图像。
其中,该目标手掌图像中仅包括该目标手部图像中的手掌,可以为该目标手部图像的局部图像。
由于计算机设备获取到的目标手部图像中除了包括手掌外,还会包括其他的信息,如用户的手指、拍摄的场景等。因此,通过该手掌提取模型进行手掌提取,使得到目标手部图像的目标手掌图像中仅包括手掌,避免了目标手部图像中其他信息的影响,突出了目标手掌图像中的手掌,提高后续得到的掌纹特征的准确性。
203、计算机设备调用特征提取模型,对目标手掌图像进行特征提取,得到目标掌纹特征。
其中,目标掌纹特征用于表示手掌图像中包括的手掌的特征,该目标掌纹特征可以用向量表示,也可以用其他形式表示。由于不同的用户的手掌中的掌纹不同,掌纹具有唯一性,则不同用户手掌的掌纹特征不同。
该特征提取模型是用于提取手掌图像的掌纹特征的模型,该特征提取模型是通过多个样本手部图像进行训练得到的。在训练该特征提取模型时,获取多个样本用户标识的样本手部图像,通过调用特征提取模型,对多个样本手部图像进行特征提取得到多个样本掌纹特征,根据多个样本用户标识的样本掌纹特征对该特征提取模型进行训练,从而得到训练完成的特征提取模型。其中,每个样本用户标识具有多个样本掌纹特征,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到。
由于不同类型的设备采集到的样本手部图像的质量不同,可能包括清晰度高的手部图像,也可能包括清晰度低的手部图像,因此,通过根据不同类型的设备采集到的样本手部图像,对特征提取模型进行训练,使训练后的特征提取模型,可以对不同类型的设备采集到的手部图像进行特征提取,应用范围广,提高了得到掌纹特征的准确性,后续提高了确定的用户标识的准确性。
通过调用该特征提取模型,对目标手掌图像进行特征提取,可以得到该目标手掌图像中包括的手掌的目标掌纹特征,后续便于确定目标手掌图像对应的用户标识。
204、计算机设备根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对目标掌纹特征进行识别处理,确定目标掌纹特征的目标用户标识。
其中,预设掌纹特征为存储的用户标识的手掌的掌纹特征。每个预设掌纹特征具有对应的用户标识,表示该预设掌纹特征属于该用户标识,是该用户的手掌的掌纹特征。该用户标识可以为任意的用户标识,如,该用户标识为支付应用中注册的用户标识,或该用户标识为企业中登记的用户标识。
在本申请实施例中,计算机设备中包括预设数据库,该预设数据库中包括多个预设掌纹特征,及每个预设掌纹特征对应的用户标识。在该预设数据库中,预设掌纹特征与用户标识可以是一一对应,也可以是一个用户标识对应至少两个预设掌纹特征。
例如,多个用户在支付应用中进行注册,通过将每个用户的掌纹特征与对应的用户标识进行绑定,将多个用户的掌纹特征与对应的用户标识对应存储于数据库中,后续用户使用支付应用时,通过获取的目标手掌特征及数据库中的预设掌纹特征,来确定目标用户标识,实现对用户的身份验证。
本申请实施例提供的方法,通过从获取到的手部图像中提取到手掌图像,减少了手部图像中对掌纹特征的影响因素,突出了手部图像的手掌,以使特征提取模型能够准确地提取到手掌图像中的掌纹特征,提高了掌纹特征的准确性,从而能够根据得到掌纹特征精准地确定对应的用户标识,提高了得到的用户标识的准确性。并且,训练该特征提取模型时采用的样本手部图像通过不同类型的设备采集得到,使得该特征提取模型能够适应多种类型的设备采集到的手部图像,应用范围广,且训练后的该特征提取模型能够准确地对多种类型的设备拍摄的手部图像进行特征提取,提高了特征提取模型的鲁棒性。
图3是本申请实施例提供的一种掌纹识别方法的流程图,应用于计算机设备中,如图3所示,该方法包括:
301、计算机设备获取目标手部图像。
在一种可能实现方式中,该步骤301可以包括:计算机设备对用户的手掌进行拍摄,得到目标手部图像。其中,该目标手部图像中包含该手掌,该手掌可以为用户的左手掌,也可以为用户的右手掌。例如,该计算机设备为物联网设备,该物联网设备通过摄像头拍摄用户的左手掌,得到该目标手部图像,该物联网设备可以为掌纹支付终端、商家支付终端等。再例如,用户在商店购物进行交易时,用户将手掌伸向商店支付终端的摄像头,该商店支付终端通过该设备头拍摄该用户的手掌,得到该目标手部图像。
在另一种可能实现方式中,该步骤301可以包括:计算机设备与其他设备建立通信连接,通过该通信连接,接收其他设备发送的目标手部图像。例如,该计算机设备为支付应用服务器,其他设备可以为支付终端,支付终端拍摄用户的手掌,得到目标手部图像后,通过该支付终端与支付应用服务器之间的通信连接,将该目标手部图像发送至支付应用服务器,以使该支付应用服务器能够确定该目标手部图像的用户标识。
302、计算机设备对目标手部图像进行手掌关键点检测,得到目标手部图像中的至少一个手掌关键点。
其中,手掌关键点可以为手掌的任一点,如,手掌关键点为食指与中指之间的指缝关键点,或者手掌关键点为中指与无名指之间的指缝关键点,或者手掌关键点为无名指与小指之间的指缝关键点。
由于手掌可能存在于该目标手部图像中的任一区域,为了能够确定手掌在该目标手部图像中的位置,通过对该目标手部图像进行手掌关键点检测,从而得到目标手部图像的至少一个手掌关键点,以便后续能够根据该至少一个手掌关键点,确定手掌所处的区域。
在一种可能实现方式中,该步骤302可以包括:对该目标手部图像进行手掌关键点检测,得到该目标手部图像中至少一个手掌关键点的坐标。
例如,在该目标手部图像中,以该目标手部图像的左上角为原点,建立坐标系,或者,以该目标手部图像的中心点为原点,建立坐标系,则在检测到至少一个手掌关键点后,即可确定该至少一个手掌关键点在坐标系中的坐标。
303、计算机设备根据至少一个手掌关键点,确定目标手部图像中手掌所处的目标区域。
其中,该目标区域是目标手部图像中包括手掌的区域,该目标区域可以是圆形区域,也可以是正方形区域。由于手掌关键点为手掌中的点,则通过确定的至少一个手掌关键点,即可确定出手掌在目标手部图像中所处的目标区域,后续可以通过该目标区域提取到手掌图像。
在一种可能实现方式中,该至少一个手掌关键点包括第一手掌关键点、第二手掌关键点和第三手掌关键点,该第二手掌关键点位于该第一手掌关键点与该第三手掌关键点之间;该第一手掌关键点、第二手掌关键点和第三手掌关键点在手掌中的分布位置,如图4所示。则该步骤303可以包括以下步骤3031-3035:
3031、计算机设备将第一手掌关键点与第三手掌关键点之间的距离与第三预设数值的乘积,作为第一距离。
在本申请实施例中,第四手掌关键点可以作为手掌的中心点,综合了一般人的手掌中第一手掌关键点、第二手掌关键点、第三手掌关键点及第四手掌关键点的相对位置,通常第四手掌关键点与第二手掌关键点在一条直线上,且第四手掌关键点与第二手掌关键点构成的直线,与第一手掌关键点与第三手掌关键点构成的直线垂直。例如,第一手掌关键点为食指与中指的指缝关键点,第二手掌关键点为中指与无名指的指缝关键点,第三关键点为无名指与小指的指缝关键点,第四手掌关键点为手掌中心点,一般人的手掌中,食指与中指的指缝关键点、无名指与小指的指缝关键点所构成的直线,与中指与无名指的指缝关键点、手掌中心点所构成的直线垂直。且综合了一般人的第一手掌关键点与第三手掌关键点之间的距离,与第四手掌关键点与第二手掌关键点之间的距离的比例,来估计出了第三预设数值,即在一般人的手掌中,第一手掌关键点与第三手掌关键点之间的距离及第二手掌关键点与第四手掌关键点之间的第一距离之间存在比例关系,则在确定第一手掌关键点与第三手掌关键点之间的距离后,根据存在的比例关系,即可确定出第二手掌关键点与第四手掌关键点之间的第一距离,后续在在检测到第一手掌关键点、第二手掌关键点及第三手掌关键点后,可以确定出手掌的中心点即第四手掌关键点。
其中,第三预设数值可以为任意设置的数值,如1.5或者2等。计算机设备在确定目标手部图像中的第一手掌关键点和第三手掌关键点后,可以确定出该第一手掌关键点与第三手掌关键点之间的距离,将该距离与第三预设数值的乘积,作为第一距离,该第一距离表示第二手掌关键点与第四手掌关键点之间的距离,后续可以通过第一距离确定第四手掌关键点。
在一种可能实现方式中,该步骤3031可以包括:根据第一手掌关键点的坐标及第三手掌关键点的坐标,确定第一手掌关键点与第三手掌关键点之间的距离,将该距离与第三预设数值的乘积,作为第一距离。
计算机设备通过对目标手部图像进行关键点检测时,可以确定出每个手掌关键点在该目标手部图像中的坐标,因此通过该第一手掌关键点的坐标与第三手掌关键点的坐标,可以确定出该第一手掌关键点与该第三手掌关键点之间的距离。
3032、计算机设备确定第四手掌关键点。
其中,第四手掌关键点用于表示手掌的中心点,第四手掌关键点与第二手掌关键点之间的距离等于第一距离,且第一手掌关键点及第三手掌关键点构成的直线,与第二手掌关键点及第四手掌关键点构成的直线垂直。
例如,在确定第四手掌关键点时,以第一手掌关键点及第三手掌关键点构成的直线作为坐标轴的X轴,以通过该第二手掌关键点、且与X轴垂直的直线作为坐标轴的Y轴,将由第一手掌关键点指向第三手掌关键点的第一方向作为该X轴的正方向,以第一方向逆时针旋转90度,得到第二方向,将该第二方向作为该Y轴的正方向。则沿着该Y轴负方向,将与该第二手掌关键点间隔第一距离的手掌关键点,作为该第四手掌关键点。第一手掌关键点、第二手掌关键点、第三手掌关键点、第四手掌关键点及坐标轴的位置关系,如图5所示。
例如,第一手掌关键点为食指与中指之间的指缝关键点,第二手掌关键点为中指与无名指之间的指缝关键点,第三手掌关键点为无名指与小指之间的指缝关键点,通过第一手掌关键点、第二手掌关键点及第三手掌关键点,确定的第四手掌关键点为手掌的中心点。
3033、计算机设备将第一手掌关键点与第三手掌关键点之间的距离与第四预设数值的乘积,作为第二距离,之后执行步骤3034或步骤3035。
在本申请实施例中,综合了一般人的第一手掌关键点与第三手掌关键点之间的距离,与手掌的尺寸之间的比例,来估计出了第四预设数值。后续通过第一手掌关键点与第三手掌关键点之间的距离,及第四预设数值,可以确定出手掌所处的区域的尺寸。
其中,第四预设数值可以是任意数值,如1.2、六分之七等。计算机设备在确定目标手部图像中的第一手掌关键点和第三手掌关键点后,可以确定出该第一手掌关键点与第三手掌关键点之间的距离,将该距离与第四预设数值的乘积,作为第二距离,后续可以通过第二距离确定目标区域。
3034、计算机设备以第四手掌关键点为目标区域的中心,以第二距离为目标区域的边长,确定正方形的目标区域。
通过以第四手掌关键点为中心,以第二距离为边长,可以得到目标手部图像中正方形的目标区域。为了保证获取到的目标区域的准确性,该正方形的目标区域的任一边,与第一手掌关键点及第三手掌关键点构成的直线平行,从而保证了该目标区域能够包括的手掌的完整性,提高了后续得到的目标掌纹特征的准确性。
3035、计算机设备以第四手掌关键点为目标区域的中心,以第二距离为目标区域的半径,确定圆形的目标区域。
通过以第四手掌关键点为目标区域的中心,以第二距离为目标区域的半径,即可确定圆形区域,将该圆形区域作为该目标区域。
304、计算机设备对目标手部图像的目标区域进行手掌提取,得到目标手掌图像。
由于该目标区域为手掌所处的区域,该目标区域中包括该手掌的掌纹,则通过对该目标区域进行手掌提取,可以得到包括该手掌的手掌图像。在对目标区域进行手掌提取时,可以对目标手部图像的目标区域进行裁剪,得到该目标手掌图像。
需要说明的是,本申请实施例是以通过确定手掌所处的目标区域,获取目标手掌图像进行说明的,而在另一实施例中无需执行步骤302-304,可以直接对目标手部图像进行手掌提取,得到目标手部图像的目标手掌图像。
305、计算机设备调用特征提取模型,对目标手掌图像进行特征提取,得到目标掌纹特征。
由于目标手掌图像中包括手掌的掌纹,则通过调用特征提取模型对该目标手掌图像进行特征提取,可以得到该目标手掌图像中的手掌的掌纹特征,也即是该目标手部图像中的手掌的掌纹特征。该掌纹特征可以包括多个特征维度,如512维的掌纹特征。
306、计算机设备根据目标掌纹特征与每个预设掌纹特征之间的相似度,将多个预设掌纹特征中,与目标掌纹特征的相似度最大的预设掌纹特征,识别为相似掌纹特征。
其中,目标掌纹特征与预设掌纹特征之间的相似度,用于表示该目标掌纹特征与该预设掌纹特征之间的相似程度,相似度越高,则目标掌纹特征与预设掌纹特征属于同一个用户的可能性越大,相似度越低,则目标掌纹特征与预设掌纹特征属于同一个用户的可能性越小。
在获取到目标掌纹特征后,确定该目标掌纹特征与每个预设掌纹特征之间的相似度,则得到多个相似度,从确定的多个相似度中,选取最大的相似度,将该最大相似度对应的预设掌纹特征,识别为相似掌纹特征,即可认为该相似掌纹特征与目标掌纹特征属于同一个用户标识。其中,在确定目标掌纹特征与预设掌纹特征之间的相似度时,可以采用余弦相似度、欧氏距离等。
由于计算机设备中存储有多个预设掌纹特征,该多个预设掌纹特征可以为多个用户标识注册的掌纹特征,则通过确定待识别的目标掌纹特征与每个预设掌纹特征之间的相似度,可以确定出计算机设备中存储的多个预设掌纹特征与该目标掌纹特征属于同一个用户标识的可能性,从而得到与目标用户标识最相似的相似掌纹特征。
另外,当计算机设备为终端时,该多个预设掌纹特征可以是由服务器下发至该终端的,该终端将多个预设掌纹特征进行存储。当该计算机设备为服务器时,该多个预设掌纹特征可以是该服务器对多个终端发送的手部图像进行掌纹提取得到的,也可以是接收到多个终端发送的预设掌纹特征,服务器对该多个预设掌纹特征进行存储。
例如,当该计算机设备为终端时,多个用户进行掌纹注册时,通过用户终端,将手部图像及对应的用户标识发送至服务器,由服务器对多个手部图像进行掌纹提取,得到多个用户的掌纹特征,将多个用户的掌纹特征及对应的用户标识下发至终端,该终端对该多个掌纹特征及对应的用户标识进行对应存储。或者,当该计算机设备为服务器时,多个用户进行掌纹注册时,通过用户终端,将手部图像及对应的用户标识发送至服务器,由服务器对多个手部图像进行掌纹提取,得到多个用户的掌纹特征,服务器将该多个掌纹特征及对应的用户标识进行对应存储。或者,当该计算机设备为服务器时,多个用户进行掌纹注册时,通过用户终端对获取到的手部图像进行掌纹提取,得到对应的掌纹特征,通过用户终端,将对应的掌纹特征发送至服务器,服务器将接收到的多个掌纹特征与对应的用户标识进行对应存储。
307、计算机设备将相似掌纹特征对应的用户标识,确定为目标掌纹特征的目标用户标识。
由于计算机设备中存储有多个预设掌纹特征及每个预设掌纹特征的用户标识,因此,计算机设备从多个预设掌纹特征中,选出该相似掌纹特征,即可得到该相似掌纹特征的用户标识,且确定该相似掌纹特征与目标掌纹特征属于同一个用户标识,则将相似掌纹特征对应的用户标识,确定为该目标掌纹特征对应的用户标识,也即是该目标手部图像对应的目标用户标识。
需要说明的是,本申请实施例是以通过目标掌纹特征与每个预设掌纹特征之间的相似度,确定目标用户标识进行说明的,而在另一实施例中,无需执行步骤306-307,只需根据多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对目标掌纹特征进行识别处理,确定目标手部图像的目标用户标识,该识别处理方式可以采用与上述步骤306-307不同的其他方式,本申请对此不做限定。
需要说明的是,本申请实施例是以通过确定手掌所处的目标区域,获取目标手掌图像进行说明的,而在另一实施例中无需执行步骤302-304,可以调用手掌提取模型,对目标手部图像进行手掌提取,得到目标手部图像的目标手掌图像。其中,手掌提取模型是用户提取手掌图像的模型,可以是通过预先训练得到的。
需要说明的是,本申请实施例仅是以通过获取到的目标手部图像,确定用户标识进行说明的,而在另一实施例中,该步骤301可以包括:响应于资源转移请求,采集目标手部图像。其中,资源转移请求指示需要进行资源转移,该资源转移请求可以携带需要转移的资源数量,还可以携带待转入资源的账户等。
在一种可能实现方式中,在确定目标手部图像的目标用户标识之后,该方法还包括:基于该资源转移请求,对目标用户标识的资源进行转移。
例如,确定目标用户标识的账户,该资源转移请求携带需要转移的资源数量及待转入资源的账户,从该目标用户标识的账户中,将该资源数量的资源转入到待转入资源的账户,完成对目标用户标识的资源进行转移。
掌纹作为生物特征的一种,与人脸、虹膜、指纹等生物特征一样具有生物唯一性与区分性。相对于目前被广泛应用于核身、支付、门禁、乘车等领域的人脸,掌纹不会受化妆与口罩、墨镜等影响,可以提高用户身份验证的准确率。在某些场景下,如疫情防控场景下,需要佩戴口罩遮住口鼻,这种情况下使用掌纹进行身份验证可以作为一种更好的选择。
跨设备注册识别是一种对于用户体验非常重要的能力。对于关联的两种类型的设备,用户可以在一种类型的设备中进行注册,将用户的用户标识与该用户的掌纹特征进行绑定,之后该用户可以在另一种类型的设备上进行身份验证。由于手机和物联网设备在图像风格和图像质量上差别大,通过跨设备注册识别,可以使用户在手机端注册后,直接可以在物联网设备端进行使用,无需用户在两种类型的设备上进行注册,例如,用户通过手机端进行注册后,可以在商店的设备上直接进行身份验证,无需用户在该商店的设备上进行注册,避免了用户的信息泄露。
本申请实施例提供的方法,通过从获取到的手部图像中提取到手掌图像,减少了手部图像中对掌纹特征的影响因素,突出了手部图像的手掌,以使特征提取模型能够准确地提取到手掌图像中的掌纹特征,提高了掌纹特征的准确性,从而能够根据得到掌纹特征精准地确定对应的用户标识,提高了得到的用户标识的准确性。并且,训练该特征提取模型时采用的样本手部图像通过不同类型的设备采集得到,使得该特征提取模型能够适应多种类型的设备采集到的手部图像,应用范围广,且训练后的该特征提取模型能够准确地对多种类型的设备拍摄的手部图像进行特征提取,提高了特征提取模型的鲁棒性。
并且,在调用手掌提取模型获取目标手掌图像时,通过检测到的手掌关键点,来确定目标区域,提高了确定的目标区域的准确性,从而提高了提取到的目标手掌图像的准确性。
并且,通过将目标掌纹特征与每个预设掌纹特征进行一一比对,根据掌纹特征的相似度来确定目标用户标识,提高了确定的目标用户标识的准确性。
图6是本申请提供的一种掌纹识别方法的流程图,如图6所示,该方法包括:
1、在确定用户标识时,通过物联网设备拍摄用户的手掌,得到目标手部图像。
2、调用手掌提取模型,通过对目标手部图像进行手掌提取,得到目标手掌图像。
3、通过调用特征提取模型,对目标手掌图像进行特征提取,得到目标掌纹特征。
4、根据目标掌纹特征与每个预设掌纹特征之间的相似度,按照相似度由大到小的顺序进行排列,确定最大相似度对应的相似掌纹特征的用户标识,将该用户标识识别为目标用户标识,输出识别结果。
在上述实施例的基础上,本申请实施例还提供了一种跨设备支付场景,图7是跨设备支付的流程图,参见图7,跨设备支付流程涉及用户终端、商户终端及支付应用服务器。
其中,用户终端安装有支付应用,用户终端基于用户标识登录支付应用,与支付应用服务器建立通信连接,通过该通信连接,用户终端与服务器可以进行交互;商户终端均安装有支付应用,商户终端基于商户标识登录支付应用,与服务器建立通信连接,通过该通信连接,商户终端与服务器可以进行交互。
该跨设备支付流程包括:
1、用户在家中手持用户终端,通过该用户终端拍摄用户自己的手掌,得到该用户的手部图像,基于用户标识登录的支付应用,向支付应用服务器发送掌纹注册请求,该掌纹注册请求携带该用户标识及手部图像。
2、支付应用服务器接收到用户终端发送的掌纹注册请求,对手部图像进行处理,得到该手部图像的掌纹特征,将该掌纹特征与该用户标识进行对应存储,向用户终端发送掌纹绑定成功通知。
其中,支付应用服务器将掌纹特征与用户标识进行对应存储后,将该掌纹特征作为预设掌纹特征,后续可以通过存储的预设掌纹特征,来确定对应的用户标识。支付应用服务器获取手部图像的掌纹特征过程,与上述步骤302-305类似,在此不再赘述。
3、用户终端接收到掌纹绑定成功通知,显示该掌纹绑定成功通知,提示用户掌纹与用户标识绑定。
其中,用户通过自己的用户终端与支付应用服务器之间的交互,完成掌纹注册,后续可以通过掌纹来实现自动支付。
4、用户在商店购买商品进行交易时,商户终端拍摄该用户的手掌,得到手部图像,基于商户标识登录的支付应用,向支付应用服务器发送支付请求,该支付请求携带该商户标识、消费金额及手部图像。
5、支付应用服务器接收到支付请求后,对手部图像进行处理,确定该手部图像的用户标识,确定该用户标识在支付应用中的账号,通过该账号完成转账,在转账完成后,向商户终端发送支付完成通知。
其中,用户在利用用户终端进行掌纹注册后,可以直接在商户终端通过掌纹进行支付,无需用户在商户终端上进行掌纹注册,从而实现了跨设备掌纹识别的效果,提高了便捷性。支付应用服务器获取用户标识的过程,与上述步骤302-307类似。
6、商户终端接收到支付完成通知,显示该支付完成通知,提示用户支付完成,以使用户与商户完成物品的交易,用户可以将物品带走。
另外,上述实施例以通过用户终端与商户终端实现跨设备支付的过程,还可以将上述商户终端替换为公交车上的支付设备,按照上述步骤,实现跨设备乘车支付的方案。
本申请实施例还提供了一种跨设备身份验证场景,在该场景下可以实现跨设备身份验证,图8是跨设备身份验证的流程图,参见图8,跨设备身份验证流程涉及用户终端、门禁设备和门禁服务器。
其中,用户终端与门禁应用服务器建立通信连接,通过该通信连接,用户终端与门禁服务器可以进行交互;门禁设备与门禁服务器建立通信连接,通过该通信连接,门禁设备与门禁服务器可以进行交互。
该跨设备身份验证流程包括:
1、用户在家中手持用户终端,通过该用户终端拍摄用户自己的手掌,得到该用户的手部图像,向门禁服务器发送掌纹注册请求,该掌纹注册请求携带该用户标识及手部图像。
2、门禁服务器接收到用户终端发送的掌纹注册请求,对手部图像进行处理,得到该手部图像的掌纹特征,将该掌纹特征与该用户标识进行对应存储,向用户终端发送掌纹绑定成功通知。
其中,门禁服务器将掌纹特征与用户标识进行对应存储后,将该掌纹特征可以作为预设掌纹特征,后续可以通过存储的预设掌纹特征,来确定对应的用户标识。门禁服务器获取手部图像的掌纹特征过程,与上述步骤302-305类似。
3、用户终端接收到掌纹绑定成功通知,显示该掌纹绑定成功通知,提示用户掌纹与用户标识绑定。
其中,用户通过自己的用户终端与门禁服务器之间的交互,完成掌纹注册,后续可以通过掌纹来实现自动开门。
4、当用户外出回家时,门禁设备拍摄该用户的手掌,得到该用户的验证手部图像,向门禁服务器发送身份验证请求,该身份验证请求携带该验证手部图像。
5、门禁服务器接收门禁设备发送的身份验证请求,对该验证手部图像进行识别处理,得到该手部图像的用户标识,确定该用户为注册用户,向门禁设备发送验证通过通知。
其中,门禁服务器获取用户标识的过程,与上述步骤302-307类似。
6、门禁设备接收门禁服务器发送的验证通过通知,根据该验证通过通知,控制家门打开,以使用户能够进入到室内。
上述实施例是以通过用户终端与门禁设备实现跨设备身份验证的过程,还可以应用于跨设备上班打卡场景中,跨设备上班打卡流程涉及用户终端、打卡设备及打卡服务器,通过用户终端和打卡设备分别与打卡服务器进行交互,实现跨设备上班打卡的方案。
通过上述跨设备支付场景和跨设备身份验证场景可知,如图9所示,无论是用户终端与服务器之间交互的掌纹注册阶段,还是在通过其他终端设备与服务器进行交互的掌纹识别阶段,均是在用户终端或其他终端设备在获取到手部图像后,将手部图像发送至服务器,由服务器调用手掌提取模型,提取到手掌图像,调用特征提取模型,得到掌纹特征。且在掌纹识别阶段,服务器通过将该掌纹特征与预设掌纹特征进行比对,得到当前用户的识别结果。
在图3所示实施例的基础上,在调用特征提取模型之前,需要对特征提取模型进行训练,训练过程详见下述实施例。
图10是本申请实施例提供的一种特征提取模型训练方法的流程图,应用于计算机设备中,如图10所示,该方法包括:
1001、计算机设备获取多个样本用户标识的样本手部图像。
其中,样本手部图像包括样本用户标识的手掌,该手掌可以为该样本用户标识的左手掌,也可以为该样本用户标识的右手掌。样本手部图像可以是由该计算机设备对样本用户标识的手掌进行拍摄得到的,也可以是由其他设备发送的。
同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到,不同类型的设备可以包括手机与物联网设备,该物联网设备可以为掌纹支付终端、商家支付终端等。由于不同类型的设备对同一个样本用户标识的手掌进行采集,得到的样本手部图像的质量不同,可能包括清晰度高的样本手部图像,也可能包括清晰度低的样本手部图像,因此,通过不同类型的设备采集到的样本手部图像,对特征提取模型进行训练,使训练后的特征提取模型,可以对不同类型的设备采集到的样本手部图像进行特征提取,应用范围广,提高了该特征提取模型的准确性。
例如,获取到任一样本用户标识的8个样本手部图像,4个样本手部图像是用手机对该样本用户标识的手掌进行拍摄得到的,4个样本手部图像是通过物联网设备对该样本用户标识的手掌进行拍摄得到的。
1002、计算机设备对每个样本手部图像进行手掌提取,得到多个样本用户标识的样本手掌图像。
由于每个样本手部图像中包含手掌,因此,通过对每个样本手部图像进行手掌提取,得到每个样本手部图像的样本手掌图像,从而得到多个样本用户标识的样本手掌图像。每个样本用户标识具有多个样本手部图像,则获取到每个样本用户标识的多个样本手掌图像。
如图11所示,图(1)与图(2)是由手机端采集得到的手部图像,图(3)与图(4)是由物联网设备端采集得到的手部图像,图(5)、图(6)、图(7)及图(8)分别是图(1)、图(2)、图(3)及图(4)对应的手掌图像。不同设备采集到的手部图像的清晰度不同,导致得到的手掌图像中显示的掌纹的质量不同。如图12所示,左上角的手掌图像是通过手机拍摄用户1的手掌得到的,右上角的手掌图像是通过其他摄像头拍摄用户1的手掌得到的。通过对比这两个手掌图像可知,同一个用户的手掌,不同类型的设备采集得到的手掌图像中的掌纹存在区别。左下角的手掌图像是通过手机拍摄用户2的手掌得到的,右下角的手掌图像是通过其他摄像头拍摄用户2的手掌得到的。通过对比这两个手掌图像可知,同一个用户的手掌,不同类型的设备采集得到的手掌图像中的掌纹存在区别。
在一种可能实现方式中,该步骤1002可以包括:计算机设备调用手掌提取模型,对每个样本手部图像进行手掌提取,得到多个样本用户标识的样本手掌图像。其中,手掌提取模型是预先训练完成的模型,用于获取手掌图像。
1003、计算机设备调用特征提取模型,对每个样本手掌图像进行特征提取,得到每个样本手掌图像的样本掌纹特征。
其中,该特征提取模型为初始化的特征提取模型,用于对任一手掌图像进行特征提取,得到掌纹特征。通过调用该特征提取模型,对每个样本手掌图像进行特征提取,从而得到每个样本手掌图像的样本掌纹特征,以便后续能够通过得到的多个样本掌纹特征对该特征提取模型进行训练。
1004、计算机设备根据多个样本用户标识的样本手掌图像,生成多个正样本图像组合和多个负样本图像组合。
其中,正样本图像组合包括属于同一样本用户标识的两个样本手掌图像,负样本图像组合包括分别属于不同样本用户标识的两个样本手掌图像。
对于任一样本用户标识的多个样本手掌图像,将该多个样本手掌图像进行两两组合,从而得到该样本用户标识的多个正样本图像组合,则分别对每个样本用户标识的样本手掌图像进行组合,从而得到每个样本用户标识的正样本图像组合。
例如,任一样本用户标识对应有样本手掌图像1、样本手掌图像2、样本手掌图像3,则可以得到的正样本图像组合A包括样本手掌图像1和样本手掌图像2,正样本图像组合B包括样本手掌图像1和样本手掌图像3,正样本图像组合C包括样本手掌图像2和样本手掌图像3。
对于该多个样本用户标识中任两个样本用户标识的样本手掌图像,将一个样本用户标识的每个样本手掌图像,分别与另一个样本用户标识的每个样本手掌图像进行组合,从而得到该两个样本用户标识对应的多个负样本图像组合,则分别对每两个样本用户标识的样本手掌图像进行两两组合,从而得到多个负样本图像组合。
例如,第一个样本用户标识对应有样本手掌图像1及样本手掌图像2,第二个样本用户标识对应有样本手掌图像3及样本手掌图像4,则可以得到负样本图像组合A包括样本手掌图像1和样本手掌图像3,负样本图像组合B包括样本手掌图像1和样本手掌图像4,负样本图像组合C包括样本手掌图像2和样本手掌图像3,负样本图像组合D包括样本手掌图像2和样本手掌图像4。
需要说明的是,本申请实施例是以先获取样本手掌图像的样本掌纹特征,再生成正样本图像组合和负样本图像组合进行说明的,而在另一实施例中,可以先执行步骤1004,再执行步骤1003。
1005、计算机设备根据得到的多个样本手掌图像的样本掌纹特征,获取每个正样本图像组合的相似度及每个负样本图像组合的相似度。
其中,正样本图像组合的相似度表示该正样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度,负样本图像组合的相似度表示该负样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度。
由于正样本图像组合和负样本图像组合中,均包括两个样本手掌图像,则通过将每个样本图像组合中的两个样本手掌图像的样本掌纹特征进行对比,确定每个样本图像组合的相似度。该样本图像组合的相似度可以采用欧氏距离、余弦相似度等方法获取到。
在一种可能实现方式中,该步骤1005可以包括:对于任一正样本图像组合p(i,j),根据该正样本图像组合中包括的两个样本手掌图像的样本手掌特征,获取该正样本图像组合p(i,j)的相似度sim(p(i,j)),满足以下关系:
sim(p(i,j))=cossim[F(xp(i)),F(xp(j))]
p∈1,...,m,i,j∈1,...,N,i≠j
其中,p表示多个样本用户标识中第p个样本用户标识;m表示该多个样本用户标识的总个数;i表示样本用户标识p对应的N个样本手掌图像中的第i个样本手掌图像,j表示样本用户标识p对应的N个样本手掌图像中的第j个样本手掌图像,i与j不相等,N表示样本用户标识p对应的样本手掌图像的总个数;xp(i)表示样本用户标识p的第i个样本手掌图像;xp(j)表示样本用户标识p的第j个样本手掌图像;F(xp(i))表示样本用户标识p的第i个样本手掌图像的样本手掌特征;F(xp(j))表示样本用户标识p的第j个样本手掌图像的样本手掌特征;cossim[]用于获取两个样本手掌特征的相似度的余弦相似度函数。
在一种可能实现方式中,该步骤1005可以包括:对于任一负样本图像组合p,q(i,j),根据该负样本图像组合中包括的两个样本手掌图像的样本手掌特征,获取该负样本图像组合p,q(i,j)的相似度sim(p,q(i,j)),满足以下关系:
sim(p,q(i,j))=cossim[F(xp(i)),F(xq(j))]
p∈1,...,m,q∈1,...,m
其中,p表示m个样本用户标识中第p个样本用户标识;q表示m个样本用户标识中第q个样本用户标识,第p个样本用户标识与第q个样本用户标识不同;m表示该多个样本用户标识的总个数;i表示样本用户标识p对应的多个样本手掌图像中的第i个样本手掌图像,j表示样本用户标识q对应的多个样本手掌图像中的第j个样本手掌图像;xp(i)表示样本用户标识p的第i个样本手掌图像;xq(j)表示样本用户标识q的第j个样本手掌图像;F(xp(i))表示样本用户标识p的第i个样本手掌图像的样本手掌特征;F(xq(j))表示样本用户标识p的第j个样本手掌图像的样本手掌特征;cossim[]用于获取两个样本手掌特征的相似度的余弦相似度函数。
1006、计算机设备根据多个正样本图像组合的相似度及多个负样本图像组合的相似度,确定该特征提取模型的损失值。
其中,该损失值用于表示特征提取模型的误差。在本申请实施例中,通过确定特征提取模型的损失值,以便后续能够通过损失值,对该特征提取模型进行训练,以减小该损失值。
由于正样本图像组合中样本手掌图像属于同一个样本用户标识,则该正样本图像组合的理论相似度应该足够大,负样本图像组合中样本手掌图像不属于同一个样本用户标识,则该负样本图像组合的理论相似度应该足够小。例如,相似度的取值范围为[0,1],则正样本图像组合的理论相似度为1,负样本图像组合的理论相似度为0。而由于样本手掌图像是通过不同类型的设备获取到的,对于同一个用户标识,不同的质量的样本手部图像,导致得到的样本手掌图像的质量不同,即得到的掌纹特征可能不同,则得到的正样本图像组合的相似度、负样本图像组合的相似度均与对应的理论相似度之间存在误差,通过多个正样本图像组合的相似度及多个负样本图像组合的相似度,确定该特征提取模型的损失值,以使后续对特征提取模型进行训练以减小该损失值,从而提高该特征提取模型的准确度。
在一种可能实现方式中,该步骤1006可以包括以下四种方式:
第一种方式,包括以下步骤1061-1063:
1061、对多个正样本图像组合的相似度进行统计,得到多个正样本图像组合对应的第一统计值。
由于正样本图像组合中的两个样本手掌图像属于同一个样本用户标识,负样本图像组合中的两个样本手掌图像不属于同一个样本用户标识,则正样本图像组合的真实的相似度应该比负样本图像组合的真实的相似度大,因此,通过对多个正样本图像组合的相似度及多个负样本图像组合的相似度进行处理,可以确定该特征提取模型的损失值。
其中,第一统计值为多个正样本图像组合的相似度的综合表示,可以为多个正样本图像组合的相似度的均值、和值、加权平均值、加权求和值等。通过将多个正样本图像组合的相似度进行统计,以使后续能够根据第一统计值来确定特征提取模型的损失值,使得损失值中综合考虑了多个正样本图像组合的相似度,从而提高了特征提取模型的准确性。
在一种可能实现方式中,该步骤1061可以包括:将多个正样本图像组合的相似度之和,与该多个正样本图像组合的个数的比值,确定为该多个正样本图像组合对应的第一统计值。该第一统计值即为该多个正样本图像组合的相似度的均值。
在另一种可能实现方式中,该步骤1061可以包括:将多个正样本图像组合的相似度之和,确定为该多个正样本图像组合对应的第一统计值。其中,该第一统计值即为该多个正样本图像组合的相似度的和值。
1062、对多个负样本图像组合的相似度进行统计,得到多个负样本图像组合对应的第二统计值。
其中,第二统计值为多个负样本图像组合的相似度的综合表示,可以为多个负样本图像组合的相似度的均值、和值、加权平均值、加权求和值等。通过将多个负样本图像组合的相似度进行统计,以使后续能够根据第一统计值来确定特征提取模型的损失值,使得损失值中综合考虑了多个负样本图像组合的相似度,从而提高了特征提取模型的准确性。
在一种可能实现方式中,该步骤1062可以包括:将多个负样本图像组合的相似度之和,与该多个负样本图像组合的个数的比值,确定为该多个负样本图像组合对应的第二统计值。该第二统计值即为该多个负样本图像组合的相似度的均值。
在另一种可能实现方式中,该步骤1061可以包括:将多个负样本图像组合的相似度之和,确定为该多个负样本图像组合对应的第二统计值。该第二统计值即为该多个负样本图像组合的相似度的和值。
1063、将第二统计值与第一统计值之间的差值,确定为特征提取模型的第一损失值。
其中,该差值表示负样本图像组合的相似度与正样本图像组合的相似度之间的差异。如图13所示,第一分布关系数据的均值与第二分布关系数据的均值之间的距离,该距离的负值即为该第一损失值。
由于第二统计值是对多个负样本图像组合的相似度进行统计得到的,第一统计值是对多个正样本图像组合的相似度进行统计得到的,正样本图像组合的真实的相似度,比负样本图像组合的真实的相似度大,因此,通过将该差值作为该特征提取模型的损失值,以使后续通过该损失值对特征提取模型进行训练,减小该损失值,即增大了正样本图像组合的相似度与负样本图像组合的相似度之间的差异,从而能够将正样本图像组合的相似度与负样本图像组合的相似度区分开,也即是提高了特征提取模型提取到的掌纹特征的区分能力。后续通过该特征提取模型针对不同的手掌图像,可以提取到不同的掌纹特征,且不同的掌纹特征之间的区别大,以便后续能够区分不同的掌纹特征。
第二种方式,包括以下步骤1064-1067:
1064、根据多个正样本图像组合的相似度,确定第一分布关系数据。
其中,第一分布关系数据表示多个正样本图像组合的相似度的分布情况,该第一分布关系数据可以为高斯分布关系数据,也可以为直方图分布关系数据。通过将多个正样本图像组合的相似度进行统计分析,可以得到多个正样本图像组合的相似度的分布情况,从而得到该第一分布关系数据。
在一种可能实现方式中,该第一分布关系数据满足以下关系:
其中,m表示该多个样本用户标识的总个数,mij=1表示正样本图像组合;(i,j):mij=1表示由于多个样本用户标识的样本手部图像组成的所有正样本图像组合;对于任一样本用户标识,(i,j)表示该样本用户标识的不同的样本手掌图像组成的多个正样本图像组合;|sim|表示任一正样本图像组合的相似度的绝对值;δi,j,t表示第一分布关系数据中的变量;e表示自然常数;ζ表示高斯核函数的扩展参数,ζ为常数;sim(i,j)表示任一正样本图像组合的相似度,hnt为第一分布关系数据中的变量,表示该第一分布关系数据中第t个节点。
1065、对多个正样本图像组合的相似度求取均值,得到多个正样本图像组合对应的原始统计值,将原始统计值增加第一预设数值,得到多个正样本图像组合对应的目标统计值。
其中,该原始统计值为多个正样本图像组合的相似度的均值,第一预设数值可以为任意的数值,如0.05或0.1等。目标统计值是对该多个正样本图像组合的相似度的均值的期望值,也即是期望该原始统计值能够达到的统计值。通过将原始统计值增加第一预设阈值,从而得到该多个正样本图像组合对应的目标统计值,以便后续能够根据该目标统计值对特征提取模型进行调整。
在一种可能实现方式中,多个正样本图像组合对应的原始统计值μC1、第一预设数值r及多个正样本图像组合对应的目标统计值μT1,满足以下关系:
μT1=μC1+r
1066、以目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据。
其中,第二预设数值可以为任意的数值,如0.01、0.05等。第一目标分布关系数据用于表示对多个正样本图像组合的相似度的期望的分布情况。该第一目标分布关系数据可以为高斯分布关系数据,或者其他分布关系数据。在确定均值和标准差后,可以确定出期望多个正样本图像组合的相似度能够达到的分布情况,也即是第一目标分布关系数据。
1067、根据第一分布关系数据与第一目标分布关系数据之间的差异,确定特征提取模型的第二损失值。
该第一分布关系数据表示多个正样本图像组合的相似度当前的分布情况,而该第一目标分布关系数据表示对多个正样本图像组合的相似度的期望分布情况,通过确定第一分布关系数据与第一目标分布关系数据之间的差异,即为该多个正样本图像组合的相似度分布与期望分布的差异,将该差异确定为第二损失值,以便后续能够对模型进行调整,减小特征提取模型的损失值,使得第一分布关系数据与第一目标分布关系数据之间的差异减小,从而使得多个正样本图像组合的相似度的分布情况满足期望的分布情况,从而提高特征提取模型的准确性。
第三种方式,包括以下步骤1068-1072:
1068、根据当前训练轮次的多个正样本图像组合的相似度,确定第一分布关系数据。
在本申请实施例中,通过多个训练轮次,对该特征提取模型进行训练,每个训练轮次中采用的样本手部图像不同。其中,不同的训练轮次中采用的样本手部图像可以是全部不同,也可以是部分不同。例如,第一个训练轮次中采用样本用户标识A的样本手部图像1、样本手部图像2和样本手部图像3,第二个训练轮次中采用样本用户标识A的样本手部图像3、样本手部图像4和样本手部图像5;或者,第一个训练轮次中采用样本用户标识A的样本手部图像1、样本手部图像2和样本手部图像3,第二个训练轮次中采用样本用户标识A的样本手部图像1、样本手部图像2和样本手部图像4。
另外,由于不同的正样本图像组合中可能包括相同的样本手部图像,则特征提取模型的多个训练轮次中采用的正样本图像组合不同,即不同的训练轮次中采用的正样本图像组合可以全部不同,也可以部分不同。例如,第一个训练轮次中采用正样本图像组合A包括样本手部图像1和样本手部图像2,正样本图像组合B包括样本手部图像3和样本手部图像4,第一个训练轮次中采用正样本图像组合C包括样本手部图像1和样本手部图像3,正样本图像组合D包括样本手部图像3和样本手部图像2。
对于任一训练轮次,通过采用的样本手部图像对应的正样本图像组合,确定特征提取模型的损失值,以便后续通过该损失值对特征提取模型进行训练。
其中,第一分布关系数据表示多个正样本图像组合的相似度的分布情况,
1069、对当前训练轮次的多个正样本图像组合的相似度求取均值,得到多个正样本图像组合对应的原始统计值。
在本申请实施例中,在每个训练轮次中,均需要调用特征提取模型对当前训练轮次中采用的样本手部图像进行特征提取,从而得到当前训练轮次的多个正样本图像组合的相似度。后续通过当前训练轮次的多个正样本图像组合的相似度,获取当前训练轮次的原始统计值的过程与上述步骤1065类似,在此不再赘述。
1070、将上一个训练轮次的多个正样本图像组合对应的目标统计值增加第一预设数值,得到当前训练轮次的多个正样本图像组合对应的目标统计值。
其中,第一预设数值可以为任意数值,如0.05、0.1等。该目标统计数值为对当前训练轮次的原始统计值的期望值,也即是通过当前训练轮次对特征提取模型进行训练后,期望多个正样本图像组合的相似度的均值能够达到的数值。
在本申请实施例中,通过将特征提取模型的训练过程分成多个训练轮次,且分别为每个训练轮次设置目标统计值,以使后续能够逐步对特征提取模型进行训练,使得该特征提取模型的准确性逐步提高,从而保证了训练特征提取模型的稳定性,也提高了得到的特征提取模型的准确性。
需要说明的是,本申请实施例是以当前训练轮次不是第一个训练轮次,确定目标统计值进行说明的,而在当前训练轮次为多个训练轮次中第一个训练轮次,则将当前训练轮次的原始统计值增加第一预设数值,作为当前训练轮次的目标统计值,即采用上述步骤1065,获取当前轮次的目标统计值。
1071、以目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据。
该步骤与上述步骤1066类似,在此不再赘述。
1072、根据第一分布关系数据与第一目标分布关系数据之间的差异,确定特征提取模型的第二损失值。
该步骤与上述步骤1067类似,在此不再赘述。
第四种方式,包括以下步骤1073-1076:
1073、根据多个负样本图像组合的相似度,确定第二分布关系数据。
其中,第二分布关系数据表示该多个负样本图像组合的相似度的分布情况,该第二分布关系数据可以为高斯分布关系数据,也可以为直方图分布关系数据。通过将多个负样本图像组合的相似度进行统计分析,可以得到多个负样本图像组合的相似度的分布情况,从而得到该第二分布关系数据。
在一种可能实现方式中,该第二分布关系数据满足以下关系:
其中,m表示该多个样本用户标识的总个数,mij=-1表示负样本图像组合;(i,j):mij=-1表示由于多个样本用户标识的样本手部图像组成的所有负样本图像组合;对于任两个样本用户标识,(i,j)表示该两个样本用户标识的样本手掌图像组成的多个负样本图像组合;|sim|表示任一负样本图像组合的相似度的绝对值;δi,j,t表示第二分布关系数据中的变量;e表示自然常数;ζ表示高斯核函数的扩展参数,ζ为常数;sim(i,j)表示任一负样本图像组合的相似度,hnt为第二分布关系数据中的变量,表示该第二分布关系数据中第t个节点。
1074、对多个负样本图像组合的相似度求取均值,得到多个负样本图像组合对应的原始统计值,将原始统计值减少第一预设数值,得到多个负样本图像组合对应的目标统计值。
其中,该原始统计值为多个负样本图像组合的相似度的均值,第一预设数值可以为任意的数值,如0.05或0.1等。目标统计值是对该多个负样本图像组合的相似度的均值的期望值,也即是期望该原始统计值能够达到的统计值。通过将原始统计值增加第一预设阈值,从而得到该多个负样本图像组合对应的目标统计值,以便后续能够根据该目标统计值对特征提取模型进行调整。
在一种可能实现方式中,多个负样本图像组合对应的原始统计值μC2、第一预设数值r及多个负样本图像组合对应的目标统计值μT2,满足以下关系:
μT2=μC2-r
1075、以目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据。
其中,该第二目标分布关系数据可以为高斯分布关系数据,或者其他分布关系数据。在确定均值和标准差后,可以确定出期望多个负样本图像组合的相似度能够达到的分布情况,也即是第二目标分布关系数据。
1076、根据第二分布关系数据与第二目标分布关系数据之间的差异,确定特征提取模型的第三损失值。
该第二分布关系数据表示多个负样本图像组合的相似度的分布情况,而该第二目标分布关系数据表示对多个负样本图像组合的相似度的期望分布情况,通过确定第二分布关系数据与第二目标分布关系数据之间的差异,即为该多个负样本图像组合的相似度分布与期望分布的差异,将该差役确定为第二损失值,以便后续能够对模型进行调整,减小特征提取模型的损失值,使得第二分布关系数据与第二目标分布关系数据之间的差异减小,从而使得多个负样本图像组合的相似度的分布情况满足期望的分布情况,从而提高特征提取模型的准确性。
第五种方式,包括以下步骤1077-1081:
1077、根据当前训练轮次的多个负样本图像组合的相似度,确定第一分布关系数据。
其中,第一分布关系数据表示多个负样本图像组合的相似度的分布情况,特征提取模型的多个训练轮次中采用的样本手部图像不同。
该步骤与上述步骤1068类似,在此不再赘述。
1078、对当前训练轮次的多个负样本图像组合的相似度求取均值,得到多个负样本图像组合对应的原始统计值。
该步骤与上述步骤1069类似,在此不再赘述。
在本申请实施例中,在每个训练轮次中,均需要调用特征提取模型对当前训练轮次中采用的样本手部图像进行特征提取,从而得到当前训练轮次的多个负样本图像组合的相似度。后续通过当前训练轮次的多个负样本图像组合的相似度,获取当前训练轮次的原始统计值的过程与上述步骤1074类似,在此不再赘述。
1079、将上一个训练轮次的多个负样本图像组合对应的目标统计值减少第一预设数值,得到当前训练轮次的多个负样本图像组合对应的目标统计值。
该步骤与上述步骤1070类似,在此不再赘述。
需要说明的是,本申请实施例是以当前训练轮次不是第一个训练轮次,确定目标统计值进行说明的,而在当前训练轮次为多个训练轮次中第一个训练轮次,则将当前训练轮次的原始统计值减少第一预设数值,作为当前训练轮次的且标统计值,即采用上述步骤1074,获取当前轮次的目标统计值。
1080、以目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据。
该步骤与上述步骤1071类似,在此不再赘述。
1081、根据第二分布关系数据与第二目标分布关系数据之间的差异,确定特征提取模型的第三损失值。
该步骤与上述步骤1072类似,在此不再赘述。
需要说明的是,本申请实施例是对上述五种方式分别进行说明的,而在另一实施例中,上述五种方式可以结合,如第一种方式、第三种方式和第五种方式进行结合;或者,第一种方式、第二种方式及第四种方式进行结合;或者,第三种方式和第五种方式进行结合;或者,第二种方式与第四种方式进行结合。
1007、计算机设备根据损失值,对特征提取模型进行训练。
计算机设备根据得到的损失值,对特征提取模型进行训练,以减小该损失值,从而提高该特征提取模型的准确率。
可选地,在确定特征提取模型的损失值时,可以采用上述实施例中五种方式的一种或多种方式。当采用一种方式时,即可按照上述实施例中所对应的方式确定损失值;当采用多种方式时,对多种方式得到的损失值进行统计,得到该特征提取模型的总损失值,根据该总损失值对特征提取模型进行训练。其中,对多种方式得到的损失值进行统计可以为对多个损失值进行求和、对多个损失值进行求平均值、或对多个损失值进行加权求和等。
需要说明的是,本申请实施例是以对特征提取模型进行一次训练进行说明的,而在另一实施例中,可以重复执行步骤1004-1007,对特征提取模型进行多次迭代训练。
需要说明的是,本申请实施例是以通过多个正样本图像组合及多个负样本图像组合确定的损失值,对特征提取模型训练进行说明的,而在另一实施例中,无需执行步骤1004-1007,可以采用其他方式,根据多个正样本图像组合及多个负样本图像组合,对特征提取模型进行训练。
需要说明的是,本申请实施例是以多个正样本图像组合及多个负样本图像组合获取特征提取模型的损失值进行说明的,而在另一实施例中,无需执行步骤1004-1006,可以采取其他方式,根据多个样本用户标识的样本掌纹特征,确定特征提取模型的损失值。
需要说明的是,本申请是以通过生成多个正样本组合和多个负样本组合获取特征提取模型的损失值进行说明的,而在另一实施例中无需执行步骤1004-1006,可以采用其他方式,获取特征提取模型的损失值。
可选地,在对特征提取模型进行训练的过程还可以包括以下步骤1-步骤4:
1、对每个样本手掌图像的样本掌纹特征进行分类,得到每个样本手掌图像的预测用户标识。
其中,预测用户标识用于表示为样本手掌图像预测的用户标识,该预测用户标识可以为多个样本用户标识中的任一个。
2、根据多个样本手掌图像的预测用户标识与多个样本手掌图像的样本用户标识之间的差异,确定特征提取模型的第四损失值。
由于每个样本手掌图像对应有样本用户标识,可以确定每个样本手掌图像的预测用户标识是否准确,则可以确定每个样本手掌图像的预测用户标识与对应的样本用户标识之间的差异,将该差异作为特征提取模型的第四损失值,以便后续能够通过该第四损失值对特征提取模型进行调整。
由于预测用户标识是通过样本手掌图像的样本掌纹特征获取到的,如果通过特征提取模型得到的样本掌纹特征的准确度高,则预测用户标识的准确度高,如果通过特征提取模型得到的样本掌纹特征的准确度低,则预测用户标识的准确度低。因此,可以将多个样本手掌图像的预测用户标识与多个样本手掌图像的样本用户标识之间的差异,作为训练该特征提取模型的损失值,以便后续训练得到的特征提取模型,提取到的不同的掌纹特征之间的区分度高,从而提高特征提取模型的准确性。
需要说明的是,本申请实施例是以对每个样本手掌图像的样本掌纹特征进行分类,确定特征提取模型的损失值进行说明的,可选地,在确定特征提取模型的损失值的过程,还可以包括:对多个样本手掌图像的样本掌纹特征进行聚类处理,得到多个样本手掌图像集合,根据每个样本手掌图像集合中多个样本手掌图像所属的样本用户标识的差异,确定该特征提取模型的第五损失值。
通过将多个样本掌纹特征进行聚类处理,将相似的多样本掌纹特征进行聚类,得到该多样本掌纹特征的样本手掌图像构成的样本手掌图像集合,从而得到多个样本手掌图像集合。根据每个样本手掌图像集合中的多个样本手掌图像是否属于同一个样本用户标识,确定每个样本手掌图像集合的差异,从而确定该特征提取模型的第四损失值。
本申请实施例提供的模型训练方法,获取多个样本用户标识的样本手部图像,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到,调用手掌提取模型,对每个样本手部图像进行手掌提取,得到多个样本用户标识的样本手掌图像,根据多个样本用户标识的样本手掌图像,对特征提取模型进行训练。通过获取不同样本用户标识的样本手部图像,且保证每个样本用户的多个手部图像是通过不同类型的设备采集到的,丰富了训练样本,通过不同类型的设备采集得到的样本手部图像对特征提取模型进行训练,使得该特征提取模型能够对多种类型的设备的手部图像进行特征提取,增强了该特征提取模型的应用范围,且提高了特征提取模型的准确性。
并且,根据生成的多个正样本图像组合和多个负样本图像组合,对特征提取模型进行训练,使得到的特征提取模型提取到的不同掌纹特征之间的区分度增大,提高了特征提取模型提取的掌纹特征的区分度,从而提高了特征提取模型的准确性。
并且,通过将特征提取模型的训练过程分成多个训练轮次,且分别为每个训练轮次设置目标统计值,以使后续能够逐步对特征提取模型进行训练,实现了一种根据步进目标分布损失函数对模型训练的方法,使的该特征提取模型的准确性逐步提高,从而保证了训练特征提取模型的稳定性,也提高了得到的特征提取模型的准确性。
图14是本申请实施例提供的一种模型训练方法的流程图,如图14所示,该方法包括:
1、获取跨设备数据集,该跨设备数据集中包括通过不同类型的设备采集到的样本手掌图像。
2、通过特征提取模型,获取跨设备数据集中的样本手掌图像的样本手掌特征。
3、根据跨设备数据集中的样本手掌图像,生成多个正样本图像组合和负样本图像组合。
4、根据每个样本手掌图像的样本手掌特征,确定每个正样本图像组合的相似度及每个负样本图像组合的相似度,根据多个正样本图像组合的相似度及多个负样本图像组合的相似度,分别确定正样本图像组合的第一分布关系数据,及负样本图像组合的第二分布关系数据。
5、为正样本图像组合设置第一目标分布关系数据,为负样本图像组合设置第二目标分布关系数据。
6、根据正样本图像组合的第一分布关系数据与第一目标分布关系数据,及负样本图像组合的第二分布关系数据与第二目标分布关系数据,分别确定正样本图像组合的当前分布关系数据与目标分布关系数据之间的第二损失值,及负样本图像组合的当前分布关系数据与目标分布关系数据之间的第三损失值,确定第二损失值与第三损失值之和。
7、根据当前的正样本图像组合的相似度均值与当前的负样本图像组合的相似度均值,确定第一损失值。
8、通过对每个样本手掌特征进行分类,得到该特征提取模型的第四损失值。
9、根据第一损失值、第二损失值与第三损失值之和、第四损失值,确定特征提取模型的总损失值,根据该总损失值对特征提取模型进行调整。
10、判断正样本图像组合和负样本图像组合的当前分布是否达到目标分布,如果达到,则按照预设步进值,调整目标分布,继续对特征提取模型进行训练;如果未达到,则停止训练该特征提取模型。
如图15所示,获取手机端采集到的样本手掌图像和物联网设备端采集到的样本手掌图像,通过特征提取模型对每个样本手掌图像进行特征提取,得到多个样本手掌图像的掌纹特征,根据多个样本手掌图像的掌纹特征,确定特征提取模型的损失值,按照设置的步进目标分布关系数据,对特征提取模型进行多个训练轮次的迭代训练。
在每个训练轮次,对特征提取模型调整后的结果为,正样本图像组合对应的第一分布关系数据的均值不小于第一目标分布关系数据的均值。在经过多个训练轮次后,在当前训练轮次对特征提取模型调整后的结果为,正样本图像组合对应的第一分布关系数据的均值小于第一目标分布关系数据的均值,则表示特征提取模型已经达到平衡状态,停止训练该特征提取模型。
通过训练后的特征提取模型,对多个样本手掌图像进行特征提取,得到多个正样本图像组合的第一分布关系数据和第一目标关系数据相近,多个负样本图像组合的第二分布关系数据和第二目标关系数据相近,且多个正样本图像组合的的第一分布关系数据与多个负样本图像组合的第二分布关系数据之间相隔较远。
在对特征提取模型进行训练的过程中,可以分别在多种数据集上进行,如表1所示,为目前的多种数据集之间的对比情况。由表1可知,不同的数据集中的手部图像可以通过不同的采集方式得到,不同的数据集中包括的手部图像数量不同,在每个数据集中,每个手掌可以对应有多张手部图像,且每个数据集对应的手部图像的采集设备类型不同。
表1
数据集 | 采集方式 | 图像数量 | 手掌数量 | 采集设备类型 |
CASIA | 非接触方式 | 5502 | 624 | 1 |
IITD | 非接触方式 | 2601 | 460 | 1 |
PolyU | 非接触方式 | 1140 | 114 | 1 |
TCD | 非接触方式 | 12000 | 600 | 2 |
MPD | 手机 | 16000 | 400 | 2 |
表2是本申请实施例提供的,在不同的跨设备掌纹识别数据集上,通过本申请实施例提供的模型训练方法与相关技术的方法对特征提取模型进行训练,得到的特征提取模型的准确率对比表,表3是本申请实施例提供的,在不同的跨设备掌纹识别数据集上,通过本申请实施例提供的模型训练方法与相关技术的方法,对特征提取模型进行训练,得到的特征提取模型的损失值对比表。如表2和表3所示,无论在准确性上还是损失值上,本申请提供的模型训练方法中采用的PTD Loss步进目标分布损失函数得到的特征提取模型,均比采用其他相关技术的方法得到特征提取模型的效果好。
表2
表3
表4是本申请实施例提供的模型训练方法及相关技术的方法,在不同的数据集上对特征提取模型进行训练,得到的特征提取模型的准确率。表5是本申请实施例提供的模型训练方法及相关技术的方法,在不同的数据集上对特征提取模型进行训练,得到的特征提取模型的损失值。根据表4可知,即使在不同的数据集上,通过本申请实施例提供的模型训练方法中采用的步进目标分布损失函数,训练得到的特征提取模型的准确率高,根据表5可知,即使在不同的数据集上,通过本申请实施例提供的模型训练方法中采用的步进目标分布损失函数,训练得到的特征提取模型的损失值低,因此,通过本申请实施例提供的模型训练方法训练得到的特征提取模型的效果好。
表4
训练方法 | CASIA | IITD | PolyU | TCD | MPD |
PalmNet | 97.17 | 97.31 | 99.5 | 99.89 | 91.88 |
FERNet | 97.65 | 99.61 | 99.77 | 98.63 | - |
VGG-16 | 97.80 | 93.64 | - | 98.46 | - |
GoogLeNet | 93.84 | 96.22 | 68.59 | - | - |
DTD Loss | 99.74 | 100 | 100 | 100 | 99.58 |
本申请的模型训练方法 | 99.85 | 100 | 100 | 100 | 99.78 |
表5
表6是本申请实施例提供的模型训练方法及相关技术的方法,在对特征提取模型进行训练的过程中,训练采用的数据集和测试采用的数据集不同,从而得到的特征提取模型的准确率和损失值比对。通过表6可以,对于任一种模型训练方法,训练采用的数据集和测试采用的数据集不同,得到的特征提取模型的准确率和损失值不同。通过本申请实施例提供的模型训练方法的特征提取模型的准确率高,损失值低,因此,通过本申请实施例提供的模型训练方法的训练得到的特征提取模型的效果好。
表6
训练方法 | 训练数据集 | 测试数据集 | 准确率 | 损失值 |
C-LMCL | TCD | PolyU | 99.93 | 0.58 |
ArcPalm-Res | TCD | PolyU | 98.63 | 0.83 |
本申请的模型训练方法 | TCD | PolyU | 99.93 | 0.56 |
C-LMCL | PolyU | TCD | 98.72 | 1.46 |
ArcPalm-Res | PolyU | TCD | 97.09 | 1.76 |
本申请的模型训练方法 | PolyU | TCD | 98.74 | 1.43 |
如图16所示,图中包括当前的正样本图像组合的第一分布关系数据、采用步进目标分布损失函数得到的第一分布关系数据及采用直接设置目标分布损失函数得到的第一分布关系数据。由图可知,采用步进目标分布损失函数得到的第一分布关系数据与当前的正样本图像组合的第一分布关系数据的重合部分多,采用直接设置目标分布损失函数得到的第一分布关系数据与当前的正样本图像组合的第一分布关系数据的重合部分少,则表示用步进目标分布损失函数得到的第一分布关系数据与当前的正样本图像组合的第一分布关系数据之间的差异小,从而根据该差异对特征提取模型进行调整时,既能够提高特征提取模型的准确性,使正样本图像组合的第一分布关系数据达到设备的第一目标分布关系数据,又能够避免特征提取模型失真,导致特征提取模型不准确。
如图17所示,图(1)和图(2)均示出了通过调用特征提取模型提取到的掌纹特征的分布情况,图(1)中提取掌纹特征所调用的特征提取模型,是通过采用直接设置目标分布损失函数训练得到的,图(2)中提取掌纹特征所调用的特征提取模型,是采用步进目标分布损失函数训练得到的。图(1)中属于用户1的两个掌纹特征之间的距离远,属于用户1的一个掌纹特征与属于用户2的掌纹特征之间的距离近,即表示通过直接设置目标分布损失函数训练得到的特征提取模型对不同用户的掌纹特征的区分能力差。图(2)中属于用户1的两个掌纹特征之间的距离近,属于用户1的一个掌纹特征与属于用户2的掌纹特征之间的距离远,即表示通过步进目标分布损失函数得到的特征提取模型对不同用户的掌纹特征的区分能力好,因此,采用本申请实施例提供的特征提取模型训练方法,得到的特征提取模型能够提取到不同用户标识的掌纹特征,区分能力好,准确率高。
如图18所示,在MOHI-WEHI跨设备数据集中,通过相关技术中的特征提取模型和本申请提供的特征提取模型,得到的第一分布关系数据和第二分布关系数据,重叠区域越大,表示特征提取模型的识别错误的部分越多。通过对比图(1)和图(2)、对比图(3)和图(4)可知,无论在训练阶段上还是在测试阶段上,通过本申请特征提取模型得到的第一分布关系数据和第二分布关系数据之间的距离大,表示本申请的特征提取模型能够对不同设备的不同用户标识的手掌图像进行区分开。
如图19所示,在MPD-TCD跨设备数据集中,通过相关技术中的特征提取模型和本申请提供的特征提取模型,得到的第一分布关系数据和第二分布关系数据。通过对比图(1)和图(2)、对比图(3)和图(4)可知,无论在训练阶段上还是在测试阶段上,通过本申请特征提取模型得到的第一分布关系数据和第二分布关系数据之间的距离大,表示本申请的特征提取模型能够对不同设备的不同用户标识的手掌图像进行区分开。
如图20所示,图(1)和图(2)分别是在MOHI-WEHI跨设备数据集中的训练集和测试集上,通过训练后的特征提取模型,得到的第一分布关系数据和第二分布关系数据的分布情况。图(3)和图(4)分别是在TCD同一设备数据集中的训练集和测试集上,通过训练后的特征提取模型,得到的第一分布关系数据和第二分布关系数据的分布情况。
图21是本申请实施例提供的一种特征提取模型训练方法的流程图,应用于计算机设备中,如图21所示,该方法包括:
2101、计算机设备获取多个样本用户标识的样本手部图像。
2102、计算机设备调用手掌提取模型,对每个样本手部图像进行手掌提取,得到多个样本用户标识的样本手掌图像。
2103、计算机设备根据多个样本用户标识的样本手掌图像,生成多个正样本图像组合和多个负样本图像组合。
2104、计算机设备调用特征提取模型,对每个样本手掌图像进行特征提取,得到每个样本手掌图像的样本掌纹特征。
2105、计算机设备根据得到的多个样本手掌图像的样本掌纹特征,获取每个正样本图像组合的相似度及每个负样本图像组合的相似度。
2106、按照上述第一种方式,获取特征提取模型的第一损失值。
2107、按照上述第三种方式,获取特征提取模型的第二损失值。
2108、按照上述第五种方式,获取特征提取模型的第三损失值。
2109、对每个样本手掌图像的样本掌纹特征进行分类,得到每个样本手掌图像的预测用户标识,根据多个样本手掌图像的预测用户标识与多个样本手掌图像的样本用户标识之间的差异,确定特征提取模型的第四损失值。
2110、计算机设备将第一损失值、第二损失值、第三损失值及第四损失值之和作为总损失值,根据总损失值对特征提取模型进行训练。
LossPDT=LossKL+Lossmean
Loss=βLossPDT+γLossArcface
其中,LossKL用于表示对第二损失值与第三损失值进行加权求和得到的损失值;α1、α2均为权重参数,可以是任意常数,如α1为1,α2 0.1;β、γ均为权重参数,可以是任意常数,如β为0.5,γ为1。
如图22所示,图(1)和(2)分别表示在不同的数据集上,采用不同的β与γ的比值,对特征提取模型进行训练,得到的特征提取模型的准确率。由图可知,在不同的数据集上,仅当β为0.5,γ为1时,特征提取模型的准确率高。
2111、重复执行上述步骤2101-2110,对特征提取模型进行迭代训练。
2112、响应于第一损失值、第二损失值及第三损失值之和收敛,停止训练特征提取模型。
由于第一损失值、第二损失值及第三损失值之和收敛,表示当前训练轮次的正样本图像组合的相似度的分布情况与负样本图像组合的相似度分布情况之间的差异达到平衡状态,也即是特征提取模型提取到的不同手掌图像的手掌特征之间的区别度不再增大,表示该特征提取模型已经达到平衡状态,则停止训练该特征提取模型。
图23是本申请实施例提供的一种掌纹识别装置的结构示意图,如图23所示,该装置包括:
图像获取模块2301,用于获取目标手部图像,目标手部图像包含手掌;
手掌提取模块2302,用于对目标手部图像进行手掌提取,得到目标手部图像的目标手掌图像;
特征提取模块2303,用于调用特征提取模型,对目标手掌图像进行特征提取,得到目标掌纹特征,特征提取模型是根据多个样本用户标识的样本掌纹特征进行训练得到的,每个样本用户标识具有多个样本掌纹特征,多个样本掌纹特征是通过对应的样本用户标识的多个样本手部图像分别进行特征提取得到的,同一个样本用户标识的多个样本手部图像是通过不同类型的设备采集到的;
识别处理模块2304,用于根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对目标掌纹特征进行识别处理,确定目标掌纹特征的目标用户标识。
在一种可能实现方式中,如图24所示,装置还包括:
图像获取模块2301,还用于获取多个样本用户标识的样本手部图像;
手掌提取模块2302,还用于对每个样本手部图像进行手掌提取,得到多个样本用户标识的样本手掌图像;
特征提取模块2303,还用于调用特征提取模型,对每个样本手掌图像进行特征提取,得到每个样本手掌图像的样本掌纹特征;
损失值确定模块2305,用于根据多个样本用户标识的样本掌纹特征,确定特征提取模型的损失值;
模型训练模块2306,用于根据损失值,对特征提取模型进行训练。
在另一种可能实现方式中,如图24所示,装置还包括:
组合生成模块2307,用于根据多个样本用户标识的样本手掌图像,生成多个正样本图像组合和多个负样本图像组合,正样本图像组合包括属于同一样本用户标识的两个样本手掌图像,负样本图像组合包括分别属于不同样本用户标识的两个样本手掌图像;
损失值确定模块2305,包括:
相似度获取单元2351,用于根据得到的多个样本手掌图像的样本掌纹特征,获取每个正样本图像组合的相似度及每个负样本图像组合的相似度,正样本图像组合的相似度表示正样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度,负样本图像组合的相似度表示负样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度;
第一损失值确定单元2352,用于根据多个正样本图像组合的相似度及多个负样本图像组合的相似度,确定特征提取模型的损失值。
在另一种可能实现方式中,第一损失值确定单元2352,用于对多个正样本图像组合的相似度进行统计,得到多个正样本图像组合对应的第一统计值;对多个负样本图像组合的相似度进行统计,得到多个负样本图像组合对应的第二统计值;将第二统计值与第一统计值之间的差值,确定为特征提取模型的第一损失值。
在另一种可能实现方式中,第一损失值确定单元2352,用于根据多个正样本图像组合的相似度,确定第一分布关系数据,第一分布关系数据表示多个正样本图像组合的相似度的分布情况;对多个正样本图像组合的相似度求取均值,得到多个正样本图像组合对应的原始统计值,将原始统计值增加第一预设数值,得到多个正样本图像组合对应的目标统计值;以目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据第一分布关系数据与第一目标分布关系数据之间的差异,确定特征提取模型的第二损失值。
在另一种可能实现方式中,第一损失值确定单元2352,用于根据当前训练轮次的多个正样本图像组合的相似度,确定第一分布关系数据,第一分布关系数据表示多个正样本图像组合的相似度的分布情况,其中特征提取模型的多个训练轮次中采用的样本手部图像不同;对当前训练轮次的多个正样本图像组合的相似度求取均值,得到多个正样本图像组合对应的原始统计值;将上一个训练轮次的多个正样本图像组合对应的目标统计值增加第一预设数值,得到当前训练轮次的多个正样本图像组合对应的目标统计值;以目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据第一分布关系数据与第一目标分布关系数据之间的差异,确定特征提取模型的第二损失值。
在另一种可能实现方式中,第一损失值确定单元2352,用于根据多个负样本图像组合的相似度,确定第二分布关系数据,第二分布关系数据表示多个负样本图像组合的相似度的分布情况;对多个负样本图像组合的相似度求取均值,得到多个负样本图像组合对应的原始统计值,将原始统计值减少第一预设数值,得到多个负样本图像组合对应的目标统计值;以目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据第二分布关系数据与第二目标分布关系数据之间的差异,确定特征提取模型的第三损失值。
在另一种可能实现方式中,第一损失值确定单元2352,用于根据当前训练轮次的多个负样本图像组合的相似度,确定第一分布关系数据,第一分布关系数据表示多个负样本图像组合的相似度的分布情况,其中特征提取模型的多个训练轮次中采用的样本手部图像不同;对当前训练轮次的多个负样本图像组合的相似度求取均值,得到多个负样本图像组合对应的原始统计值;将上一个训练轮次的多个负样本图像组合对应的目标统计值减少第一预设数值,得到当前训练轮次的多个负样本图像组合对应的目标统计值;以目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据第二分布关系数据与第二目标分布关系数据之间的差异,确定特征提取模型的第三损失值。
在另一种可能实现方式中,如图24所示,损失值确定模块2305,包括:
特征分类单元2353,用于对每个样本手掌图像的样本掌纹特征进行分类,得到每个样本手掌图像的预测用户标识;
第二损失值确定单元2354,用于根据多个样本手掌图像的预测用户标识与多个样本手掌图像的样本用户标识之间的差异,确定特征提取模型的第四损失值。
在另一种可能实现方式中,手掌提取模块2302,还用于调用手掌提取模型,对目标手部图像进行手掌提取,得到目标手部图像的目标手掌图像。
在另一种可能实现方式中,如图24所示,手掌提取模块2302,包括:
关键点检测单元2321,用于对目标手部图像进行手掌关键点检测,得到目标手部图像中的至少一个手掌关键点;
区域确定单元2322,用于根据至少一个手掌关键点,确定目标手部图像中手掌所处的目标区域;
手掌提取单元2323,用于对目标手部图像的目标区域进行手掌提取,得到目标手掌图像。
在另一种可能实现方式中,至少一个手掌关键点包括第一手掌关键点、第二手掌关键点和第三手掌关键点,第二手掌关键点位于第一手掌关键点与第三手掌关键点之间;
区域确定单元2322,用于将第一手掌关键点与第三手掌关键点之间的距离与第三预设数值的乘积,作为第一距离;确定第四手掌关键点,第四手掌关键点与第二手掌关键点之间的距离等于第一距离,第一手掌关键点及第三手掌关键点构成的直线,与第二手掌关键点及第四手掌关键点构成的直线垂直;将第一手掌关键点与第三手掌关键点之间的距离与第四预设数值的乘积,作为第二距离;以第四手掌关键点为目标区域的中心,以第二距离为目标区域的边长,确定正方形的目标区域;或者,以第四手掌关键点为目标区域的中心,以第二距离为目标区域的半径,确定圆形的目标区域。
在另一种可能实现方式中,如图24所示,识别处理模块2304,包括:
特征识别单元2341,用于根据目标掌纹特征与每个预设掌纹特征之间的相似度,将多个预设掌纹特征中,与目标掌纹特征的相似度最大的预设掌纹特征,识别为相似掌纹特征;
用户标识确定单元2342,用于将相似掌纹特征对应的用户标识,确定为目标用户标识。
在另一种可能实现方式中,如图24所示,图像获取模块2301,包括:
图像获取单元2311,用于响应于资源转移请求,采集目标手部图像;
装置还包括:
资源转移模型2308,用于基于资源转移请求,对目标用户标识的资源进行转移。
图25是本申请实施例提供的一种特征提取模型训练装置的结构示意图,如图25所示,该装置包括:
图像获取模块2501,用于获取多个样本用户标识的样本手部图像,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到;
手掌提取模块2502,用于对每个样本手部图像进行手掌提取,得到多个样本用户标识的样本手掌图像;
特征提取模块2503,用于调用特征提取模型,对每个样本手掌图像进行特征提取,得到每个样本手掌图像的样本掌纹特征;
模型训练模块2504,用于根据多个样本用户标识的样本掌纹特征,对特征提取模型进行训练。
图26是本申请实施例提供的一种终端的结构示意图,可以实现上述实施例中计算机设备执行的操作。该终端2600可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备、智能电视、智能音箱、智能遥控器、智能话筒,或其他任意智能终端。终端2600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端2600包括有:处理器2601和存储器2602。
处理器2601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。存储器2602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的,用于存储至少一个指令,该至少一个指令用于被处理器2601所具有以实现本申请中方法实施例提供掌纹识别方法。
在一些实施例中,终端2600还可选包括有:外围设备接口2603和至少一个外围设备。处理器2601、存储器2602和外围设备接口2603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口2603相连。具体地,外围设备包括:射频电路2604、显示屏2605和音频电路2606中的至少一种。
射频电路2604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路2604通过电磁信号与通信网络及其他通信设备进行通信。
显示屏2605用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。该显示屏2605可以是触摸显示屏,还可以用于提供虚拟按钮和/或虚拟键盘。
音频电路2606可以包括麦克风和扬声器。麦克风用于采集用户及环境的音频信号,并将音频信号转换为电信号输入至处理器2601进行处理,或者输入至射频电路2604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端2600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器2601或射频电路2604的电信号转换为音频信号。
本领域技术人员可以理解,图26中示出的结构并不构成对终端2600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图27是本申请实施例提供的一种服务器的结构示意图,该服务器2700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)2701和一个或一个以上的存储器2702,其中,存储器2502中存储有至少一条指令,至少一条指令由处理器2701加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
服务器2700可以用于执行上述掌纹识别方法中计算机设备执行的操作。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的掌纹识别方法,或者,以实现上述实施例的特征提取模型训练方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的掌纹识别方法或特征提取模型训练方法,或者,以实现上述实施例的特征提取模型训练方法。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括至少一条指令,该至少一条指令存储在计算机可读存储介质中,该至少一条指令由处理器加载并执行,以实现上述实施例的掌纹识别方法或特征提取模型训练方法,或者,以实现上述实施例的特征提取模型训练方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (18)
1.一种掌纹识别方法,其特征在于,所述方法包括:
获取多个样本用户标识的样本手部图像,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到;
对每个样本手部图像进行手掌提取,得到所述多个样本用户标识的样本手掌图像;
调用特征提取模型,对每个样本手掌图像进行特征提取,得到所述每个样本手掌图像的样本掌纹特征;
根据所述多个样本用户标识的样本手掌图像,生成多个正样本图像组合和多个负样本图像组合,所述正样本图像组合包括属于同一样本用户标识的两个样本手掌图像,所述负样本图像组合包括分别属于不同样本用户标识的两个样本手掌图像;
根据得到的多个样本手掌图像的样本掌纹特征,获取每个正样本图像组合的相似度及每个负样本图像组合的相似度,所述正样本图像组合的相似度表示所述正样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度,所述负样本图像组合的相似度表示所述负样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度;
采取以下至少一项确定所述特征提取模型的损失值:
对所述多个正样本图像组合的相似度进行统计,得到所述多个正样本图像组合对应的第一统计值;对所述多个负样本图像组合的相似度进行统计,得到所述多个负样本图像组合对应的第二统计值;将所述第二统计值与所述第一统计值之间的差值,确定为所述特征提取模型的第一损失值;
根据所述多个正样本图像组合的相似度,确定第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况;对所述多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值,将所述原始统计值增加第一预设数值,得到所述多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值;
根据当前训练轮次的多个正样本图像组合的相似度,确定所述第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值;将上一个训练轮次的多个正样本图像组合对应的目标统计值增加第一预设数值,得到所述当前训练轮次的多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值;
根据所述多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况;对所述多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值,将所述原始统计值减少第一预设数值,得到所述多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值;
根据当前训练轮次的多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值;将上一个训练轮次的多个负样本图像组合对应的目标统计值减少第一预设数值,得到所述当前训练轮次的多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值;
根据确定的损失值,对所述特征提取模型进行训练;
获取目标手部图像,所述目标手部图像包含手掌;
对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像;
调用所述特征提取模型,对所述目标手掌图像进行特征提取,得到目标掌纹特征;
根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对所述目标掌纹特征进行识别处理,确定所述目标掌纹特征的目标用户标识。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述每个样本手掌图像的样本掌纹特征进行分类,得到所述每个样本手掌图像的预测用户标识;
根据多个样本手掌图像的预测用户标识与所述多个样本手掌图像的样本用户标识之间的差异,确定所述特征提取模型的第四损失值。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像,包括:
调用手掌提取模型,对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像。
4.根据权利要求1所述的方法,其特征在于,所述对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像,包括:
对所述目标手部图像进行手掌关键点检测,得到所述目标手部图像中的至少一个手掌关键点;
根据所述至少一个手掌关键点,确定所述目标手部图像中所述手掌所处的目标区域;
对所述目标手部图像的目标区域进行手掌提取,得到所述目标手掌图像。
5.根据权利要求4所述的方法,其特征在于,所述至少一个手掌关键点包括第一手掌关键点、第二手掌关键点和第三手掌关键点,所述第二手掌关键点位于所述第一手掌关键点与所述第三手掌关键点之间;
所述根据所述至少一个手掌关键点,确定所述目标手部图像中所述手掌所处的目标区域,包括:
将所述第一手掌关键点与所述第三手掌关键点之间的距离与第三预设数值的乘积,作为第一距离;
确定第四手掌关键点,所述第四手掌关键点与所述第二手掌关键点之间的距离等于所述第一距离,所述第一手掌关键点及所述第三手掌关键点构成的直线,与所述第二手掌关键点及所述第四手掌关键点构成的直线垂直;
将所述第一手掌关键点与所述第三手掌关键点之间的距离与第四预设数值的乘积,作为第二距离;
以所述第四手掌关键点为目标区域的中心,以所述第二距离为目标区域的边长,确定正方形的目标区域;或者,
以所述第四手掌关键点为目标区域的中心,以所述第二距离为目标区域的半径,确定圆形的目标区域。
6.根据权利要求1所述的方法,其特征在于,所述根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对所述目标掌纹特征进行识别处理,确定所述目标掌纹特征的目标用户标识,包括:
根据所述目标掌纹特征与所述每个预设掌纹特征之间的相似度,将所述多个预设掌纹特征中,与所述目标掌纹特征的相似度最大的预设掌纹特征,识别为相似掌纹特征;
将所述相似掌纹特征对应的用户标识,确定为所述目标用户标识。
7.根据权利要求1所述的方法,其特征在于,所述获取目标手部图像,包括:
响应于资源转移请求,采集所述目标手部图像;
所述确定所述目标手部图像的目标用户标识之后,所述方法还包括:
基于所述资源转移请求,对所述目标用户标识的资源进行转移。
8.一种特征提取模型训练方法,其特征在于,所述方法包括:
获取多个样本用户标识的样本手部图像,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到;
对每个样本手部图像进行手掌提取,得到所述多个样本用户标识的样本手掌图像;
调用特征提取模型,对每个样本手掌图像进行特征提取,得到所述每个样本手掌图像的样本掌纹特征;
根据所述多个样本用户标识的样本手掌图像,生成多个正样本图像组合和多个负样本图像组合,所述正样本图像组合包括属于同一样本用户标识的两个样本手掌图像,所述负样本图像组合包括分别属于不同样本用户标识的两个样本手掌图像;
根据得到的多个样本手掌图像的样本掌纹特征,获取每个正样本图像组合的相似度及每个负样本图像组合的相似度,所述正样本图像组合的相似度表示所述正样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度,所述负样本图像组合的相似度表示所述负样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度;
采取以下至少一项确定所述特征提取模型的损失值:
对所述多个正样本图像组合的相似度进行统计,得到所述多个正样本图像组合对应的第一统计值;对所述多个负样本图像组合的相似度进行统计,得到所述多个负样本图像组合对应的第二统计值;将所述第二统计值与所述第一统计值之间的差值,确定为所述特征提取模型的第一损失值;
根据所述多个正样本图像组合的相似度,确定第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况;对所述多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值,将所述原始统计值增加第一预设数值,得到所述多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值;
根据当前训练轮次的多个正样本图像组合的相似度,确定所述第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值;将上一个训练轮次的多个正样本图像组合对应的目标统计值增加第一预设数值,得到所述当前训练轮次的多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值;
根据所述多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况;对所述多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值,将所述原始统计值减少第一预设数值,得到所述多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值;
根据当前训练轮次的多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值;将上一个训练轮次的多个负样本图像组合对应的目标统计值减少第一预设数值,得到所述当前训练轮次的多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值;
根据确定的损失值,对所述特征提取模型进行训练。
9.一种掌纹识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取多个样本用户标识的样本手部图像,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到;
手掌提取模块,用于对每个样本手部图像进行手掌提取,得到所述多个样本用户标识的样本手掌图像;
特征提取模块,用于调用特征提取模型,对每个样本手掌图像进行特征提取,得到所述每个样本手掌图像的样本掌纹特征;
组合生成模块,用于根据所述多个样本用户标识的样本手掌图像,生成多个正样本图像组合和多个负样本图像组合,所述正样本图像组合包括属于同一样本用户标识的两个样本手掌图像,所述负样本图像组合包括分别属于不同样本用户标识的两个样本手掌图像;
损失值确定模块,用于根据所述多个样本用户标识的样本掌纹特征,确定所述特征提取模型的损失值;
所述损失值确定模块,包括:
相似度获取单元,用于根据得到的多个样本手掌图像的样本掌纹特征,获取每个正样本图像组合的相似度及每个负样本图像组合的相似度,所述正样本图像组合的相似度表示所述正样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度,所述负样本图像组合的相似度表示所述负样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度;
第一损失值确定单元,用于采取以下至少一项确定所述特征提取模型的损失值:
对所述多个正样本图像组合的相似度进行统计,得到所述多个正样本图像组合对应的第一统计值;对所述多个负样本图像组合的相似度进行统计,得到所述多个负样本图像组合对应的第二统计值;将所述第二统计值与所述第一统计值之间的差值,确定为所述特征提取模型的第一损失值;
根据所述多个正样本图像组合的相似度,确定第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况;对所述多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值,将所述原始统计值增加第一预设数值,得到所述多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值;
根据当前训练轮次的多个正样本图像组合的相似度,确定所述第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值;将上一个训练轮次的多个正样本图像组合对应的目标统计值增加第一预设数值,得到所述当前训练轮次的多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值;
根据所述多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况;对所述多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值,将所述原始统计值减少第一预设数值,得到所述多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值;
根据当前训练轮次的多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值;将上一个训练轮次的多个负样本图像组合对应的目标统计值减少第一预设数值,得到所述当前训练轮次的多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值;
模型训练模块,用于根据确定的损失值,对所述特征提取模型进行训练;
所述图像获取模块,还用于获取目标手部图像,所述目标手部图像包含手掌;
所述手掌提取模块,还用于对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像;
所述特征提取模块,还用于调用所述特征提取模型,对所述目标手掌图像进行特征提取,得到目标掌纹特征;
识别处理模块,用于根据存储的多个预设掌纹特征及每个预设掌纹特征对应的用户标识,对所述目标掌纹特征进行识别处理,确定所述目标掌纹特征的目标用户标识。
10.根据权利要求9所述的装置,其特征在于,所述损失值确定模块,包括:
特征分类单元,用于对所述每个样本手掌图像的样本掌纹特征进行分类,得到所述每个样本手掌图像的预测用户标识;
第二损失值确定单元,用于根据多个样本手掌图像的预测用户标识与所述多个样本手掌图像的样本用户标识之间的差异,确定所述特征提取模型的第四损失值。
11.根据权利要求9所述的装置,其特征在于,所述手掌提取模块,用于调用手掌提取模型,对所述目标手部图像进行手掌提取,得到所述目标手部图像的目标手掌图像。
12.根据权利要求9所述的装置,其特征在于,所述手掌提取模块,包括:
关键点检测单元,用于对所述目标手部图像进行手掌关键点检测,得到所述目标手部图像中的至少一个手掌关键点;
区域确定单元,用于根据所述至少一个手掌关键点,确定所述目标手部图像中所述手掌所处的目标区域;
手掌提取单元,用于对所述目标手部图像的目标区域进行手掌提取,得到所述目标手掌图像。
13.根据权利要求12所述的装置,其特征在于,所述至少一个手掌关键点包括第一手掌关键点、第二手掌关键点和第三手掌关键点,所述第二手掌关键点位于所述第一手掌关键点与所述第三手掌关键点之间;
所述区域确定单元,用于将所述第一手掌关键点与所述第三手掌关键点之间的距离与第三预设数值的乘积,作为第一距离;确定第四手掌关键点,所述第四手掌关键点与所述第二手掌关键点之间的距离等于所述第一距离,所述第一手掌关键点及所述第三手掌关键点构成的直线,与所述第二手掌关键点及所述第四手掌关键点构成的直线垂直;将所述第一手掌关键点与所述第三手掌关键点之间的距离与第四预设数值的乘积,作为第二距离;以所述第四手掌关键点为目标区域的中心,以所述第二距离为目标区域的边长,确定正方形的目标区域;或者,以所述第四手掌关键点为目标区域的中心,以所述第二距离为目标区域的半径,确定圆形的目标区域。
14.根据权利要求9所述的装置,其特征在于,所述识别处理模块,包括:
特征识别单元,用于根据所述目标掌纹特征与所述每个预设掌纹特征之间的相似度,将所述多个预设掌纹特征中,与所述目标掌纹特征的相似度最大的预设掌纹特征,识别为相似掌纹特征;
用户标识确定单元,用于将所述相似掌纹特征对应的用户标识,确定为所述目标用户标识。
15.根据权利要求9所述的装置,其特征在于,所述图像获取模块,包括:
图像获取单元,用于响应于资源转移请求,采集所述目标手部图像;
所述装置还包括:
资源转移模型,用于基于所述资源转移请求,对所述目标用户标识的资源进行转移。
16.一种模型训练装置,其特征在于,所述装置包括:
图像获取模块,用于获取多个样本用户标识的样本手部图像,同一个样本用户标识的多个样本手部图像通过不同类型的设备采集得到;
手掌提取模块,用于对每个样本手部图像进行手掌提取,得到所述多个样本用户标识的样本手掌图像;
特征提取模块,用于调用特征提取模型,对每个样本手掌图像进行特征提取,得到所述每个样本手掌图像的样本掌纹特征;
所述装置还包括用于执行以下步骤的模块:根据所述多个样本用户标识的样本手掌图像,生成多个正样本图像组合和多个负样本图像组合,所述正样本图像组合包括属于同一样本用户标识的两个样本手掌图像,所述负样本图像组合包括分别属于不同样本用户标识的两个样本手掌图像;
模型训练模块,用于根据得到的多个样本手掌图像的样本掌纹特征,获取每个正样本图像组合的相似度及每个负样本图像组合的相似度,所述正样本图像组合的相似度表示所述正样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度,所述负样本图像组合的相似度表示所述负样本图像组合中的两个样本手掌图像的样本掌纹特征之间的相似度;
采取以下至少一项确定所述特征提取模型的损失值:
对所述多个正样本图像组合的相似度进行统计,得到所述多个正样本图像组合对应的第一统计值;对所述多个负样本图像组合的相似度进行统计,得到所述多个负样本图像组合对应的第二统计值;将所述第二统计值与所述第一统计值之间的差值,确定为所述特征提取模型的第一损失值;
根据所述多个正样本图像组合的相似度,确定第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况;对所述多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值,将所述原始统计值增加第一预设数值,得到所述多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值;
根据当前训练轮次的多个正样本图像组合的相似度,确定所述第一分布关系数据,所述第一分布关系数据表示所述多个正样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个正样本图像组合的相似度求取均值,得到所述多个正样本图像组合对应的原始统计值;将上一个训练轮次的多个正样本图像组合对应的目标统计值增加第一预设数值,得到所述当前训练轮次的多个正样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第一目标分布关系数据;根据所述第一分布关系数据与所述第一目标分布关系数据之间的差异,确定所述特征提取模型的第二损失值;
根据所述多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况;对所述多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值,将所述原始统计值减少第一预设数值,得到所述多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值;
根据当前训练轮次的多个负样本图像组合的相似度,确定第二分布关系数据,所述第二分布关系数据表示所述多个负样本图像组合的相似度的分布情况,其中所述特征提取模型的多个训练轮次中采用的样本手部图像不同;对所述当前训练轮次的多个负样本图像组合的相似度求取均值,得到所述多个负样本图像组合对应的原始统计值;将上一个训练轮次的多个负样本图像组合对应的目标统计值减少第一预设数值,得到所述当前训练轮次的多个负样本图像组合对应的目标统计值;以所述目标统计值为均值,以第二预设数值为标准差,确定第二目标分布关系数据;根据所述第二分布关系数据与所述第二目标分布关系数据之间的差异,确定所述特征提取模型的第三损失值;
根据确定的损失值,对所述特征提取模型进行训练。
17.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1至7任一权利要求所述的掌纹识别方法;或者,以实现如权利要求8任一权利要求所述的特征提取模型训练方法。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如权利要求1至7任一权利要求所述的掌纹识别方法;或者,以实现如权利要求8任一权利要求所述的特征提取模型训练方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010659354.2A CN113515988B (zh) | 2020-07-09 | 2020-07-09 | 掌纹识别方法、特征提取模型训练方法、设备及介质 |
PCT/CN2021/098286 WO2022007559A1 (zh) | 2020-07-09 | 2021-06-04 | 掌纹识别方法、特征提取模型训练方法、设备及介质 |
US17/744,096 US20220270396A1 (en) | 2020-07-09 | 2022-05-13 | Palm print recognition method, method for training feature extraction model, device, and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010659354.2A CN113515988B (zh) | 2020-07-09 | 2020-07-09 | 掌纹识别方法、特征提取模型训练方法、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113515988A CN113515988A (zh) | 2021-10-19 |
CN113515988B true CN113515988B (zh) | 2023-05-23 |
Family
ID=78060761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010659354.2A Active CN113515988B (zh) | 2020-07-09 | 2020-07-09 | 掌纹识别方法、特征提取模型训练方法、设备及介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220270396A1 (zh) |
CN (1) | CN113515988B (zh) |
WO (1) | WO2022007559A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140723B (zh) * | 2021-12-01 | 2023-07-04 | 北京有竹居网络技术有限公司 | 多媒体数据的识别方法、装置、可读介质及电子设备 |
CN114511885B (zh) * | 2022-02-10 | 2024-05-10 | 支付宝(杭州)信息技术有限公司 | 手掌感兴趣区域提取系统和方法 |
CN118057491A (zh) * | 2022-11-21 | 2024-05-21 | 腾讯科技(深圳)有限公司 | 掌部图像的识别方法、装置、设备、存储介质及程序产品 |
CN116612501B (zh) * | 2023-07-18 | 2024-06-21 | 腾讯科技(深圳)有限公司 | 对象识别方法、装置、电子设备和计算机可读存储介质 |
CN117037221B (zh) * | 2023-10-08 | 2023-12-29 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、计算机设备及存储介质 |
CN118053181A (zh) * | 2024-01-25 | 2024-05-17 | 北京汉王智远科技有限公司 | 基于手掌特征的身份识别方法、装置、系统、电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263632A (zh) * | 2019-05-10 | 2019-09-20 | 平安科技(深圳)有限公司 | 掌纹识别方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101938033B1 (ko) * | 2012-09-05 | 2019-01-11 | 엘리먼트, 인크. | 카메라 장착 디바이스들과 관련된 생체인식 인증 |
CN110338844B (zh) * | 2015-02-16 | 2022-04-19 | 深圳迈瑞生物医疗电子股份有限公司 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
CN108416338B (zh) * | 2018-04-28 | 2021-12-14 | 深圳信息职业技术学院 | 一种非接触掌纹身份认证方法 |
CN109345553B (zh) * | 2018-08-31 | 2020-11-06 | 厦门熵基科技有限公司 | 一种手掌及其关键点检测方法、装置和终端设备 |
CN109461495B (zh) * | 2018-11-01 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
US10956704B2 (en) * | 2018-11-07 | 2021-03-23 | Advanced New Technologies Co., Ltd. | Neural networks for biometric recognition |
CN110516734B (zh) * | 2019-08-23 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 一种图像匹配方法、装置、设备及存储介质 |
CN110852216A (zh) * | 2019-10-30 | 2020-02-28 | 平安科技(深圳)有限公司 | 一种掌纹验证方法、装置、计算机设备及可读存储介质 |
CN111178403B (zh) * | 2019-12-16 | 2023-10-17 | 北京迈格威科技有限公司 | 训练属性识别模型的方法、装置、电子设备及存储介质 |
-
2020
- 2020-07-09 CN CN202010659354.2A patent/CN113515988B/zh active Active
-
2021
- 2021-06-04 WO PCT/CN2021/098286 patent/WO2022007559A1/zh active Application Filing
-
2022
- 2022-05-13 US US17/744,096 patent/US20220270396A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263632A (zh) * | 2019-05-10 | 2019-09-20 | 平安科技(深圳)有限公司 | 掌纹识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220270396A1 (en) | 2022-08-25 |
WO2022007559A1 (zh) | 2022-01-13 |
CN113515988A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113515988B (zh) | 掌纹识别方法、特征提取模型训练方法、设备及介质 | |
CN112052789A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
WO2016023264A1 (zh) | 指纹识别方法及其指纹识别装置 | |
CN106022317A (zh) | 人脸识别方法及装置 | |
Abate et al. | I-Am: implicitly authenticate me—person authentication on mobile devices through ear shape and arm gesture | |
CN112132099A (zh) | 身份识别方法、掌纹关键点检测模型训练方法和装置 | |
CN106203242A (zh) | 一种相似图像识别方法及设备 | |
CN111898412A (zh) | 人脸识别方法、装置、电子设备和介质 | |
CN105335719A (zh) | 活体检测方法及装置 | |
CN108564040B (zh) | 一种基于深度卷积特征的指纹活性检测方法 | |
CN107491729B (zh) | 基于余弦相似度激活的卷积神经网络的手写数字识别方法 | |
CN106303599A (zh) | 一种信息处理方法、系统及服务器 | |
CN110245573A (zh) | 一种基于人脸识别的签到方法、装置及终端设备 | |
Jiang | A review of the comparative studies on traditional and intelligent face recognition methods | |
CN116152870A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
CN112966626A (zh) | 人脸识别方法和装置 | |
CN111914769A (zh) | 用户合法性判定方法、装置、计算机可读存储介质及设备 | |
CN103246880A (zh) | 基于多阶局部显著模式特征统计的人脸识别方法 | |
Xi et al. | Finger vein recognition based on the hyperinformation feature | |
CN112949672A (zh) | 商品识别方法、装置、设备以及计算机可读存储介质 | |
CN112329890B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
CN111709312B (zh) | 一种基于联合主模式的局部特征人脸识别方法 | |
Lv et al. | 3D Face Recognition based on Local Conformal Parameterization and Iso‐Geodesic Stripes Analysis | |
CN112560978A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
Prayogo et al. | A Novel Approach for Face Recognition: YOLO-Based Face Detection and Facenet |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40056096 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |