CN114863499A - 一种基于联邦学习的指静脉与掌静脉识别方法 - Google Patents

一种基于联邦学习的指静脉与掌静脉识别方法 Download PDF

Info

Publication number
CN114863499A
CN114863499A CN202210754377.0A CN202210754377A CN114863499A CN 114863499 A CN114863499 A CN 114863499A CN 202210754377 A CN202210754377 A CN 202210754377A CN 114863499 A CN114863499 A CN 114863499A
Authority
CN
China
Prior art keywords
vein
model
federal learning
aggregation
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210754377.0A
Other languages
English (en)
Other versions
CN114863499B (zh
Inventor
董延杰
康文雄
连枫钊
黄俊端
曾香玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Maize Technology Co ltd
South China University of Technology SCUT
Original Assignee
Guangzhou Maize Technology Co ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Maize Technology Co ltd, South China University of Technology SCUT filed Critical Guangzhou Maize Technology Co ltd
Priority to CN202210754377.0A priority Critical patent/CN114863499B/zh
Publication of CN114863499A publication Critical patent/CN114863499A/zh
Application granted granted Critical
Publication of CN114863499B publication Critical patent/CN114863499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种基于联邦学习的指静脉与掌静脉识别方法、系统及计算机可读存储介质，方法包括以下步骤：获取手静脉图像；利用公开数据集对mobilenetV2检测模型进行联邦学习训练；将训练后的静脉检测模型mobilenetV2的卷积部分的模型参数上传至中心方；中心方进行联邦学习聚合得到若干个聚合模型；将得到的聚合模型在本地数据集中进行微调得到训练好的mobileNetV2检测模型；将手静脉图像输入至训练好的mobileNetV2检测模型提取特征向量；将提取的特征向量与预设数据库中的已注册人员的静脉特征向量计算相似度，若相似度大于预设阈值则判定当前手静脉图像属于已注册人员，识别成功。本发明降低了隐私数据泄露的风险；同时解决了数据集之间非独立同分布的问题。

Description

一种基于联邦学习的指静脉与掌静脉识别方法
技术领域
本发明涉及掌静脉识别技术领域，更具体地，涉及一种基于联邦学习的指静脉与掌静脉识别方法、系统及计算机可读存储介质。
背景技术
静脉识别是一种新兴的生物特征识别技术，该技术包括了指静脉识别与掌静脉识别。它利用手掌或者手指的静脉分布图像来进行身份识别。该技术是依据人类手部流动的血液可吸收特定波长的近红外光，当近红外光照射手部时，有一部分被血液中的脱氧血红蛋白吸收，从而使静脉纹路在图像成像时呈现深色阴影，其他非静脉区域呈现出较高亮度，进而得到手指或者手掌静脉的清晰图像。
但目前指静脉与掌静脉识别在应用时受较多因素的影响，如采集过程存在旋转偏移导致在现实场景中静脉识别精度较低；同时，由于需要专门的采集设备进行静脉图像获取，导致数据集规模较小，从而降低了现实场景所部署的模型的鲁棒性。根据特征提取和表示的不同，可将目前静脉识别的方法分为基于特征工程的静脉识别方法与基于深度相关特征学习的静脉识别方法。
基于特征工程的识别方法通过滤波器对手指或者手掌静脉图像进行增强，突出静脉纹理区域，然后通过最大曲率或者局部二值化模式等提取纹路特征，最后对提取到的特征进行相似度计算而实现认证。该方法立足于静脉图像自身的特点，实用性强，稳定性高，但其对图像清晰度要求较高并且无法较好解决手部旋转偏移问题。
基于深度特征学习的识别方法通过神经网络来自主学习手指或手掌静脉图像中的特征来进行身份识别。神经网络可以自动提取静脉图像中识别性较强的特征，对该特征进行相似度计算进而实施认证。由于深度学习近几年的迅猛发展，模型学习到的提取特征能力越来越强，识别精度逐渐提升。但其对数据质量和数据集规模要求较高。
现有技术公开了一种基于多模态融合的静脉识别方法，该方法不仅涉及到指静脉掌静脉模态，还包含了指纹，掌纹，指型等模态。虽然多模态融合可以在一定程度上增强模型的特征提取能力与鲁棒性，但是需要花费不少时间人工分析与设计融合细节。同时，采用多模态的训练方式需要收集更多的生物特征识别数据，这对于用户的隐私保护是一大威胁。
发明内容
本发明提供了一种基于联邦学习的指静脉与掌静脉识别方法、系统及计算机可读存储介质，降低了多个数据方进行合作训练时隐私数据泄露的风险，解决数据集之间非独立同分布的问题。
本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：
一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，包括以下步骤：
S1、获取手静脉图像；
S2、利用公开数据集对mobilenetV2检测模型进行联邦学习训练；
S3、将训练后的静脉检测模型mobilenetV2的卷积部分的模型参数上传至中心方，其中，所述中心方是一个信任的第三方机构，负责对参与联邦学习的所有客户端进行模型整合；
S4、中心方进行联邦学习聚合得到若干个聚合模型；
S5将得到的聚合模型在本地数据集中进行微调得到训练好的mobileNetV2检测模型；
S6、将手静脉图像输入至训练好的mobileNetV2检测模型提取特征向量；
S7、将提取的特征向量与预设数据库中的已注册人员的静脉特征向量计算相似度，若相似度大于预设阈值则判定当前手静脉图像属于已注册人员，识别成功。
进一步的，所述获取手静脉图像包括：采用红外摄像装置分别获取原始手指静脉灰度图、原始手掌静脉灰度图。
进一步的，在对mobilenetV2检测模型进行联邦学习训练中，将mobilenetV2检测模型的卷积部分与全连接层部分分割开，在训练过程中，将公开数据集分隔为N个数据集，将N个数据集作为N个客户端，所述客户端用于模拟现实场景中含有不同指静脉与掌静脉数据集的机构， 每一个客户端在接收中心方下发的训练模型之后，仅使用客户端对应的数据集对训练模型进行迭代更新。
进一步的，使用客户端对应的数据集对训练模型训练了2~3个epoch后，将训练模型的卷积部分的模型参数传输给中心方。
进一步的，中心方采用N-model的个性化联邦学习聚合方式，中心方为每一个客户端执行一套聚合权重，从而产生N个聚合模型，N为所有客户端的个数。
进一步的，不同客户端采用不同的聚合权重，所述聚合权重的设计过程为：首先根据所有客户端数据集大小设置每个客户端的初始聚合权重，并对初始聚合权重等比缩放,设缩放后初始权重的和记为W;
中心方获取所有客户端的模型参数；
中心方利用缩放后的初始权重计算每个客户端的模型参数，每次计算指定客户端的模型参数时，需要将指定客户端缩放后的初始权重+（1-W）作为当前指定客户端的权重参与计算。
进一步的，将手静脉图像输入至训练后的mobileNetV2检测模型，在全连接层中获取静脉对应的特征向量。
进一步的，所述计算相似度采用欧氏距离作为距离度量。
本发明第二方面提供了一种基于联邦学习的指静脉与掌静脉识别系统，该系统包括：存储器、处理器，所述存储器中包括一种基于联邦学习的指静脉与掌静脉识别方法程序，所述一种基于联邦学习的指静脉与掌静脉识别方法程序被所述处理器执行时实现如下步骤：
S1、获取手静脉图像；
S2、利用公开数据集对mobilenetV2检测模型进行联邦学习训练；
S3、将训练后的静脉检测模型mobilenetV2的卷积部分的模型参数上传至中心方，其中，所述中心方是一个信任的第三方机构，负责对参与联邦学习的所有客户端进行模型整合；
S4、中心方进行联邦学习聚合得到若干个聚合模型；
S5将得到的聚合模型在本地数据集中进行微调得到训练好的mobileNetV2检测模型；
S6、将手静脉图像输入至训练好的mobileNetV2检测模型提取特征向量；
S7、将提取的特征向量与预设数据库中的已注册人员的静脉特征向量计算相似度，若相似度大于预设阈值则判定当前手静脉图像属于已注册人员，识别成功。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于联邦学习的指静脉与掌静脉识别方法程序，所述基于联邦学习的指静脉与掌静脉识别方法程序被处理器执行时，实现所述的一种基于联邦学习的指静脉与掌静脉识别方法的步骤。
与现有技术相比，本发明技术方案的有益效果是：
本发明采用联邦学习的方式将通过将训练模型下发至每个客户端进行训练，避免将客户端对应的数据集上传，降低了隐私数据泄露的风险；同时通过使用迁移学习的方式对最终模型进行微调，使得训练完的模型既可以集合所有用户的知识，又可以使得网络偏向于本地数据集，从而解决数据集之间非独立同分布的问题。
附图说明
图1为本发明实施例一种基于联邦学习的指静脉与掌静脉识别方法流程图。
图2为本发明实施例一种基于联邦学习的指静脉与掌静脉识别系统框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例1
如图1所示，一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，包括以下步骤：
S1、获取手静脉图像；
需要说明的是，在本发明中获取手静脉图像包括：采用红外摄像装置分别获取原始手指静脉灰度图、原始手掌静脉灰度图，需要说明的是，在一个具体的应用场景中可以是针对手指静脉的识别也可以针对手掌静脉的识别（如掌心），或者是手指和手掌（掌心）组成的手部手脉识别，本发明分别获取手指静脉灰度图和手掌静脉灰度图可以满足不同的应用场景需要。
S2、利用公开数据集对mobilenetV2检测模型进行联邦学习训练；
需要说明的是，在对mobilenetV2检测模型进行联邦学习训练中，将mobilenetV2检测模型的卷积部分与全连接层部分分割开，在训练过程中，将公开数据集分隔为N个数据集，将N个数据集作为N个客户端，所述客户端用于模拟现实场景中含有不同指静脉与掌静脉数据集的机构，每一个客户端在接收中心方下发的训练模型之后，仅使用客户端对应的数据集对训练模型进行迭代更新。
需要说明的是，现有技术中指静脉与掌静脉识别方法采用数据扩增或者多个数据集融合的方式来提升模型鲁棒性。数据扩增是通过旋转，仿射变换，翻转等方式生成更多的数据，但是生成的数据依旧会局限在原先数据集的分布中。数据集融合是通过将不同机构所拥有的数据集进行融合，提高数据量来增加模型的鲁棒性。但是机构之间的数据集分布会存在差异，从而导致融合效果变差，而且融合过程需要将数据集要贡献给合作方，这会导致用户的隐私数据泄露。
本发明采用联邦学习的方式，通过将训练模型下发至每个客户端进行训练，避免将客户端对应的数据集上传，降低了隐私数据泄露的风险。
S3、将训练后的静脉检测模型mobilenetV2的卷积部分的模型参数上传至中心方；
需要说明的是，使用客户端对应的数据集对训练模型训练了2~3个epoch后，将训练模型的卷积部分的模型参数传输给中心方。
S4、中心方进行联邦学习聚合得到若干个聚合模型；
需要说明的是，本发明中心方采用N-model的个性化联邦学习聚合方式，中心方为每一个客户端执行一套聚合权重，从而产生N个聚合模型，N为所有客户端的个数。不同客户端采用不同的聚合权重，所述聚合权重的设计过程为：
首先根据所有客户端数据集大小设置每个客户端的初始聚合权重，并对初始聚合权重等比缩放,设缩放后初始权重的和记为W;
中心方获取所有客户端的模型参数；
中心方利用缩放后的初始权重计算每个客户端的模型参数，每次计算指定客户端的模型参数时，需要将指定客户端缩放后的初始权重+（1-W）作为当前指定客户端的权重参与计算。
例如，有3个客户端，客户端的数据集大小（即数据量）分别为 10、30、60。则设置的初始聚合权重分别为 0.1、0.3、0.6（进行了归一化，因此初始聚合权重和为1）。对所有初始权重进行等比缩放，都乘上 0.9，变成了0.09 、 0.27 、 0.54 ，此时缩放后的初始权重之和为0.9，即W=0.9，则1-W=0.1。为了达到归一化的效果，需要分配剩下0.1的权重。中心方获取三个客户端的模型参数（w1，w2，w3），然后对三个客户端分别执行三套个性化的聚合权重，最后的权重变成：
中心方针对数据量为10的客户端所计算的模型参数：
W = (0.1+0.09)*w1+0.27*w2+0.54*w3；
中心方针对数据量为30的客户端所计算的模型参数：
W = 0.09*w1+(0.27+0.1)*w2+0.54*w3；
中心方针对数据量为60的客户端所计算的模型参数：
W = 0.09*w1+0.27*w2+(0.1+0.54)*w3。
S5、将得到的聚合模型在本地数据集中进行微调得到训练好的mobileNetV2检测模型；
需要说明的是，联邦学习主要是通过将所有用户的网络进行聚合，从而训练出一个全局网络。本发明可以在不暴露用户的隐私数据的情况下，联合多个用户合作训练。但是在机构采集静脉数据时，不同机构所采集的人员来自不同的国家与地区，同时采集设备无法统一，导致了不同客户端之间的数据集类别无交集，非独立同分布大。这种情况会对基于联邦学习的静脉识别算法的准确率造成影响。本发明通过使用迁移学习的方式对最终本地模型进行微调，使得训练完的模型既可以集合所有用户的知识，又可以使得网络偏向于自己的本地数据集。从而解决数据集之间非独立同分布的问题。
S6、将手静脉图像输入至训练好的mobileNetV2检测模型提取特征向量；
需要说明的是，将手静脉图像输入至训练后的mobileNetV2检测模型，在全连接层中获取静脉对应的特征向量。
S7、将提取的特征向量与预设数据库中的已注册人员的静脉特征向量计算相似度，若相似度大于预设阈值则判定当前手静脉图像属于已注册人员，识别成功。
需要说明的是，在本发明中计算相似度采用欧氏距离计算，本发明并不限制具体的相似度计算方法，例如还可以采用曼哈顿距离、汉明距离等。
实施例2
如图2所示，本发明第二方面提供了一种基于联邦学习的指静脉与掌静脉识别系统，该系统包括：存储器、处理器，所述存储器中包括一种基于联邦学习的指静脉与掌静脉识别方法程序，所述一种基于联邦学习的指静脉与掌静脉识别方法程序被所述处理器执行时实现如下步骤：
S1、获取手静脉图像；
需要说明的是，在本发明中获取手静脉图像包括：采用红外摄像装置分别获取原始手指静脉灰度图、原始手掌静脉灰度图，需要说明的是，在一个具体的应用场景中可以是针对手指静脉的识别也可以针对手掌静脉的识别（如掌心），或者是手指和手掌（掌心）组成的手部手脉识别，本发明分别获取手指静脉灰度图和手掌静脉灰度图可以满足不同的应用场景需要。
S2、利用公开数据集对mobilenetV2检测模型进行联邦学习训练；
需要说明的是，在对mobilenetV2检测模型进行联邦学习训练中，将mobilenetV2检测模型的卷积部分与全连接层部分分割开，在训练过程中，将公开数据集分隔为N个数据集，将N个数据集作为N个客户端，所述客户端用于模拟现实场景中含有不同指静脉与掌静脉数据集的机构，每一个客户端在接收中心方下发的训练模型之后，仅使用客户端对应的数据集对训练模型进行迭代更新。
需要说明的是，现有技术中指静脉与掌静脉识别方法采用数据扩增或者多个数据集融合的方式来提升模型鲁棒性。数据扩增是通过旋转，仿射变换，翻转等方式生成更多的数据，但是生成的数据依旧会局限在原先数据集的分布中。数据集融合是通过将不同机构所拥有的数据集进行融合，提高数据量来增加模型的鲁棒性。但是机构之间的数据集分布会存在差异，从而导致融合效果变差，而且融合过程需要将数据集要贡献给合作方，这会导致用户的隐私数据泄露。
本发明采用联邦学习的方式，通过将训练模型下发至每个客户端进行训练，避免将客户端对应的数据集上传，降低了隐私数据泄露的风险。
S3、将训练后的静脉检测模型mobilenetV2的卷积部分的模型参数上传至中心方；
需要说明的是，使用客户端对应的数据集对训练模型训练了2~3个epoch后，将训练模型的卷积部分的模型参数传输给中心方。
S4、中心方进行联邦学习聚合得到若干个聚合模型；
需要说明的是，本发明中心方采用N-model的个性化联邦学习聚合方式，中心方为每一个客户端执行一套聚合权重，从而产生N个聚合模型，N为所有客户端的个数。不同客户端采用不同的聚合权重，所述聚合权重的设计过程为：
首先根据所有客户端数据集大小设置每个客户端的初始聚合权重，并对初始聚合权重等比缩放,设缩放后初始权重的和记为W;
中心方获取所有客户端的模型参数；
中心方利用缩放后的初始权重计算每个客户端的模型参数，每次计算指定客户端的模型参数时，需要将指定客户端缩放后的初始权重+（1-W）作为当前指定客户端的权重参与计算。
例如，有3个客户端，客户端的数据集大小（即数据量）分别为 10、30、60。则设置的初始聚合权重分别为 0.1、0.3、0.6（进行了归一化，因此初始聚合权重和为1）。对所有初始权重进行等比缩放，都乘上 0.9，变成了0.09 、 0.27 、 0.54 ，此时缩放后的初始权重之和为0.9，即W=0.9，则1-W=0.1。为了达到归一化的效果，需要分配剩下0.1的权重。中心方获取三个客户端的模型参数（w1，w2，w3），然后对三个客户端分别执行三套个性化的聚合权重，最后的权重变成：
中心方针对数据量为10的客户端所计算的模型参数：
W = (0.1+0.09)*w1+0.27*w2+0.54*w3；
中心方针对数据量为30的客户端所计算的模型参数：
W = 0.09*w1+(0.27+0.1)*w2+0.54*w3；
中心方针对数据量为60的客户端所计算的模型参数：
W = 0.09*w1+0.27*w2+(0.1+0.54)*w3。
S5、将得到的聚合模型在本地数据集中进行微调得到训练好的mobileNetV2检测模型；
需要说明的是，联邦学习主要是通过将所有用户的网络进行聚合，从而训练出一个全局网络。本发明可以在不暴露用户的隐私数据的情况下，联合多个用户合作训练。但是在机构采集静脉数据时，不同机构所采集的人员来自不同的国家与地区，同时采集设备无法统一，导致了不同客户端之间的数据集类别无交集，非独立同分布大。这种情况会对基于联邦学习的静脉识别算法的准确率造成影响。本发明通过使用迁移学习的方式对最终本地模型进行微调，使得训练完的模型既可以集合所有用户的知识，又可以使得网络偏向于自己的本地数据集。从而解决数据集之间非独立同分布的问题。
S6、将手静脉图像输入至训练好的mobileNetV2检测模型提取特征向量；
需要说明的是，将手静脉图像输入至训练后的mobileNetV2检测模型，在全连接层中获取静脉对应的特征向量。
S7、将提取的特征向量与预设数据库中的已注册人员的静脉特征向量计算相似度，若相似度大于预设阈值则判定当前手静脉图像属于已注册人员，识别成功。
需要说明的是，在本发明中计算相似度采用欧氏距离计算，本发明并不限制具体的相似度计算方法，例如还可以采用曼哈顿距离、汉明距离等。
实施例3
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于联邦学习的指静脉与掌静脉识别方法程序，所述基于联邦学习的指静脉与掌静脉识别方法程序被处理器执行时，实现所述的一种基于联邦学习的指静脉与掌静脉识别方法的步骤。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，包括以下步骤：
S1、获取手静脉图像；
S2、利用公开数据集对mobilenetV2检测模型进行联邦学习训练；
S3、将训练后的静脉检测模型mobilenetV2的卷积部分的模型参数上传至中心方，其中，所述中心方是一个信任的第三方机构，负责对参与联邦学习的所有客户端进行模型整合；
S4、中心方进行联邦学习聚合得到若干个聚合模型；
S5、将得到的聚合模型在本地数据集中进行微调得到训练好的mobileNetV2检测模型；
S6、将手静脉图像输入至训练好的mobileNetV2检测模型提取特征向量；
S7、将提取的特征向量与预设数据库中的已注册人员的静脉特征向量计算相似度，若相似度大于预设阈值则判定当前手静脉图像属于已注册人员，识别成功。
2.根据权利要求1所述的一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，所述获取手静脉图像包括：采用红外摄像装置分别获取原始手指静脉灰度图、原始手掌静脉灰度图。
3.根据权利要求1所述的一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，在对mobilenetV2检测模型进行联邦学习训练中，将mobilenetV2检测模型的卷积部分与全连接层部分分割开，在训练过程中，将公开数据集分隔为N个数据集，将N个数据集作为N个客户端，所述客户端用于模拟现实场景中含有不同指静脉与掌静脉数据集的机构，每一个客户端在接收中心方下发的训练模型之后，仅使用客户端对应的数据集对训练模型进行迭代更新。
4.根据权利要求3所述的一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，使用客户端对应的数据集对训练模型训练了2~3个epoch后，将训练模型的卷积部分的模型参数传输给中心方。
5.根据权利要求1所述的一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，中心方采用N-model的个性化联邦学习聚合方式，中心方为每一个客户端执行一套聚合权重，从而产生N个聚合模型，N为所有客户端的个数。
6.根据权利要求5所述的一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，不同客户端采用不同的聚合权重，所述聚合权重的设计过程为：
首先根据所有客户端数据集大小设置每个客户端的初始聚合权重，并对初始聚合权重等比缩放,设缩放后初始权重的和记为W；
中心方获取所有客户端的模型参数；
中心方利用缩放后的初始权重计算每个客户端的模型参数，每次计算指定客户端的模型参数时，需要将指定客户端缩放后的初始权重+（1-W）作为当前指定客户端的权重参与计算。
7.根据权利要求1所述的一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，将手静脉图像输入至训练后的mobileNetV2检测模型，在全连接层中获取静脉对应的特征向量。
8.根据权利要求1所述的一种基于联邦学习的指静脉与掌静脉识别方法，其特征在于，计算相似度采用欧氏距离进行计算。
9.一种基于联邦学习的指静脉与掌静脉识别系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于联邦学习的指静脉与掌静脉识别方法程序，所述一种基于联邦学习的指静脉与掌静脉识别方法程序被所述处理器执行时实现如下步骤：
S1、获取手静脉图像；
S2、利用公开数据集对mobilenetV2检测模型进行联邦学习训练；
S3、将训练后的静脉检测模型mobilenetV2的卷积部分的模型参数上传至中心方，其中，所述中心方是一个信任的第三方机构，负责对参与联邦学习的所有客户端进行模型整合；
S4、中心方进行联邦学习聚合得到若干个聚合模型；
S5、将得到的聚合模型在本地数据集中进行微调得到训练好的mobileNetV2检测模型；
S6、将手静脉图像输入至训练好的mobileNetV2检测模型提取特征向量；
S7、将提取的特征向量与预设数据库中的已注册人员的静脉特征向量计算相似度，若相似度大于预设阈值则判定当前手静脉图像属于已注册人员，识别成功。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于联邦学习的指静脉与掌静脉识别方法程序，所述基于联邦学习的指静脉与掌静脉识别方法程序被处理器执行时，实现如权利要求1至8中任一项所述的一种基于联邦学习的指静脉与掌静脉识别方法的步骤。
CN202210754377.0A 2022-06-30 2022-06-30 一种基于联邦学习的指静脉与掌静脉识别方法 Active CN114863499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210754377.0A CN114863499B (zh) 2022-06-30 2022-06-30 一种基于联邦学习的指静脉与掌静脉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210754377.0A CN114863499B (zh) 2022-06-30 2022-06-30 一种基于联邦学习的指静脉与掌静脉识别方法

Publications (2)

Publication Number Publication Date
CN114863499A true CN114863499A (zh) 2022-08-05
CN114863499B CN114863499B (zh) 2022-12-13

Family

ID=82626288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210754377.0A Active CN114863499B (zh) 2022-06-30 2022-06-30 一种基于联邦学习的指静脉与掌静脉识别方法

Country Status (1)

Country Link
CN (1) CN114863499B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058727A (zh) * 2023-07-18 2023-11-14 广州脉泽科技有限公司 一种基于图像增强的手部静脉图像识别方法及装置
CN117576742A (zh) * 2023-11-21 2024-02-20 南京林业大学 一种基于分块联邦学习的手指静脉识别方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321870A (zh) * 2019-07-11 2019-10-11 西北民族大学 一种基于lstm的掌静脉识别方法
CN110555382A (zh) * 2019-07-31 2019-12-10 浙江理工大学 一种基于深度学习和Wasserstein距离度量的指静脉识别方法
CN110555380A (zh) * 2019-07-30 2019-12-10 浙江理工大学 基于Center Loss损失函数的指静脉识别方法
US20200342204A1 (en) * 2019-04-23 2020-10-29 Melux Technology Co., Ltd. Instantaneous search and comparison method for large-scale distributed palm vein micro-feature data
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN112668913A (zh) * 2020-12-31 2021-04-16 深圳前海微众银行股份有限公司 基于联邦学习的网络构建方法、装置、设备及存储介质
WO2021121106A1 (zh) * 2019-12-20 2021-06-24 深圳前海微众银行股份有限公司 基于联邦学习的个性化推荐方法、装置、设备及介质
CN113128701A (zh) * 2021-04-07 2021-07-16 中国科学院计算技术研究所 面向样本稀疏性的联邦学习方法及系统
CN113205863A (zh) * 2021-06-04 2021-08-03 广西师范大学 基于蒸馏的半监督联邦学习的个性化模型的训练方法
CN113282960A (zh) * 2021-06-11 2021-08-20 北京邮电大学 一种基于联邦学习的隐私计算方法、装置、系统及设备
CN113571203A (zh) * 2021-07-19 2021-10-29 复旦大学附属华山医院 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统
CN113657607A (zh) * 2021-08-05 2021-11-16 浙江大学 一种面向联邦学习的连续学习方法
CN113806735A (zh) * 2021-08-20 2021-12-17 北京工业大学 一种执行与评价双网络个性化联邦学习入侵检测方法及系统
CN114154643A (zh) * 2021-11-09 2022-03-08 浙江师范大学 基于联邦蒸馏的联邦学习模型的训练方法、系统和介质
CN114299559A (zh) * 2021-12-27 2022-04-08 杭州电子科技大学 基于轻量级融合全局与局部特征网络的指静脉识别方法
CN114357067A (zh) * 2021-12-15 2022-04-15 华南理工大学 一种针对数据异构性的个性化联邦元学习方法
CN114448601A (zh) * 2022-03-01 2022-05-06 南京航空航天大学 基于端边云架构的分布式联邦学习的安全防御方法及应用
CN114492833A (zh) * 2021-12-29 2022-05-13 上海智能网联汽车技术中心有限公司 基于梯度记忆的车联网联邦学习分层知识安全迁移方法
CN114580663A (zh) * 2022-03-01 2022-06-03 浙江大学 面向数据非独立同分布场景的联邦学习方法及系统

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200342204A1 (en) * 2019-04-23 2020-10-29 Melux Technology Co., Ltd. Instantaneous search and comparison method for large-scale distributed palm vein micro-feature data
CN110321870A (zh) * 2019-07-11 2019-10-11 西北民族大学 一种基于lstm的掌静脉识别方法
CN110555380A (zh) * 2019-07-30 2019-12-10 浙江理工大学 基于Center Loss损失函数的指静脉识别方法
CN110555382A (zh) * 2019-07-31 2019-12-10 浙江理工大学 一种基于深度学习和Wasserstein距离度量的指静脉识别方法
WO2021121106A1 (zh) * 2019-12-20 2021-06-24 深圳前海微众银行股份有限公司 基于联邦学习的个性化推荐方法、装置、设备及介质
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN112668913A (zh) * 2020-12-31 2021-04-16 深圳前海微众银行股份有限公司 基于联邦学习的网络构建方法、装置、设备及存储介质
CN113128701A (zh) * 2021-04-07 2021-07-16 中国科学院计算技术研究所 面向样本稀疏性的联邦学习方法及系统
CN113205863A (zh) * 2021-06-04 2021-08-03 广西师范大学 基于蒸馏的半监督联邦学习的个性化模型的训练方法
CN113282960A (zh) * 2021-06-11 2021-08-20 北京邮电大学 一种基于联邦学习的隐私计算方法、装置、系统及设备
CN113571203A (zh) * 2021-07-19 2021-10-29 复旦大学附属华山医院 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统
CN113657607A (zh) * 2021-08-05 2021-11-16 浙江大学 一种面向联邦学习的连续学习方法
CN113806735A (zh) * 2021-08-20 2021-12-17 北京工业大学 一种执行与评价双网络个性化联邦学习入侵检测方法及系统
CN114154643A (zh) * 2021-11-09 2022-03-08 浙江师范大学 基于联邦蒸馏的联邦学习模型的训练方法、系统和介质
CN114357067A (zh) * 2021-12-15 2022-04-15 华南理工大学 一种针对数据异构性的个性化联邦元学习方法
CN114299559A (zh) * 2021-12-27 2022-04-08 杭州电子科技大学 基于轻量级融合全局与局部特征网络的指静脉识别方法
CN114492833A (zh) * 2021-12-29 2022-05-13 上海智能网联汽车技术中心有限公司 基于梯度记忆的车联网联邦学习分层知识安全迁移方法
CN114448601A (zh) * 2022-03-01 2022-05-06 南京航空航天大学 基于端边云架构的分布式联邦学习的安全防御方法及应用
CN114580663A (zh) * 2022-03-01 2022-06-03 浙江大学 面向数据非独立同分布场景的联邦学习方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALYSA ZIYING TAN ET AL.: "Towards Personalized Federated Learning", 《ARXIV:2103.00710V3》 *
JUNDUAN HUANG ET AL.: "FVT: Finger Vein Transformer for Authentication", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
李剑: "非独立同分布数据下的联邦学习算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058727A (zh) * 2023-07-18 2023-11-14 广州脉泽科技有限公司 一种基于图像增强的手部静脉图像识别方法及装置
CN117058727B (zh) * 2023-07-18 2024-04-02 广州脉泽科技有限公司 一种基于图像增强的手部静脉图像识别方法及装置
CN117576742A (zh) * 2023-11-21 2024-02-20 南京林业大学 一种基于分块联邦学习的手指静脉识别方法

Also Published As

Publication number Publication date
CN114863499B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
Bounneche et al. Multi-spectral palmprint recognition based on oriented multiscale log-Gabor filters
CN114863499B (zh) 一种基于联邦学习的指静脉与掌静脉识别方法
Feng et al. Multi-cues eye detection on gray intensity image
US20190138807A1 (en) Iris liveness detection for mobile devices
Zhang et al. Hand-drawn face sketch recognition by humans and a pca-based algorithm for forensic applications
CN102844766A (zh) 基于人眼图像的多特征融合身份识别方法
WO2020088029A1 (zh) 活体检验方法、存储介质和电子设备
Zhao et al. Trustworthy authorization method for security in Industrial Internet of Things
CN107563319A (zh) 一种基于图像的亲子间人脸相似性度量计算方法
Hossain et al. Next generation identity verification based on face-gait Biometrics
Paul et al. Rotation invariant multiview face detection using skin color regressive model and support vector regression
Hossain et al. Human identity verification by using physiological and behavioural biometric traits
Qin et al. Finger-vein image quality evaluation based on the representation of grayscale and binary image
Atzori et al. Demographic bias in low-resolution deep face recognition in the wild
Fei et al. Learning spectrum-invariance representation for cross-spectral palmprint recognition
Aslam et al. Gender classification based on isolated facial features and foggy faces using jointly trained deep convolutional neural network
Ibrahim et al. A hyprid technique for human footprint recognition
Ozkaya et al. Discriminative common vector based finger knuckle recognition
Arbab‐Zavar et al. On forensic use of biometrics
US20220277579A1 (en) Clustered dynamic graph convolutional neural network (cnn) for biometric three-dimensional (3d) hand recognition
Bharath et al. A novel multimodal hand database for biometric authentication
Borah et al. ANN based human facial expression recognition in color images
Narhar et al. Highly secure authentication scheme
Kavita et al. A Contemporary Survey of Multimodal Presentation Attack Detection Techniques: Challenges and Opportunities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant