CN114882582A - 基于联邦学习模式的步态识别模型训练方法与系统 - Google Patents

基于联邦学习模式的步态识别模型训练方法与系统 Download PDF

Info

Publication number
CN114882582A
CN114882582A CN202210355478.0A CN202210355478A CN114882582A CN 114882582 A CN114882582 A CN 114882582A CN 202210355478 A CN202210355478 A CN 202210355478A CN 114882582 A CN114882582 A CN 114882582A
Authority
CN
China
Prior art keywords
local
gait
model parameters
recognition model
gait recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210355478.0A
Other languages
English (en)
Inventor
李子琼
于仕琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202210355478.0A priority Critical patent/CN114882582A/zh
Publication of CN114882582A publication Critical patent/CN114882582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联邦学习模式的步态识别模型训练方法及系统，方法包括步骤：对客户端本地步态数据进行预处理；服务器端初始化全局模型参数、当前通讯次数以及总通讯次数；客户端收到服务器端传送的对应本地步态识别模型的全局模型参数后，采用预处理后的本地步态数据对本地步态识别模型进行训练并将训练后的本地模型参数发送到服务器端；服务器端采用聚合函数对上传的所有本地模型参数进行聚合，更新全局模型参数并将本地模型参数分别发送至各对应的客户端；重复上述步骤直到总通讯次数达到规定阈值。实施本发明，实现了多方本地模型数据进行同时却不集中的训练，并且具有较强的鲁棒性和泛化性。

Description

基于联邦学习模式的步态识别模型训练方法与系统
技术领域
本发明涉及步态识别技术领域，特别涉及一种基于联邦学习模式的步态识别模型训练方法与系统。
背景技术
步态识别是一种生物特征识别技术，可通过一个人的步态模式来识别他的身份。与其他生物特征识别技术(例如人脸、指纹、掌纹等)不同的是，步态识别具有独特的特点，包括远距离识别、非接触式以及难以伪造性。随着深度神经网络的发展，步态识别的性能有极大的提升。由于步态数据受多方因素的影响，如相机角度，服装，携带物等，基于深度学习的步态识别需要大量且多样的步态轮廓序列进行训练，以此获得泛化性强的深度学习模型。然而，目前各个国家都十分重视生物隐私，纷纷出台法规以保护公民隐私不受侵犯。《通用数据保护条例》(GDPR)是欧盟公布的一项隐私和数据保护法规。《通用数据保护条例》要求企业严格地保护用户的隐私，不可在用户不知情下对用户的信息进行泄露。《通用数据保护条例》保护的隐私信息包含了身份信息、网络数据、生物特征信息等。类似的法规还有《加州消费者隐私法案》以及《中国数据安全法》等。由于以上所述法规的提出，生物特征数据的收集存在一定的困难。
联邦学习是在各参与方不泄露数据的前提下，即在本地进行训练，对各参与方的数据进行联合学习建模并优化，寻找最优的全局模型。所谓参与方是指不同的机构或者具有一定算力的计算设备，例如医院与学校或者手机与电脑等。所谓机器学习模型是指由一系列神经网络单元组成的模型；建模优化过程是指在机器学习模型结构一定的情况下，更改该模型参数，使得该模型能够更好地拟合训练和测试数据。通常，根据数据分布的特点，联邦学习可被分为两种类型：横向联邦学习和纵向联邦学习。横向联邦学习代表各参与方的训练数据拥有相同的特征空间但具有不同的样本空间的场景。所谓样本空间是指数据所属的类别。目前步态识别的场景符合横向联邦学习的范畴。目前，横向联邦学习中最流行的算法便是FedAvg算法，FedAvg算法通过平均化各参与方的训练参数使得各参与方训练时能够能快地收敛并且训练的模型更具有泛化性。
但是，现在还没有一种避免用户隐私数据泄露的步态识别方案。
发明内容
在步态识别过程中，必然会获取用户的身份信息，如何在识别过程中，对识别出来的用户身份隐私数据进行保护，保障识别数据的安全性，避免出现法律风险，是当前亟待解决的一个问题。
针对上述问题，提出一种基于联邦学习模式的步态识别模型训练方法与系统，通过利用客户端对获取的对应本地步态识别模型的全局模型参数对本地步态识别模型单元进行训练，对本地模型参数进行更新，并将更新后的本地模型参数发送到服务器端，并利用服务器对接收到的本地模型参数进行聚合，并对全局步态识别模型单元进行训练，对相应的全局模型参数进行更新，并将更新后的对应所述本地模型参数的全局模型参数分别发送到多个客户端，实现了多方本地模型数据进行同时却不集中的训练，并且具有较强的鲁棒性和泛化性。
第一方面，一种基于联邦学习模式的步态识别模型训练方法，包括：
步骤100、对客户端本地步态数据进行预处理；
步骤200、服务器端初始化全局模型参数、当前通讯次数以及总通讯次数；
步骤300、客户端收到服务器端传送的对应本地步态识别模型的全局模型参数后，采用预处理后的本地步态数据对本地步态识别模型进行训练并将训练后的本地模型参数发送到服务器端；
步骤400、服务器端采用聚合函数对上传的所有本地模型参数进行聚合，更新全局模型参数并将本地模型参数分别发送至各对应的客户端；
步骤500、重复步骤300-步骤400，直到总通讯次数达到规定阈值；
其中，所述全局模型参数用于与服务器端通讯的多个客户端本地步态识别模型参数的更新，当前通讯次数用于记录当前联邦通讯的次数，总通讯次数用于限制联邦通讯的次数。
结合本发明第一方面所述的基于联邦学习模式的步态识别模型训练方法，第一种可能的实施方式中，所述步骤100包括：
步骤110、对采集的步态视频进行目标检测；
步骤120、对目标检测框中的内容进行抠取，获得原始图像；
步骤130、对所述原始图像前后背景分离得到二值图像；
步骤140、将所述二值图像经过归一化得到t时刻步态轮廓图像xt；
步骤150、重复步骤110-步骤140，获取步态轮廓序列：
X＝{x1,x2,...,xt,...,xk} (1)
其中，k为步态轮廓序列的长度，优选地，k的取值范围为[24,32]。
结合本发明第一方面第一种可能的实施方式，第二种可能的实施方式中，所述步骤110包括：
步骤111、采用目标检测SSD算法对获取的步态视频进行目标检测，以获取目标检测框位置；
步骤112、使用所述目标检测框位置对检测到的行人图像信息进行标记。
结合本发明第一方面第一种可能的实施方式，第三种可能的实施方式中，所述步骤130包括：
步骤131、对所述原始图像进行灰度化处理，获取灰度图像；
步骤132、采用图像分割Ostu算法对灰度图进行前后背景分离，获取二值图像；
其中，背景置为黑色，行人前景置为白色。
结合本发明第一方面第一种可能的实施方式，第四种可能的实施方式中，所述步骤140包括：
步骤141、对所述二值图像进行像素检索，获取最顶端和最底端的白色像素的位置；
步骤142、对所述二值图像进行裁剪，去除最顶端以上的图像以及最底端以下的图像，获得裁剪后的二值图像；
步骤143、将裁剪后的二值图像缩放为固定比例，得到t时刻步态轮廓图像xt。
结合本发明第一方面所述的步态识别模型训练方法，第五种可能的实施方式中，所述步骤300包括：
步骤310、初始化本地训练迭代次数以及当前迭代次数；
步骤320、将全局模型参数前向输入到本地步态识别模型，得到步态特征和预测的步态特征类别；
步骤330、通过本地损失函数约束所述步态特征的生成和所述步态特征类别的判断；
步骤340、重复步骤310-步骤330对本地步态识别模型参数及当前迭代次数进行更新，直到当前迭代次数达到本地训练迭代次数阈值。
结合本发明第一方面第五种可能的实施方式，第六种可能的实施方式中，所述步骤330包括：
步骤331、根据不同的步态特征及设定的边界值获取三元组损失函数Ltriplet：
Figure BDA0003582337740000041
其中，N为三元组个数，优选地，N的取值范围为[8,32]，i的取值范围是[1,N]fi a和fi p表示来自同一个人的不同序列提取的特征，fi a和fi n表示来自不同人的步态序列提取的特征，m为边界值，优选地，m的取值范围是[0.1,1]；
步骤332、根据全连接层预测x属于yi的概率pi，获取交叉熵损失函数Lcross(x)：
Figure BDA0003582337740000051
其中，K为类别数，跟训练数据集的类别数相关，i为临时变量，其取值范围为[1,K]；x表示输入特征，yi表示输入特征的真实标签。
步骤333、将所述本地损失函数L配置为所述三元组损失函数Ltriplet与交叉熵损失函数Lcross(x)之和：
L＝αLtriplet+βLcross (4)
其中，α，β分别为三元组损失函数和交叉熵损失函数的权重值，α和β的取值范围均为[0,1]。
结合本发明第一方面第五种可能的实施方式，第七种可能的实施方式中，所述步骤340包括：
步骤341、对所述本地损失函数L求导，以获取其导数函数
Figure BDA0003582337740000052
步骤342、利用式子(5)对本地模型参数进行更新：
Figure BDA0003582337740000053
其中，e＝1,2,...,E，E为本地总训练迭代次数，η为训练学习率，
Figure BDA0003582337740000054
是对上述的损失函数求导所得，We为第e次训练迭代的模型参数。
第二方面，一种基于联邦学习模式的步态识别模型训练系统，采用第一方面所述的训练方法，包括：
多个客户端；
服务器端；
所述客户端包括：
本地步态识别模型单元；
训练单元；
所述服务器端包括
全局步态识别模型单元；
聚合单元；
所述训练单元用于根据从服务器端接收到的对应本地步态识别模型的全局模型参数对本地步态识别模型单元进行训练，对本地模型参数进行更新，并将更新后的本地模型参数发送到服务器端；
所述聚合单元用于对接收到的本地模型参数进行聚合，更新全局模型参数，并将更新后的相应的全局模型参数分别发送到多个对应的客户端。
结合本发明第二方面所述的基于联邦学习模式的步态识别模型训练系统，第一种可能的实施方式中，所述训练单元包括：
确定单元；
所述确定单元用于根据三元组损失函数和交叉熵损失函数来计算本地损失函数，并根据所述本地损失函数来确定步态特征及所述步态特征所属类别；
所述聚合单元采用聚合函数对各个客户端的本地模型参数进行聚合，以获取全局模型参数，该全局模型参数表达式为：
Figure BDA0003582337740000061
其中，h＝0,1,2,...,H，c表示客户端总数；
Figure BDA0003582337740000062
表示第c个客户端上的数据与总的数据总量的比例；
Figure BDA0003582337740000063
表示第c个客户端在第c次聚合前的本地模型参数；Wh+1表示在第h次聚合后的全局模型参数；H为总的聚合循环次数。
实施本发明所述的一种基于联邦学习模式的步态识别模型训练方法及系统，通过利用客户端对获取的对应本地步态识别模型的全局模型参数对本地步态识别模型单元进行训练，对本地模型参数进行更新，并将更新后的本地模型参数发送到服务器端，并利用服务器对接收到的本地模型参数进行聚合，并对全局步态识别模型单元进行训练，对相应的全局模型参数进行更新，并将更新后的对应所述本地模型参数的全局模型参数分别发送到多个客户端，实现了多方本地模型数据进行同时却不集中的训练，并且具有较强的鲁棒性和泛化性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明中基于联邦学习模式的步态识别模型训练方法第一实施例逻辑连接示意图；
图2是本发明中基于联邦学习模式的步态识别模型训练方法第二实施例逻辑连接示意图；
图3是本发明中基于联邦学习模式的步态识别模型训练方法第三实施例逻辑连接示意图；
图4是本发明中基于联邦学习模式的步态识别模型训练方法第四实施例逻辑连接示意图；
图5是本发明中基于联邦学习模式的步态识别模型训练方法第五实施例逻辑连接示意图；
图6是本发明中基于联邦学习模式的步态识别模型训练方法第六实施例逻辑连接示意图；
图7是本发明中基于联邦学习模式的步态识别模型训练方法第七实施例逻辑连接示意图；
图8是本发明中基于联邦学习模式的步态识别模型训练方法第八实施例逻辑连接示意图；
图9是本发明中基于联邦学习模式的步态识别模型训练系统第一实施例逻辑连接示意图；
图10是本发明中基于联邦学习模式的步态识别模型训练系统第二实施例逻辑连接示意图；
附图中各数字所指代的部位名称为：10——客户端、11——本地步态识别模型单元、12——训练单元、20——服务器端。
具体实施方式
下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
名称解释
SSD(Single Shot MultiBox Detector)算法是一个采用多尺度特征用于目标检测的网络。
Ostu算法，也被称作大津算法，是用于自动对基于聚类的图像进行二值化的算法。大津算法根据图像计算能够将图像分为两类像素(0和255)的最佳阈值，使得这两类像素的类内方差最小。
在步态识别过程中，必然会获取用户的身份信息，如何在识别过程中，对识别出来的用户身份隐私数据进行保护，保障识别数据的安全性，避免出现法律风险，是当前亟待解决的一个问题。
针对上述问题，提出一种基于联邦学习模式的步态识别模型训练方法与系统。
第一方面，如图1，图1是本发明中基于联邦学习模式的步态识别模型训练方法第一实施例逻辑连接示意图，一种基于联邦学习模式的步态识别模型训练方法，包括：步骤100、对客户端10本地步态数据进行预处理；步骤200、服务器端20初始化全局模型参数、当前通讯次数以及总通讯次数；步骤300、客户端10收到服务器端20传送的对应本地步态识别模型的全局模型参数后，采用预处理后的本地步态数据对本地步态识别模型进行训练并将训练后的本地模型参数发送到服务器端20；步骤400、服务器端20采用聚合函数对上传的所有本地模型参数进行聚合，更新全局模型参数并将本地模型参数分别发送至各对应的客户端10；
全局模型参数表达式为：
Figure BDA0003582337740000091
其中，h＝0,1,2,...,H，c表示客户端10总数；
Figure BDA0003582337740000092
表示第c个客户端10上的数据与总的数据总量的比例；
Figure BDA0003582337740000093
表示第c个客户端10在第c次聚合前的本地模型参数；Wh+1表示在第h次聚合后的全局模型参数；H为总的聚合循环次数。
步骤500、重复步骤300-步骤400，直到总通讯次数达到规定阈值；其中，全局模型参数用于与服务器端20通讯的多个客户端10本地步态识别模型参数的更新，当前通讯次数用于记录当前联邦通讯的次数，总通讯次数用于限制联邦通讯的次数。
服务器端20向各个客户端10发送对应该客户端10本地步态识别模型的初始参数，客户端10根据该初始参数初始化本地步态识别模型，并对本地步态识别模型循环训练，训练一轮后，将本地模型参数上传到服务器端20，服务器端20将接收到的客户端10本地模型参数利用聚合函数进行聚合，再一一对应地下发给各个客户端10。
优选地，如图2，图2是本发明中基于联邦学习模式的步态识别模型训练方法第二实施例逻辑连接示意图，步骤100包括：步骤110、对采集的步态视频进行目标检测；步骤120、对目标检测框中的内容进行抠取，获得原始图像；步骤130、对原始图像前后背景分离得到二值图像；步骤140、将二值图像经过归一化得到t时刻步态轮廓图像xt；步骤150、重复步骤110-步骤140，获取步态轮廓序列：
X＝{x1,x2,...,xt,...,xk} (1)
其中，k为步态轮廓序列的长度，优选地，k的取值范围为[24,32]。
通常优k＝32为一个步态周期，步态轮廓图是由0，255组成的二值图像。
优选地，如图3，图3是本发明中基于联邦学习模式的步态识别模型训练方法第三实施例逻辑连接示意图，步骤110包括：步骤111、采用目标检测SSD算法对获取的步态视频进行目标检测，以获取目标检测框位置；步骤112、使用目标检测框位置对检测到的行人图像信息进行标记。
优选地，如图4，图4是本发明中基于联邦学习模式的步态识别模型训练方法第四实施例逻辑连接示意图，步骤130包括：步骤131、对原始图像进行灰度化处理，获取灰度图像；步骤132、采用图像分割Ostu算法对灰度图进行前后背景分离，获取二值图像；其中，背景置为黑色，行人前景置为白色。
优选地，如图5，图5是本发明中基于联邦学习模式的步态识别模型训练方法第五实施例逻辑连接示意图，步骤140包括：步骤141、对二值图像进行像素检索，获取最顶端和最底端的白色像素的位置；步骤142、对二值图像进行裁剪，去除最顶端以上的图像以及最底端以下的图像，获得裁剪后的二值图像；步骤143、将裁剪后的二值图像缩放为固定比例，得到t时刻步态轮廓图像xt。
优选地，如图6，图6是本发明中基于联邦学习模式的步态识别模型训练方法第六实施例逻辑连接示意图，步骤300包括：步骤310、初始化本地训练迭代次数以及当前迭代次数；步骤320、将全局模型参数前向输入到本地步态识别模型，得到步态特征和预测的步态特征类别；步骤330、通过本地损失函数约束步态特征的生成和步态特征类别的判断；步骤340、重复步骤310-步骤330对本地步态识别模型参数及当前迭代次数进行更新，直到当前迭代次数达到本地训练迭代次数阈值。
客户端10收到来自服务器端20传送的全局模型参数后，将全局模型参数赋予本地步态识别模型后作为本地模型参数，对本地步态识别模型进一步训练。本地步态识别模型是指客户端10本地的模型，不能与其他客户端10进行传输交流等操作，每个客户端10的本地步态识别模型都是一样的模型，本地步态识别模型可以为：基于神经网络的步态识别模型GaitSet、GaitPart。通过利用客户端10对获取的对应本地步态识别模型的全局模型参数对本地步态识别模型单元11进行训练，对本地模型参数进行更新，并将更新后的本地模型参数发送到服务器端20，并利用服务器对接收到的本地模型参数进行聚合，并对全局步态识别模型单元进行训练，对相应的全局模型参数进行更新，并将更新后的对应本地模型参数的全局模型参数分别发送到多个客户端10，实现了多方本地模型数据进行同时却不集中的训练，并且具有较强的鲁棒性和泛化性。
优选地，如图7，图7是本发明中基于联邦学习模式的步态识别模型训练方法第七实施例逻辑连接示意图，步骤330包括：步骤331、根据不同的步态特征及设定的边界值获取三元组损失函数Ltriplet：
Figure BDA0003582337740000111
其中，N为三元组个数，优选地，N的取值范围为[8,32]，i的取值范围是[1,N]fi a和fi p表示来自同一个人的不同序列提取的特征，fi a和fi n表示来自不同人的步态序列提取的特征，m为边界值，优选地，m的取值范围是[0.1,1]；
步骤332、根据全连接层预测x属于yi的概率pi，获取交叉熵损失函数Lcross(x)：
Figure BDA0003582337740000112
其中，K为类别数，跟训练数据集的类别数相关，i为临时变量，其取值范围为[1,K]；x表示输入特征，yi表示输入特征的真实标签。
步骤333、将本地损失函数L配置为三元组损失函数Ltriplet与交叉熵损失函数Lcross(x)之和：
L＝αLtriplet+βLcross (4)
其中，α，β分别为三元组损失函数和交叉熵损失函数的权重值，α和β的取值范围均为[0,1]。
优选地，如图8，图8是本发明中基于联邦学习模式的步态识别模型训练方法第八实施例逻辑连接示意图；步骤340包括：步骤341、对本地损失函数L求导，以获取其导数函数
Figure BDA0003582337740000113
步骤342、利用式子(5)对本地模型参数进行更新：
Figure BDA0003582337740000121
其中，e＝1,2,...,E，E为本地总训练迭代次数，η为训练学习率，
Figure BDA0003582337740000122
是对上述的损失函数求导所得，We为第e次训练迭代的模型参数。
第二方面，如图9和图10，图9是本发明中基于联邦学习模式的步态识别模型训练系统第一实施例逻辑连接示意图，图10是本发明中基于联邦学习模式的步态识别模型训练系统第二实施例逻辑连接示意图；一种基于联邦学习模式的步态识别模型训练系统，采用第一方面的训练方法，包括多个客户端10、服务器端20；客户端10包括本地步态识别模型单元11、训练单元12；服务器端20包括聚合单元；所述训练单元12用于根据从服务器端20接收到的对应本地步态识别模型的全局模型参数对本地步态识别模型单元11进行训练，对本地模型参数进行更新，并将更新后的本地模型参数发送到服务器端20；聚合单元用于对接收到的本地模型参数进行聚合，更新全局模型参数，并将更新后的相应的全局模型参数分别发送到多个对应的客户端10。
优选地，第一种可能的实施方式中，训练单元12包括：
确定单元；确定单元用于根据三元组损失函数和交叉熵损失函数来计算本地损失函数，并根据本地损失函数来确定步态特征及步态特征所属类别。
首先，根据不同的步态特征及设定的边界值获取三元组损失函数Ltriplet：
Figure BDA0003582337740000123
其中，N为三元组个数，N的取值范围为[8,32]，i的取值范围是[1,N](公式中标明)fi a和fi p表示来自同一个人的不同序列提取的特征，fi a和fi n表示来自不同人的步态序列提取的特征，m为边界值，m的取值范围是[0.1,1]。
然后，根据全连接层预测x属于yi的概率pi，获取交叉熵损失函数Lcross(x)：
Figure BDA0003582337740000124
其中，K为类别数，K的取值范围；pi中的i的取值范围(与式子3中i是否相同)；x表示输入特征，yi表示输入特征的真实标签。
最后，将本地损失函数L配置为三元组损失函数Ltriplet与交叉熵损失函数Lcross(x)之和：
L＝αLtriplet+βLcross (4)
其中，α，β分别为三元组损失函数和交叉熵损失函数的权重值。
聚合单元采用聚合函数对各个客户端的本地模型参数进行聚合，以获取全局模型参数，该全局模型参数表达式为：
Figure BDA0003582337740000131
其中，h＝0,1,2,...,H，c表示客户端总数；
Figure BDA0003582337740000132
表示第c个客户端上的数据与总的数据总量的比例；
Figure BDA0003582337740000133
表示第c个客户端在第c次聚合前的本地模型参数；Wh+1表示在第h次聚合后的全局模型参数；H为总的聚合循环次数。
实施本发明所述的一种基于联邦学习模式的步态识别模型训练方法及系统，通过利用客户端10对获取的对应本地步态识别模型的全局模型参数对本地步态识别模型单元11进行训练，对本地模型参数进行更新，并将更新后的本地模型参数发送到服务器端20，并利用服务器对接收到的本地模型参数进行聚合，并对全局步态识别模型单元进行训练，对相应的全局模型参数进行更新，并将更新后的对应所述本地模型参数的全局模型参数分别发送到多个客户端10，实现了多方本地模型数据进行同时却不集中的训练，并且具有较强的鲁棒性和泛化性。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于联邦学习模式的步态识别模型训练方法，其特征在于，包括：
步骤100、对客户端本地步态数据进行预处理；
步骤200、服务器端初始化全局模型参数、当前通讯次数以及总通讯次数；
步骤300、客户端收到服务器端传送的对应本地步态识别模型的全局模型参数后，采用预处理后的本地步态数据对本地步态识别模型进行训练并将训练后的本地模型参数发送到服务器端；
步骤400、服务器端采用聚合函数对上传的所有本地模型参数进行聚合，更新全局模型参数并将本地模型参数分别发送至各对应的客户端；
步骤500、重复步骤300-步骤400，直到总通讯次数达到规定阈值；
其中，所述全局模型参数用于与服务器端通讯的多个客户端本地步态识别模型参数的更新，当前通讯次数用于记录当前联邦通讯的次数，总通讯次数用于限制联邦通讯的次数。
2.根据权利要求1所述的步态识别模型训练方法，其特征在于，所述步骤100包括：
步骤110、对采集的步态视频进行目标检测，获取目标检测框；
步骤120、对目标检测框中的内容进行抠取，获得原始图像；
步骤130、将所述原始图像前后背景分离得到二值图像；
步骤140、将所述二值图像经过归一化得到t时刻步态轮廓图像xt；
步骤150、重复步骤110-步骤140，获取步态轮廓序列：
X＝{x1,x2,...,xt,...,xk} (1)
其中，k为步态轮廓序列的长度。
3.根据权利要求2所述的步态识别模型训练方法，其特征在于，所述步骤110包括：
步骤111、采用目标检测SSD算法对获取的步态视频进行目标检测，以获取目标检测框位置；
步骤112、使用所述目标检测框位置对检测到的行人图像信息进行标记。
4.根据权利要求2所述的步态识别模型训练方法，其特征在于，所述步骤130包括：
步骤131、对所述原始图像进行灰度化处理，获取灰度图像；
步骤132、采用图像分割Ostu算法对灰度图进行前后背景分离，获取二值图像；
其中，背景置为黑色，行人前景置为白色。
5.根据权利要求2所述的步态识别模型训练方法，其特征在于，所述步骤140包括：
步骤141、对所述二值图像进行像素检索，获取最顶端和最底端的白色像素的位置；
步骤142、对所述二值图像进行裁剪，去除最顶端以上的图像以及最底端以下的图像，获得裁剪后的二值图像；
步骤143、将裁剪后的二值图像缩放为固定比例，得到t时刻步态轮廓图像xt。
6.根据权利要求1所述的步态识别模型训练方法，其特征在于，所述步骤300包括：
步骤310、初始化本地训练迭代次数以及当前迭代次数；
步骤320、将全局模型参数前向输入到本地步态识别模型，得到步态特征和预测的步态特征类别；
步骤330、通过本地损失函数约束所述步态特征的生成和所述步态特征类别的判断；
步骤340、重复步骤310-步骤330对本地步态识别模型参数及当前迭代次数进行更新，直到当前迭代次数达到本地训练迭代次数阈值。
7.根据权利要求6所述的步态识别模型训练方法，其特征在于，所述步骤330包括：
步骤331、根据不同的步态特征及设定的边界值获取三元组损失函数Ltriplet：
Figure FDA0003582337730000031
其中，N为三元组个数，i的取值范围是[1,N]，fi a和fi p表示来自同一个人的不同序列提取的特征，fi a和fi n表示来自不同人的步态序列提取的特征，m为边界值；
步骤332、根据全连接层预测x属于yi的概率pi，获取交叉熵损失函数Lcross(x)：
Figure FDA0003582337730000032
其中，K为类别数，i为临时变量；x表示输入特征，yi表示输入特征的真实标签；
步骤333、将本地损失函数L配置为三元组损失函数Ltriplet与交叉熵损失函数Lcross(x)之和：
L＝αLtriplet+βLcross (4)
其中，α，β分别为三元组损失函数和交叉熵损失函数的权重值，α和β的取值范围均为[0,1]。
8.根据权利要求6所述的步态识别模型训练方法，其特征在于，所述步骤340包括：
步骤341、对本地损失函数L求导，以获取其导数函数
Figure FDA0003582337730000033
步骤342、利用式子(5)对本地模型参数进行更新：
Figure FDA0003582337730000034
其中，e＝1,2,...,E，E为本地总训练迭代次数，η为训练学习率，We为第e次训练迭代的模型参数。
9.一种基于联邦学习模式的步态识别模型训练系统，采用权利要求1-8任一所述的训练方法，其特征在于，包括：
多个客户端；
服务器端；
所述客户端包括：
本地步态识别模型单元；
训练单元；
所述服务器端包括
全局步态识别模型单元；
聚合单元；
所述训练单元用于根据从服务器端接收到的对应本地步态识别模型的全局模型参数对本地步态识别模型单元进行训练，对本地模型参数进行更新，并将更新后的本地模型参数发送到服务器端；
所述聚合单元用于对接收到的本地模型参数进行聚合，更新全局模型参数，并将更新后的相应的全局模型参数分别发送到多个对应的客户端；
所述聚合单元采用聚合函数对各个客户端的本地模型参数进行聚合，以获取全局模型参数，该全局模型参数表达式为：
Figure FDA0003582337730000041
其中，h＝0,1,2,...,H，c表示客户端总数；
Figure FDA0003582337730000042
表示第c个客户端上的数据与总的数据总量的比例；
Figure FDA0003582337730000043
表示第c个客户端在第c次聚合前的本地模型参数；Wh+1表示在第h次聚合后的全局模型参数；H为总的聚合循环次数。
10.根据权利要求9所述的步态识别模型训练系统，其特征在于，所述训练单元包括：
确定单元；
所述确定单元用于根据三元组损失函数和交叉熵损失函数来计算本地损失函数，并根据所述本地损失函数来确定步态特征及所述步态特征所属类别。
CN202210355478.0A 2022-04-06 2022-04-06 基于联邦学习模式的步态识别模型训练方法与系统 Pending CN114882582A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210355478.0A CN114882582A (zh) 2022-04-06 2022-04-06 基于联邦学习模式的步态识别模型训练方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210355478.0A CN114882582A (zh) 2022-04-06 2022-04-06 基于联邦学习模式的步态识别模型训练方法与系统

Publications (1)

Publication Number Publication Date
CN114882582A true CN114882582A (zh) 2022-08-09

Family

ID=82668760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210355478.0A Pending CN114882582A (zh) 2022-04-06 2022-04-06 基于联邦学习模式的步态识别模型训练方法与系统

Country Status (1)

Country Link
CN (1) CN114882582A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114148A (zh) * 2023-08-18 2023-11-24 湖南工商大学 一种轻量级联邦学习训练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114148A (zh) * 2023-08-18 2023-11-24 湖南工商大学 一种轻量级联邦学习训练方法
CN117114148B (zh) * 2023-08-18 2024-04-09 湖南工商大学 一种轻量级联邦学习训练方法

Similar Documents

Publication Publication Date Title
CN109543640B (zh) 一种基于图像转换的活体检测方法
Dagnes et al. Occlusion detection and restoration techniques for 3D face recognition: a literature review
CN108520216B (zh) 一种基于步态图像的身份识别方法
CN106951832B (zh) 一种基于手写字符识别的验证方法及装置
CN109410184B (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN110598019B (zh) 重复图像识别方法及装置
CN111179202A (zh) 一种基于生成对抗网络的单幅图像去雾增强方法和系统
CN111783890A (zh) 一种针对图像识别过程中的小像素对抗样本防御方法
CN112381987A (zh) 基于人脸识别的智能门禁防疫系统
CN114863499B (zh) 一种基于联邦学习的指静脉与掌静脉识别方法
CN111222447A (zh) 基于神经网络及多通道融合lbp特征的活体检测方法
Tao et al. Smoke vehicle detection based on robust codebook model and robust volume local binary count patterns
CN110414431B (zh) 基于弹性上下文关系损失函数的人脸识别方法及系统
US20040022440A1 (en) Method and apparatus for image processing
CN114882582A (zh) 基于联邦学习模式的步态识别模型训练方法与系统
Omri et al. Cloud-based mobile system for biometrics authentication
CN114582011A (zh) 一种基于联邦学习与边缘计算的行人追踪方法
CN111737688B (zh) 基于用户画像的攻击防御系统
CN115546845B (zh) 一种多视角牛脸识别方法、装置、计算机设备及存储介质
CN113205044B (zh) 一种基于表征对比预测学习的深度伪造视频检测方法
CN112818728B (zh) 年龄识别的方法及相关产品
Alirezaee et al. An efficient algorithm for face localization
CN111832364B (zh) 一种人脸识别方法及装置
CN113052132A (zh) 基于面部关键点轨迹特征图的视频情感识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination