CN114417999A - 一种基于联邦拆分学习的行人重识别方法 - Google Patents

一种基于联邦拆分学习的行人重识别方法 Download PDF

Info

Publication number
CN114417999A
CN114417999A CN202210061724.1A CN202210061724A CN114417999A CN 114417999 A CN114417999 A CN 114417999A CN 202210061724 A CN202210061724 A CN 202210061724A CN 114417999 A CN114417999 A CN 114417999A
Authority
CN
China
Prior art keywords
model
split
splitting
pedestrian
federal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210061724.1A
Other languages
English (en)
Inventor
张卫山
周韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202210061724.1A priority Critical patent/CN114417999A/zh
Publication of CN114417999A publication Critical patent/CN114417999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联邦拆分学习的行人重识别方法，包括：S1.加载行人重识别网络；S2.对行人重识别网络进行训练，行人重识别网络模型作为本地局部模型按照层数进行划分获得一个以上的第一分模型，拆分需要上传的模型参数，并将拆分后的第一分模型上传到参数服务器；S3.将所有第一分模型进行组装聚合，生成全局模型；S4.对全局模型进行拆分获得一个以上的第二分模型，并将每个第二分模型下发至目标训练节点上；S5.目标训练节点将第二分模型与本地局部模型进行组装，得到初始化模型并加载参数，将初始化模型作为新的本地局部模型；S6.循环S2‑S5，直至本地局部模型完成收敛。本发明安全性和准确率高，有效提升网络的通信效率。

Description

一种基于联邦拆分学习的行人重识别方法
技术领域
本发明涉及计算机视觉技术领域，更具体的说是涉及一种基于联邦拆分学习的行人重识别方法。
背景技术
传统的行人重识别方法需要采集行人数据并对于用户的数据进行标注来进行训练，但是由于行人数据通常属于隐私数据，这使得各个数据拥有方掌握的行人数据无法被公开，各个社区之前数据无法共享，产生了数据孤岛现象。
普通的联邦学习在不需要共享用户的隐私数据基础上完成行人重识别算法的实现，解决了数据孤岛的现象，使得各个数据拥有方均能参与到模型的训练过程中，但是在进行训练过程中需要进行传递模型或者梯度信息，而传递这些参数尽管降低了直接传递数据而造成数据泄露的可能，但是依旧存在泄露数据的隐患，即恶意攻击节点可以通过多次抓取传递过程中的梯度信息，依据梯度的变化推断出原始数据分布，造成数据泄露。
并且现有的联邦学习方法在训练节点完成训练后需要上传模型或者梯度信息，而当模型参数比较大时，频繁地传递模型会带来较大的通信开销。
因此，如何提供一种安全准确简捷的基于联邦拆分学习的行人重识别方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于联邦拆分学习的行人重识别方法
为了实现上述目的，本发明采用如下技术方案：
一种基于联邦拆分学习的行人重识别方法，包括以下步骤：
S1.加载根据联邦学习任务构建的行人重识别网络；
S2.对行人重识别网络进行训练，将完成若干轮本地训练过程后的行人重识别网络模型作为本地模型，并将本地局部模型按照其所属的模型拆分组进行拆分获得一个以上的第一分模型，将第一分模型的模型参数进行拆分，得到拆分后需要上传的模型参数并上传到参数服务器；
S3.参数服务器获取所有第一分模型并进行组装，对属于相同模型拆分组的第一分模型进行聚合，生成每个模型拆分组的全局模型；
S4.对全局模型进行拆分获得一个以上的第二分模型，并将每个第二分模型下发至目标训练节点上；
S5.目标训练节点接受第二分模型，并将第二分模型与本地局部模型进行组装，得到初始化模型，加载初始化模型参数，并将初始化模型作为新的本地局部模型；
S6.循环进行S2-S5的内容，直至本地局部模型完成收敛，收敛条件为连续若干轮损失值的变化小于阈值。
优选的，模型拆分的过程包括：
(1)生成计算等级；基于节点的计算力进行分组生成一个以上的计算力等级；
(2)定义拆分模式；基于所生成的等级分组，针对不同的计算力等级划分不同参数量，计算力强的等级应当划分更多的参数用于训练，计算力弱的节点，参数划分的适当少一些；
(3)根据计算力等级划分的参数量，开始划分模型的参数，执行模型的拆分过程，生成不同的拆分后的模型；其中一种拆分后的模型对应一个计算力等级，同时每个计算力等级对应一个模型拆分组；
(4)节点认领模型；每个训练节点基于自身机器计算力，选择对应的模型拆分组，认领所对应的拆分模型进行模型的训练任务。
优选的，模型融合组装的过程包括：
(1)拆分模型上传；训练节点训练完成之后上传自身对应的拆分模型；
(2)拆分模型查询；基于每个训练节点的认领拆分模型的情况，查询当前拆分模型所属的拆分组；
(3)拆分模型融合；进行同组拆分模型的融合过程；
(4)拆分模型的组装；按照计算力的高低顺序对模型拆分组进行排序并进行拼接，将模型参数按照顺序排列后合成新的模型。
优选的，在S5中，添加模型正则化项从而对模型优化过程进行约束，对于训练节点接收到的第二分模型Ws，以及本地局部模型Wns，约束项为：
Figure BDA0003478623310000031
其中
Figure BDA0003478623310000032
表示t时刻的模型中需要进行联邦拆分的参数，
Figure BDA0003478623310000033
表示t时刻不执行拆分过程的模型参数，λ1与λ2表示两部分的权重；
损失函数为：
Figure BDA0003478623310000034
其中，L表示原始网络的损失。
优选的，S1之前还包括以下内容：
当联邦学习任务发起方发起联邦学习任务，由训练节点获取到指定的联邦学习任务后，初始化联邦学习环境；
训练节点对于行人重识别图像数据进行数据预处理。
优选的，初始化联邦学习环境的内容包括：初始化网络架构模型、融合模型方法、融合迭代次数、学习率和优化器。
优选的，预处理包括数据增强。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于联邦拆分学习的行人重识别方法，首先，采用联邦拆分学习整合行人重识别算法，采用联邦拆分学习在训练过程中只传递模型，同时将训练模型进行拆分，避免从梯度信息中推断出原始数据的可能，增强了对于数据隐私的保护，而不需要共享行人数据，保护用户的行人重识别的数据安全。
其次，由于上述对于行人数据安全性的保护，使得更多的用户可以参与到模型的训练过程中，进一步扩充了行人数据集，解决了数据孤岛问题，从而提高了模型的准确率与泛化能力。
最后，由于联邦拆分学习的方法，将每个模型进行拆分，每个训练节点仅拥有模型的一部分，在传递的过程中仅传递其所拥有的部分模型参数，从而有效提升了每个训练参与方的通讯效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种基于联邦拆分学习的行人重识别方法的流程示意图；
图2附图为本发明提供的一种基于联邦拆分学习的行人重识别方法中模型拆分和模型融合组装的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于联邦拆分学习的行人重识别方法，如图1所示，包括以下步骤：
S1.加载根据联邦学习任务构建的行人重识别网络；
S2.对行人重识别网络进行训练，将完成若干轮本地训练过程后的行人重识别网络模型作为本地模型，并将本地局部模型按照其所属的模型拆分组进行拆分获得一个以上的第一分模型，将第一分模型的模型参数进行拆分，得到拆分后需要上传的模型参数并上传到参数服务器；
S3.参数服务器获取所有第一分模型并进行组装，对属于相同模型拆分组的第一分模型进行聚合，生成每个模型拆分组的全局模型；
S4.对全局模型进行拆分获得一个以上的第二分模型，并将每个第二分模型下发至目标训练节点上；
S5.目标训练节点接受第二分模型，并将第二分模型与本地局部模型进行组装，得到初始化模型，加载初始化模型参数，并将初始化模型作为新的本地局部模型；
S6.循环进行S2-S5的内容，直至本地局部模型完成收敛，收敛条件为连续若干轮损失值的变化小于阈值。
需要说明的是：
(1)本发明采用联邦学习的安全的分布式学习方式，保护了数据隐私，该特性使得可以用于各种隐私数据，从而解决了数据孤岛现象，扩充了行人重识别的数据集，从而使用更多的图像数据进行模型训练，提高模型的准确性。
(2)本发明采用联邦拆分学习算法，训练时将模型进行拆分，每个训练参与方只拥有一部分的模型架构，即使其信息泄露也无法从局部信息中推断出整体的数据分布情况，从而提高了数据的安全性。
(3)本发明采用联邦拆分学习中模型结构拆分的方法，将模型的结构进行拆分，在整个通信过程不需要传递整个模型，而是一部分模型参数，进而降低了模型的通信开销。
为了进一步实施上述技术方案，如图2所示，模型拆分的过程包括：
(1)生成计算等级；基于节点的计算力进行分组生成一个以上的计算力等级；
(2)定义拆分模式；基于所生成的等级分组，针对不同的计算力等级划分不同参数量；计算力强的等级应当划分更多的参数用于训练，计算力弱的节点，参数划分的适当少一些；每个计算力等级可以使用具体数字表示，其大小代表计算力强弱，故可以获得每个计算力等级占总体的比例，同时计算模型中每一层参数量大小，依照上述生成的比例从小到大为每个等级分配若干层，分配给每个等级参数量与总体参数量的比例应该与其等级比例大致相同。
(3)根据计算力等级划分的参数量，开始划分模型的参数，执行模型的拆分过程，生成不同的拆分后的模型；其中一种拆分后的模型对应一个计算力等级，同时每个计算力等级对应一个模型拆分组；例如，如果存在3个计算力等级，则将模型参数划分为三个部分，每个计算力等级对应拆分上述的一部分模型参数。即一种拆分后的模型对应着一个计算力等级，同时对应着一个模型拆分组。
(4)节点认领模型；每个训练节点基于自身机器计算力，选择对应的模型拆分组，认领所对应的拆分模型进行模型的训练任务。由于进行模型拆分后，得到了一系列属于不同模型拆分组的拆分后模型，依照每个训练节点自身机器计算力，选择与其最接近的模型拆分组，从而确定后续在模型上传与参数服务器下发过程传输的模型均是这一部分拆分后的模型，而训练、融合等过程仅仅修改了这一部分的模型参数。
为了进一步实施上述技术方案，如图2所示，模型融合组装的过程包括：
(1)拆分模型上传；训练节点训练完成之后上传自身对应的拆分模型；
(2)拆分模型查询；基于每个训练节点的认领拆分模型的情况，查询当前拆分模型所属的拆分组；
(3)拆分模型融合；进行同组拆分模型的融合过程；
(4)拆分模型的组装；按照计算力的高低顺序对模型拆分组进行排序并进行拼接，将模型参数按照顺序排列后合成新的模型。
需要说明的是：
第(1)步中，每个训练节点属于不同的模型拆分组，其上传的也应该是属于该模型拆分组的模型参数；在第(2)步的拆分模型查询中，利用前述中节点认领模型中记录着每个节点所属的模型拆分组；而在第(3)中则对于同属于一组的拆分模型进行融合得到每组融合后的模型，可以采用加权平均的方式；第(4)步中，利用上述聚合得到的模型，按照其与模型网络结构的对应顺序进行组装拼接，从而完成整个融合组装过程。
为了进一步实施上述技术方案，在S5中，添加模型正则化项从而对模型优化过程进行约束，对于训练节点接收到的第二分模型Ws，以及本地局部模型Wns，约束项为：
Figure BDA0003478623310000061
其中
Figure BDA0003478623310000062
表示t时刻的模型中需要进行联邦拆分的参数，
Figure BDA0003478623310000063
表示t时刻不执行拆分过程的模型参数，λ1与λ2表示两部分的权重；
损失函数为：
Figure BDA0003478623310000071
其中，L表示原始网络的损失。
为了进一步实施上述技术方案，S1之前还包括以下内容：
当联邦学习任务发起方发起联邦学习任务，由训练节点获取到指定的联邦学习任务后，初始化联邦学习环境；
训练节点对于行人重识别图像数据进行数据预处理。
为了进一步实施上述技术方案，初始化联邦学习环境的内容包括：初始化网络架构模型、融合模型方法、融合迭代次数、学习率和优化器。
为了进一步实施上述技术方案，预处理包括数据增强。
需要说明的是：
训练过程中采用拆分正则化，针对拆分模型与剩余部分的模型参数，采用不同的拆分正则化权重，添加到，对于其中的训练节点关注于的保障拆分模型的准确率。
本发明还可以采用群体学习的方法替代联邦学习方法，即由于联邦学习中需要存在一个参数服务节点来不断的融合每个训练参与方的模型，而群体学习基于区块链去中心化的特点，模型的聚合可以发生了每个训练参与方上。
群体学习，可以理解为去中心的联邦学习方案，即将联邦学习中参数服务器从整个学习过程中去除，完全执行点对点的训练融合方式。由于群体学习是去中心化的联邦学习，则相比对普通的联邦学习方案，仅在融合模型的方式上存在差异，故对于该部分进行说明，其具体执行过程如下：
在训练节点完成训练任务后，从存储模型参数的区块链中获取到最新的全局模型参数。
训练节点获取到这部分模型，在本地执行融合过程，其融合过程与普通联邦学习方式相同。
在执行上述的过程后，得到新的全局模型，并将新的全局模型上传到区块链，则融合过程执行完毕。
由于上述过程中同一时刻只能由一个训练节点执行融合过程，则需要所有训练节点按照先后次序依次执行融合。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于联邦拆分学习的行人重识别方法，其特征在于，包括以下步骤：
S1.加载根据联邦学习任务构建的行人重识别网络；
S2.对行人重识别网络进行训练，将完成若干轮本地训练过程后的行人重识别网络模型作为本地模型，并按照其所属的模型拆分组进行拆分获得一个以上的第一分模型，将第一分模型的模型参数进行拆分，得到拆分后需要上传的模型参数并上传到参数服务器；
S3.参数服务器获取所有第一分模型并进行组装，对属于相同模型拆分组的第一分模型进行聚合，生成每个模型拆分组的全局模型；
S4.对全局模型进行拆分获得一个以上的第二分模型，并将每个第二分模型下发至目标训练节点上；
S5.目标训练节点接受第二分模型，并将第二分模型与本地局部模型进行组装，得到初始化模型，加载初始化模型参数，并将初始化模型作为新的本地局部模型；
S6.循环进行S2-S5的内容，直至本地局部模型完成收敛，收敛条件为连续若干轮损失值的变化小于阈值。
2.根据权利要求1所述的一种基于联邦拆分学习的行人重识别方法，其特征在于，模型拆分的过程包括：
(1)生成计算等级；基于节点的计算力进行分组生成一个以上的计算力等级；
(2)定义拆分模式；基于所生成的等级分组，针对不同的计算力等级划分不同参数量；
(3)根据计算力等级划分的参数量，开始划分模型的参数，执行模型的拆分过程，生成不同的拆分后模型；其中一种拆分后模型对应一个计算力等级，同时每个计算力等级对应一个模型拆分组；
(4)节点认领模型；每个训练节点基于自身机器计算力，选择对应的模型拆分组，认领所对应的拆分模型进行模型的训练任务。
3.根据权利要求1所述的一种基于联邦拆分学习的行人重识别方法，其特征在于，模型融合组装的过程包括：
(1)拆分模型上传；训练节点训练完成之后上传自身对应的拆分模型；
(2)拆分模型查询；基于每个训练节点的认领拆分模型的情况，查询当前拆分模型所属的拆分组；
(3)拆分模型融合；进行同组拆分模型的融合过程；
(4)拆分模型的组装；按照计算力的高低顺序对模型拆分组进行排序并进行拼接，将模型参数按照顺序排列后合成新的模型。
4.根据权利要求1所述的一种基于联邦拆分学习的行人重识别方法，其特征在于，在S5中，添加模型正则化项从而对模型优化过程进行约束，对于训练节点接收到的第二分模型Ws，以及本地局部模型Wns，约束项为：
Figure FDA0003478623300000021
其中
Figure FDA0003478623300000024
表示t时刻的模型中需要进行联邦拆分的参数，
Figure FDA0003478623300000023
表示t时刻不执行拆分过程的模型参数，λ1与λ2表示两部分的权重；
损失函数为：
Figure FDA0003478623300000022
其中，L表示原始网络的损失。
5.根据权利要求1所述的一种基于联邦拆分学习的行人重识别方法，其特征在于，S1之前还包括以下内容：
当联邦学习任务发起方发起联邦学习任务，由训练节点获取到指定的联邦学习任务后，初始化联邦学习环境；
训练节点对于行人重识别图像数据进行数据预处理。
6.根据权利要求5所述的一种基于联邦拆分学习的行人重识别方法，其特征在于，初始化联邦学习环境的内容包括：初始化网络架构模型、融合模型方法、融合迭代次数、学习率和优化器。
7.根据权利要求5所述的一种基于联邦拆分学习的行人重识别方法，其特征在于，预处理包括数据增强。
CN202210061724.1A 2022-01-19 2022-01-19 一种基于联邦拆分学习的行人重识别方法 Pending CN114417999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210061724.1A CN114417999A (zh) 2022-01-19 2022-01-19 一种基于联邦拆分学习的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210061724.1A CN114417999A (zh) 2022-01-19 2022-01-19 一种基于联邦拆分学习的行人重识别方法

Publications (1)

Publication Number Publication Date
CN114417999A true CN114417999A (zh) 2022-04-29

Family

ID=81276195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210061724.1A Pending CN114417999A (zh) 2022-01-19 2022-01-19 一种基于联邦拆分学习的行人重识别方法

Country Status (1)

Country Link
CN (1) CN114417999A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311692A (zh) * 2022-10-12 2022-11-08 深圳大学 联邦行人重识别方法、系统、电子装置和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311692A (zh) * 2022-10-12 2022-11-08 深圳大学 联邦行人重识别方法、系统、电子装置和存储介质
CN115311692B (zh) * 2022-10-12 2023-07-14 深圳大学 联邦行人重识别方法、系统、电子装置和存储介质

Similar Documents

Publication Publication Date Title
EP3889855A1 (en) Ac/dc bulk power grid dynamic security risk situation rolling prospective early warning method and system
Krohling et al. TODIM and TOPSIS with Z-numbers
CN111091177B (zh) 一种模型压缩方法、装置、电子设备和存储介质
CN111340493B (zh) 一种多维度分布式异常交易行为检测方法
CN108197594B (zh) 确定瞳孔位置的方法和装置
Zhang et al. Dynamical analysis of Hyper-SIR rumor spreading model
CN114662705B (zh) 联邦学习方法、装置、电子设备和计算机可读存储介质
CN113392919A (zh) 基于客户端选择的联邦注意力dbn协同检测系统
CN104092618A (zh) 一种基于杜鹃搜索算法的对等网络流量特征选择方法
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN114417999A (zh) 一种基于联邦拆分学习的行人重识别方法
CN114462577A (zh) 一种联邦学习系统、方法、计算机设备及存储介质
CN110865878B (zh) 边云协同环境中基于任务多约束的智能调度方法
CN114492742A (zh) 神经网络结构搜索、模型发布方法、电子设备和存储介质
CN109697511B (zh) 数据推理方法、装置及计算机设备
CN113850399A (zh) 一种基于预测置信度序列的联邦学习成员推断方法
CN111695701B (zh) 基于联邦学习实现数据集构建处理的系统及其构建生成方法
CN117710312A (zh) 基于联邦学习和YOLOv5的输电网异物检测方法
CN115793717B (zh) 群体协同决策方法、装置、电子设备及存储介质
CN116502709A (zh) 一种异质性联邦学习方法和装置
CN114897438A (zh) 任务分配中基于图神经网络进行动态图着色的方法及系统
CN114139805A (zh) 温度预测及模型训练方法和相关装置
CN111582466B (zh) 模拟神经网络的评分卡配置方法、装置、设备及存储介质
CN112529772A (zh) 一种零样本设置下的无监督图像转换方法
CN112115509A (zh) 一种数据生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination