CN116306905A - 半监督非独立同分布的联邦学习蒸馏方法及装置 - Google Patents

半监督非独立同分布的联邦学习蒸馏方法及装置 Download PDF

Info

Publication number
CN116306905A
CN116306905A CN202310142023.5A CN202310142023A CN116306905A CN 116306905 A CN116306905 A CN 116306905A CN 202310142023 A CN202310142023 A CN 202310142023A CN 116306905 A CN116306905 A CN 116306905A
Authority
CN
China
Prior art keywords
label
model
data
target
teacher model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310142023.5A
Other languages
English (en)
Inventor
丁阳光
沈超锋
吴贻军
梁前能
熊永星
解光林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Kexun Jinfu Technology Co ltd
Original Assignee
Anhui Kexun Jinfu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Kexun Jinfu Technology Co ltd filed Critical Anhui Kexun Jinfu Technology Co ltd
Priority to CN202310142023.5A priority Critical patent/CN116306905A/zh
Publication of CN116306905A publication Critical patent/CN116306905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，提供一种半监督非独立同分布的联邦学习蒸馏方法及装置，该方法借助于其他终端的偏科教师模型对目标终端的非标签数据的预测结果，可以使非标签数据的软标签以及硬标签更加准确可靠，不仅可以大大提高基础模型的训练效率，还可以使得到的学生模型的泛化能力更强，进而可以提升联邦学习得到的聚合模型的准确性。此外，该方法结合知识蒸馏以及联邦学习，可以使学生模型学习到自身完全不存在的其他终端的知识，即自身数据没有相关标签，但是能通过联邦学习学到相关知识，这是一种极端的对于数据标签的非独立同分布场景。同时，该方法能够通过联邦学习使学生模型已经拥有的拟合能力更佳。

Description

半监督非独立同分布的联邦学习蒸馏方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种半监督非独立同分布的联邦学习蒸馏方法及装置。
背景技术
联邦学习(Federated Learning，FL)是一种新型的模型训练方法，可以通过各个分散的终端设备，将服务端下发的全局模型通过本地数据先进行初步训练，再让每个终端设备将初步训练好的本地模型上传到服务端，在服务端对每个上传的本地模型进行统一聚合，并将聚合模型下发至各终端设备。联邦学习实现了既让本地数据不泄漏，有效地保护了本地数据的隐私安全，又实现了充分利用海量分散的本地数据进行模型训练，获得拟合性能更加优良的本地模型。由于联邦学习允许参与者在不共享数据的前提下协同训练模型，很好地保护了本地数据的隐私并打破数据孤岛，因此联邦学习受到了广泛的关注，尤其广泛应用于分布式训练场景。
在分布式训练场景下，很多传统的分布式机器学习算法，都需要假设数据分布是均匀的，即各个终端设备之间的数据分布需要服从独立同分布(Independent-andIdentically-Distritributed，IID)。然而，在现实生活中，本地数据的产生无法控制，不同终端设备上独立产生本地数据，当多个分散的终端设备作为联邦学习的参与方时，各个终端设备上的本地数据有可能是非独立同分布(Non-Independent-and-Identically-Distributed，Non-IID)的，甚至本地数据的标签也是非独立同分布的，这将导致联邦学习中模型训练效率大幅下降，模型泛化能力弱的问题出现。而且，联邦学习的参与方在进行联邦学习后，得到的聚合模型的准确性提升不大，甚至会有所降低。
因此，如何提高联邦学习在Non-IID场景下的模型训练效率，提升模型泛化能力，提高聚合模型的准确性至关重要。
发明内容
本发明提供一种半监督非独立同分布的联邦学习蒸馏方法及装置，用以解决现有技术中存在的缺陷。
本发明提供一种半监督非独立同分布的联邦学习蒸馏方法，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布；该方法包括：
确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；
基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；
接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；
基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
根据本发明提供的一种半监督非独立同分布的联邦学习蒸馏方法，所述基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签，包括：
计算所述第一预测结果与所述第二预测结果的方差；
基于方差大的预测结果与方差小的预测结果的差值，生成所述非标签数据的硬标签；
计算所述第一预测结果与所述第二预测结果的均值，并将所述均值作为所述非标签数据的软标签。
根据本发明提供的一种半监督非独立同分布的联邦学习蒸馏方法，还包括：
提取所述第一偏科教师模型中的部分结构；
对所述部分结构进行差分隐私保护，得到目标结构，并将所述目标结构发送至所述其他终端；或者，
对所述第一偏科教师模型中的部分结构进行差分隐私保护，得到目标偏科教师模型，并将所述目标偏科教师模型发送至所述其他终端。
根据本发明提供的一种半监督非独立同分布的联邦学习蒸馏方法，所述第二偏科教师模型为所述其他终端对其初始偏科教师模型的部分结构进行差分隐私保护得到的结构；
相应地，所述基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，包括：
将所述第二偏科教师模型与所述第一偏科教师模型中的差异结构进行拼接，得到拼接模型；
基于所述拼接模型，对所述非标签数据进行标签预测，得到所述第二预测结果。
根据本发明提供的一种半监督非独立同分布的联邦学习蒸馏方法，所述基于所述学生模型进行联邦学习，包括：
将所述学生模型上传至所述目标服务端；
接收所述目标服务端基于对所述各终端上传的学生模型进行联邦平均聚合后得到的聚合模型，并将所述聚合模型作为所述基础模型循环进行本地蒸馏，直至联邦学习结束。
本发明还提供一种半监督非独立同分布的联邦学习蒸馏装置，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布；所述装置包括：
确定模块，用于确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；
第一预测模块，用于基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；
第二预测模块，用于接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；
联邦蒸馏模块，用于基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
根据本发明提供的一种半监督非独立同分布的联邦学习蒸馏装置，还包括发送模块，用于：
提取所述第一偏科教师模型中的部分结构；
对所述部分结构进行差分隐私保护，得到目标结构，并将所述目标结构发送至所述其他终端；或者，
对所述第一偏科教师模型中的部分结构进行差分隐私保护，得到目标偏科教师模型，并将所述目标偏科教师模型发送至所述其他终端。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的半监督非独立同分布的联邦学习蒸馏方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的半监督非独立同分布的联邦学习蒸馏方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的半监督非独立同分布的联邦学习蒸馏方法。
本发明提供的半监督非独立同分布的联邦学习蒸馏方法及装置，该方法借助于其他终端的偏科教师模型对目标终端的非标签数据的预测结果，可以使非标签数据的软标签以及硬标签更加准确可靠，不仅可以大大提高基础模型的训练效率，还可以使得到的学生模型的泛化能力更强，进而可以提升联邦学习得到的聚合模型的准确性。此外，该方法结合知识蒸馏以及联邦学习，可以使学生模型学习到自身完全不存在的其他终端的知识，即自身数据没有相关标签，但是能通过联邦学习学到相关知识，这是一种极端的对于数据标签的非独立同分布场景。同时，该方法能够通过联邦学习使学生模型已经拥有的拟合能力更佳。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的半监督非独立同分布的联邦学习蒸馏方法的流程示意图；
图2是本发明提供的半监督非独立同分布的联邦学习蒸馏装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有技术中，当多个分散的终端设备作为联邦学习的参与方时，各个终端设备上的本地数据有可能是非独立同分布的，甚至本地数据带有的标签也是非独立同分布的，这将导致联邦学习中模型训练效率大幅下降，模型泛化能力弱的问题出现。而且，联邦学习的参与方在进行联邦学习后，得到的聚合模型的准确性提升不大，甚至会有所降低。因此，本发明实施例中提供了一种半监督非独立同分布的联邦学习蒸馏方法，用以提高联邦学习在非独立同分布场景下的模型训练效率，提升模型泛化能力，提高聚合模型的准确性至关重要。
图1为本发明实施例中提供的一种半监督非独立同分布的联邦学习蒸馏方法的流程示意图，该方法应用于目标终端，该目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布。如图1所示，该方法包括：
S1，确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；
S2，基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；
S3，接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；
S4，基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
具体地，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，其执行主体为半监督非独立同分布的联邦学习蒸馏装置，该装置可以配置于目标终端内，该目标终端可以是目标服务端内的每一个终端，即目标服务端内的每一个终端均执行该方法。该目标终端可以是计算机，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。
该方法应用的场景为非独立同分布场景，即目标终端归属的目标服务端下包括目标终端在内的各终端的数据和/或标签满足非独立同分布，数据满足非独立同分布是指各终端的数据标签种类相同，但是数据分布不一致。标签满足非独立同分布是指各终端的数据标签种类不完全相同，同时各终端都拥有非标签数据。各终端的数据标签种类不完全相同可以包括各终端的数据标签种类不重合或部分重合，标签数据是指带标签的数据，非标签数据是指无标签的数据。半监督是指各终端的数据中存在非标签数据。
首先执行步骤S1，确定目标终端的标签数据以及非标签数据。此处，目标终端可以对本地数据进行聚类，即分别对本地数据中带标签的数据以及不带标签的数据进行聚类，得到标签数据以及非标签数据。本地数据可以是图片、隐私数据等，其携带的标签可以是图片中的对象类别、隐私数据类别等，此处不作具体限定。
例如，目标服务端下包括终端A和终端B，终端A的本地数据包括带有标签cat、dog的标签数据以及不带标签cat、dog以及fish中至少一个的非标签数据，同时非标签数据中一定存在cat、dog、fish这三种数据，只是针对具体的数据没有标签。终端B的本地数据包括带有标签fish的标签数据以及不带标签cat、dog以及fish中至少一个的非标签数据，同时非标签数据中一定存在cat、dog、fish这三种数据，只是针对具体的数据没有标签。
目标终端可以对目标终端与目标服务端下其他终端进行标签对齐，标签对齐结果即目标服务器下各终端的本地数据涉及的所有标签，进而使各终端涉及的标签类别一致，如此可以保证各终端在联邦学习过程中使用统一的损失函数，进而保持预测的标签类型统一。例如，标签对齐后，终端A涉及的标签包括cat、dog、fish，只是对于标签fish没有相应的数据，终端B涉及的标签也包括cat、dog、fish，只是对于标签cat、dog没有相应的数据。
进而，目标终端利用标签数据以及标签对齐结果，可以对初始教师模型进行训练，得到第一偏科教师模型。可以理解的是，由于标签对齐结果的引入，第一偏科教师模型的输出项包括所有标签对应的预测结果，其中包含了目标终端的初始标签数据中本不涉及的标签对应的预测结果。例如，对于终端A，得到的第一偏科教师模型Ta能够更好地预测出cat和dog类的数据，但是对于fish类的数据没有预测能力，只是仍然存在其预测项。对于终端B，得到的第一偏科教师模型Tb能够更好地预测出fish类的数据，但是对于cat、dog类的数据没有预测能力，只是仍然存在其预测项。
此处，初始教师模型可以基于神经网络构建，在对初始教师模型进行训练时，可以将标签数据输入至初始教师模型，得到初始教师模型的输出结果，利用输出结果与标签数据带有的标签计算损失函数，并基于该损失函数对初始教师模型的结构参数进行迭代更新，直至损失函数收敛，即得到第一偏科教师模型。
然后执行步骤S2，目标终端利用第一偏科教师模型，分别对标签数据以及非标签数据进行标签预测，即分别将标签数据以及非标签数据输入至第一偏科教师模型，得到第一偏科教师模型输出的标签数据的预测结果以及非标签数据的第一预测结果。此处，标签数据的预测结果即标签数据的软标签soft-label，标签数据的原始标签则可以作为其硬标签hard-label。
例如，对于终端A，利用第一偏科教师模型Ta对其标签数据进行标签预测，得到标签数据的软标签soft-label；利用第一偏科教师模型Ta对其非标签数据进行标签预测，得到非标签数据的第一预测结果A-Ta-soft。对于终端B，利用第一偏科教师模型Tb对其标签数据进行标签预测，得到标签数据的软标签soft-label；利用第一偏科教师模型Tb对其非标签数据进行标签预测，得到非标签数据的第一预测结果B-Tb-soft。
此后执行步骤S3，目标终端接收其他终端的第二偏科教师模型，并利用第二偏科教师模型，对目标终端的非标签数据进行标签预测，得到目标终端的非标签数据的第二预测结果。
例如，对于终端A，接收终端B的第二偏科教师模型Tb’，该第二偏科教师模型Tb’可以与终端B的第一偏科教师模型Tb相同，也可以只是第一偏科教师模型Tb的一部分，还可以是对第一偏科教师模型Tb或其一部分进行加密得到，此处不作具体限定。利用第二偏科教师模型Tb’对终端A的非标签数据进行标签预测，可以得到终端A的非标签数据的第二预测结果A-Tb’-soft。
对于终端B，接收终端A的第二偏科教师模型Ta’，该第二偏科教师模型Ta’可以与终端A的第一偏科教师模型Ta相同，也可以只是第一偏科教师模型Ta的一部分，还可以是对第一偏科教师模型Ta或其一部分进行加密得到，此处不作具体限定。利用第二偏科教师模型Ta’对终端B的非标签数据进行标签预测，可以得到终端B的非标签数据的第二预测结果B-Ta’-soft。
此后，目标终端可以利用第一预测结果与第二预测结果，生成非标签数据的软标签和硬标签，至此目标终端后续的本地蒸馏步骤所需的数据和标签均已准备完毕。可以根据第一预测结果与第二预测结果的差值确定非标签数据的硬标签，例如，可以引入差值阈值，若差值小于差值阈值，则确定对应的非标签数据的硬标签为0，若差值大于或等于差值阈值，则确定对应的非标签数据的硬标签为1。可以根据第一预测结果与第二预测结果的均值确定非标签数据的软标签。
此处，对于终端A，利用第一预测结果A-Ta-soft以及第二预测结果A-Tb’-soft，生成终端A的非标签数据的软标签soft-label和硬标签hard-label，至此终端A后续的本地蒸馏步骤所需的数据和标签均已准备完毕。对于终端B，利用第一预测结果B-Tb-soft以及第二预测结果B-Ta’-soft，生成终端B的非标签数据的软标签soft-label和硬标签hard-label，至此终端B后续的本地蒸馏步骤所需的数据和标签均已准备完毕。
最后执行步骤S4，利用标签数据及其软标签、非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型。此处，可以进行多轮本地蒸馏，结束标志可以是蒸馏损失收敛。
例如，对于终端A，利用标签数据及其软标签soft-label、非标签数据的软标签soft-label和硬标签hard-label，对基础模型进行本地蒸馏，可以得到学生模型S-a；对于终端B，利用标签数据及其软标签soft-label、非标签数据的软标签soft-label和硬标签hard-label，对基础模型进行本地蒸馏，可以得到学生模型S-b。
此后，可以利用得到的学生模型进行联邦学习，即利用该学生模型与目标服务端进行交互，以实现联邦学习。
本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布，该方法首先确定目标终端的标签数据以及非标签数据，并将目标终端与目标服务端下其他终端进行标签对齐，基于标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；然后利用第一偏科教师模型，分别对标签数据以及非标签数据进行标签预测，得到标签数据的软标签以及非标签数据的第一预测结果；此后接收其他终端的第二偏科教师模型，基于第二偏科教师模型，对非标签数据进行标签预测，得到非标签数据的第二预测结果，并基于第一预测结果与第二预测结果，生成非标签数据的软标签和硬标签；最后利用标签数据及其软标签、非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于学生模型进行联邦学习。该方法借助于其他终端的偏科教师模型对目标终端的非标签数据的预测结果，可以使非标签数据的软标签以及硬标签更加准确可靠，不仅可以大大提高基础模型的训练效率，还可以使得到的学生模型的泛化能力更强，进而可以提升联邦学习得到的聚合模型的准确性。此外，该方法结合知识蒸馏以及联邦学习，可以使学生模型学习到自身完全不存在的其他终端的知识，即自身数据没有相关标签，但是能通过联邦学习学到相关知识，这是一种极端的对于数据标签的非独立同分布场景。同时该方法能够通过联邦学习使学生模型已经拥有的拟合能力更佳。
在上述实施例的基础上，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，所述基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签，包括：
计算所述第一预测结果与所述第二预测结果的方差；
基于方差大的预测结果与方差小的预测结果的差值，生成所述非标签数据的硬标签；
计算所述第一预测结果与所述第二预测结果的均值，并将所述均值作为所述非标签数据的软标签。
具体地，在生成目标终端的非标签数据的软标签和硬标签时，可以先计算第一预测结果与第二预测结果的方差，然后计算方差大的预测结果与方差小的预测结果的差值，进而根据该差值生成目标终端的非标签数据的硬标签。方差因素的引入，可以使确定的硬标签更加符合实际情况。
此后计算第一预测结果与第二预测结果的均值，并可以将该均值作为目标终端的非标签数据的软标签。
在上述实施例的基础上，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，还包括：
提取所述第一偏科教师模型中的部分结构；
对所述部分结构进行差分隐私保护，得到目标结构，并将所述目标结构发送至所述其他终端；或者，
对所述第一偏科教师模型中的部分结构进行差分隐私保护，得到目标偏科教师模型，并将所述目标偏科教师模型发送至所述其他终端。
具体地，目标终端还可以提取出第一偏科教师模型中的部分结构，该部分结构可以是第一偏科教师模型中的一半。
将该部分结构通过差分隐私保护的方式进行加密，得到目标结构，并将该目标结构发送至其他终端。由于差分隐私保护的引入，可以使其他终端无法恢复出目标终端的数据。而且，仅对第一偏科教师模型中的进行加密并向其他终端发送，可以进一步增加其他终端恢复目标终端的数据的难度。
本发明实施例中还可以直接对第一偏科教师模型中的部分结构进行差分隐私保护，得到目标偏科教师模型，并将目标偏科教师模型发送至其他终端，使得其他终端可以直接利用该目标偏科教师模型，减少其他终端在应用目标偏科教师模型之间的工作量。
在上述实施例的基础上，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，所述第二偏科教师模型为所述其他终端对其初始偏科教师模型的部分结构进行差分隐私保护得到的结构；
相应地，所述基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，包括：
将所述第二偏科教师模型与所述第一偏科教师模型中的差异结构进行拼接，得到拼接模型；
基于所述拼接模型，对所述非标签数据进行标签预测，得到所述第二预测结果。
具体地，第二偏科教师模型可以通过其他终端对其利用标签数据及标签对齐结果训练得到的初始偏科教师模型的部分结构进行差分隐私保护的结构，则此时该第二偏科教师模型并不完整，本身不具有预测功能。因此，目标终端在利用第二偏科教师模型，对其非标签数据进行标签预测时，可以将第二偏科教师模型与第一偏科教师模型中的差异结构进行拼接，得到拼接模型。可以理解的是，第一偏科教师模型中的差异结构是指与第二偏科教师模型不同的结构，将二者进行拼接得到的拼接模型则为可以用于预测的模型。
此后，利用拼接模型，直接对非标签数据进行标签预测，即可得到第二预测结果。
在上述实施例的基础上，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，所述基于所述学生模型进行联邦学习，包括：
将所述学生模型上传至所述目标服务端；
接收所述目标服务端基于对所述各终端上传的学生模型进行联邦平均聚合后得到的聚合模型，并将所述聚合模型作为所述基础模型循环进行本地蒸馏，直至联邦学习结束。
具体地，在利用学生模型进行联邦学习时，可以先将学生模型上传至目标服务端，目标服务端则接收到归属该目标服务端的所有终端上传的学生模型进行联邦平均聚合，得到聚合模型S。联邦平均聚合的方式可以是对接收到的所有学生模型的结构参数进行加权平均。
此后，目标终端可以接收该聚合模型，该接收过程，可以是直接从目标服务端下载该聚合模型。进而，可以将聚合模型重新作为基础模型，循环进行本地蒸馏，即重新进行多轮本地蒸馏得到学生模型并上传至目标服务端，再接收目标服务端的聚合模型，执行若干次上述重复过程，直至联邦学习结束。此时，得到在目标终端可以用于标签类别预测的学生模型，以及目标服务端的聚合模型，即联邦模型。
如图2所示，在上述实施例的基础上，本发明实施例中提供了一种半监督非独立同分布的联邦学习蒸馏装置，包括：
确定模块21，用于确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；
第一预测模块22，用于基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；
第二预测模块23，用于接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；
联邦蒸馏模块24，用于基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
在上述实施例的基础上，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏装置，还包括发送模块，用于：
提取所述第一偏科教师模型中的部分结构；
对所述部分结构进行差分隐私保护，得到目标结构，并将所述目标结构发送至所述其他终端；或者，
对所述第一偏科教师模型中的部分结构进行差分隐私保护，得到目标偏科教师模型，并将所述目标偏科教师模型发送至所述其他终端。
在上述实施例的基础上，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏装置，所述第二预测模块，具体用于：
计算所述第一预测结果与所述第二预测结果的方差；
基于方差大的预测结果与方差小的预测结果的差值，生成所述非标签数据的硬标签；
计算所述第一预测结果与所述第二预测结果的均值，并将所述均值作为所述非标签数据的软标签。
在上述实施例的基础上，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏装置，所述第二偏科教师模型为所述其他终端对其初始偏科教师模型的部分结构进行差分隐私保护得到的结构；
相应地，所述第二预测模块，具体用于：
将所述第二偏科教师模型与所述第一偏科教师模型中的差异结构进行拼接，得到拼接模型；
基于所述拼接模型，对所述非标签数据进行标签预测，得到所述第二预测结果。
在上述实施例的基础上，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏装置，所述联邦蒸馏模块，具体用于：
将所述学生模型上传至所述目标服务端；
接收所述目标服务端基于对所述各终端上传的学生模型进行联邦平均聚合后得到的聚合模型，并将所述聚合模型作为所述基础模型循环进行本地蒸馏，直至联邦学习结束。
具体地，本发明实施例中提供的半监督非独立同分布的联邦学习蒸馏装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(Processor)310、通信接口(Communications Interface)320、存储器(Memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行上述各实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布；该方法包括：确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布；该方法包括：确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的半监督非独立同分布的联邦学习蒸馏方法，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布；该方法包括：确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种半监督非独立同分布的联邦学习蒸馏方法，其特征在于，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布；所述方法包括：
确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；
基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；
接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；
基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
2.根据权利要求1所述的半监督非独立同分布的联邦学习蒸馏方法，其特征在于，所述基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签，包括：
计算所述第一预测结果与所述第二预测结果的方差；
基于方差大的预测结果与方差小的预测结果的差值，生成所述非标签数据的硬标签；
计算所述第一预测结果与所述第二预测结果的均值，并将所述均值作为所述非标签数据的软标签。
3.根据权利要求1所述的半监督非独立同分布的联邦学习蒸馏方法，其特征在于，还包括：
提取所述第一偏科教师模型中的部分结构；
对所述部分结构进行差分隐私保护，得到目标结构，并将所述目标结构发送至所述其他终端；或者，
对所述第一偏科教师模型中的部分结构进行差分隐私保护，得到目标偏科教师模型，并将所述目标偏科教师模型发送至所述其他终端。
4.根据权利要求1所述的半监督非独立同分布的联邦学习蒸馏方法，其特征在于，所述第二偏科教师模型为所述其他终端对其初始偏科教师模型的部分结构进行差分隐私保护得到的结构；
相应地，所述基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，包括：
将所述第二偏科教师模型与所述第一偏科教师模型中的差异结构进行拼接，得到拼接模型；
基于所述拼接模型，对所述非标签数据进行标签预测，得到所述第二预测结果。
5.根据权利要求1-4中任一项所述的半监督非独立同分布的联邦学习蒸馏方法，其特征在于，所述基于所述学生模型进行联邦学习，包括：
将所述学生模型上传至所述目标服务端；
接收所述目标服务端基于对所述各终端上传的学生模型进行联邦平均聚合后得到的聚合模型，并将所述聚合模型作为所述基础模型循环进行本地蒸馏，直至联邦学习结束。
6.一种半监督非独立同分布的联邦学习蒸馏装置，其特征在于，应用于目标终端，所述目标终端归属的目标服务端下各终端的数据和/或标签满足非独立同分布；所述装置包括：
确定模块，用于确定所述目标终端的标签数据以及非标签数据，并将所述目标终端与所述目标服务端下其他终端进行标签对齐，基于所述标签数据以及标签对齐结果，对初始教师模型进行训练，得到第一偏科教师模型；
第一预测模块，用于基于所述第一偏科教师模型，分别对所述标签数据以及所述非标签数据进行标签预测，得到所述标签数据的软标签以及所述非标签数据的第一预测结果；
第二预测模块，用于接收所述其他终端的第二偏科教师模型，基于所述第二偏科教师模型，对所述非标签数据进行标签预测，得到所述非标签数据的第二预测结果，并基于所述第一预测结果与所述第二预测结果，生成所述非标签数据的软标签和硬标签；
联邦蒸馏模块，用于基于所述标签数据及其软标签、所述非标签数据的软标签和硬标签，对基础模型进行本地蒸馏，得到学生模型，并基于所述学生模型进行联邦学习。
7.根据权利要求6所述的半监督非独立同分布的联邦学习蒸馏装置，其特征在于，还包括发送模块，用于：
提取所述第一偏科教师模型中的部分结构；
对所述部分结构进行差分隐私保护，得到目标结构，并将所述目标结构发送至所述其他终端；或者，
对所述第一偏科教师模型中的部分结构进行差分隐私保护，得到目标偏科教师模型，并将所述目标偏科教师模型发送至所述其他终端。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的半监督非独立同分布的联邦学习蒸馏方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的半监督非独立同分布的联邦学习蒸馏方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的半监督非独立同分布的联邦学习蒸馏方法。
CN202310142023.5A 2023-02-13 2023-02-13 半监督非独立同分布的联邦学习蒸馏方法及装置 Pending CN116306905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310142023.5A CN116306905A (zh) 2023-02-13 2023-02-13 半监督非独立同分布的联邦学习蒸馏方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310142023.5A CN116306905A (zh) 2023-02-13 2023-02-13 半监督非独立同分布的联邦学习蒸馏方法及装置

Publications (1)

Publication Number Publication Date
CN116306905A true CN116306905A (zh) 2023-06-23

Family

ID=86812381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310142023.5A Pending CN116306905A (zh) 2023-02-13 2023-02-13 半监督非独立同分布的联邦学习蒸馏方法及装置

Country Status (1)

Country Link
CN (1) CN116306905A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011563A (zh) * 2023-08-04 2023-11-07 山东建筑大学 基于半监督联邦学习的道路损害巡检跨域检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011563A (zh) * 2023-08-04 2023-11-07 山东建筑大学 基于半监督联邦学习的道路损害巡检跨域检测方法及系统
CN117011563B (zh) * 2023-08-04 2024-03-01 山东建筑大学 基于半监督联邦学习的道路损害巡检跨域检测方法及系统

Similar Documents

Publication Publication Date Title
CN110929886B (zh) 模型训练、预测方法及其系统
US11836583B2 (en) Method, apparatus and system for secure vertical federated learning
CN110929870B (zh) 图神经网络模型训练方法、装置及系统
CN110942154B (zh) 基于联邦学习的数据处理方法、装置、设备及存储介质
US11715044B2 (en) Methods and systems for horizontal federated learning using non-IID data
CN109684797B (zh) 基于区块链的对抗网络生成图片的虚拟ip保护方法及系统
WO2020156004A1 (zh) 模型训练方法、装置及系统
CN113159329A (zh) 模型训练方法、装置、设备及存储介质
WO2020256732A1 (en) Domain adaptation and fusion using task-irrelevant paired data in sequential form
CN113051239A (zh) 数据共享方法、应用其的模型的使用方法及相关设备
CN116306905A (zh) 半监督非独立同分布的联邦学习蒸馏方法及装置
EP4320556A1 (en) Privacy-aware pruning in machine learning
CN111079153A (zh) 安全建模方法、装置、电子设备及存储介质
CN114254360A (zh) 模型训练方法、装置、存储介质、系统以及区块链节点
CN113361618A (zh) 一种基于联邦学习的工业数据联合建模方法及系统
CN116187431A (zh) 面向非独立同分布场景的联邦学习蒸馏方法及装置
CN112734050A (zh) 文本模型的训练方法、识别方法、装置、设备及存储介质
CN116384461A (zh) 基于联合学习的模型优化训练方法及装置
US20220101160A1 (en) Model reuse-based model prediction
CN115019218A (zh) 图像处理方法和处理器
CN114329127A (zh) 特征分箱方法、装置及存储介质
CN114510592A (zh) 图像分类方法、装置、电子设备及存储介质
CN112288088A (zh) 业务模型训练方法、装置及系统
CN117077798A (zh) 基于半监督学习的联合学习模型的生成方法及装置
CN114048804B (zh) 一种分类模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination