CN117372742A - 域泛化方法、服务器和客户端 - Google Patents

域泛化方法、服务器和客户端 Download PDF

Info

Publication number
CN117372742A
CN117372742A CN202311126219.1A CN202311126219A CN117372742A CN 117372742 A CN117372742 A CN 117372742A CN 202311126219 A CN202311126219 A CN 202311126219A CN 117372742 A CN117372742 A CN 117372742A
Authority
CN
China
Prior art keywords
image
client
domain
parameters
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311126219.1A
Other languages
English (en)
Inventor
刘雨轩
张亚红
范晨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202311126219.1A priority Critical patent/CN117372742A/zh
Publication of CN117372742A publication Critical patent/CN117372742A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种域泛化方法、服务器和客户端，所述方法包括：获取时序预测模型的第一时序数据集和第二时序数据集，其中，所述第一时序数据集用于训练所述时序预测模型，所述第二时序数据集用于所述时序预测模型进行数据预测；所述第一时序数据集和所述第二时序数据集的数据类别为具有时序特征的图像或文本；对所述第一时序数据集和所述第二时序数据集中的数据进行数据对比，确定所述第二时序数据集的偏移量；基于所述偏移量与偏移阈值的对比，通过所述第二时序数据集对所述时序预测模型的参数进行确定。

Description

域泛化方法、服务器和客户端
技术领域
本申请涉及但不限于计算机技术领域，尤其涉及一种域泛化方法、服务器和客户端。
背景技术
深度学习任务的分布外泛化问题指的是在深度学习中，模型在训练集上表现良好，但是在测试集上表现出严重低于训练集的现象，使得模型在未知目标域上不能实现很好的效果。
为了提升模型的域泛化性能，相关技术中借助多个域来学习不同域中数据不变的特征。但是，该方法存在数据泄露的风险。因此，如何在联邦学习保护源域数据隐私的场景下，提高全局模型在目标域的泛化能力，是当前亟待解决的问题。
发明内容
基于相关技术存在的问题，本申请实施例提供一种域泛化方法、服务器和客户端。
第一方面，本申请实施例提供一种域泛化方法，所述方法应用于服务器，所述方法包括：
获取多各客户端中各客户端上传的图像判别信息；所述图像判别信息为各客户端中的判别器基于对应客户端的初始图像，对服务器中生成器生成的增强图像进行判别得到的信息；其中，所述初始图像包括振幅信息；
基于所述图像判别信息，对所述生成器进行更新，得到更新后的生成器；
将所述更新后的生成器生成的多域混杂图像发送至各客户端；
基于各客户端根据对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数。
在一些实施例中，所述方法还包括：确定各客户端对应的初始图像的样本数量；根据各客户端的样本数量和多各客户端的总样本数量，确定各客户端的模型权重；对应地，所述基于各客户端根据对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数，包括：获取各客户端基于对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数；根据各客户端的模型权重，对各客户端的所述模型更新参数进行加权计算，得到所述域泛化参数。
在一些实施例中，所述方法还包括：获取随机高斯噪声；基于所述生成器和所述随机高斯噪声，生成初始的增强图像，并将所述初始的增强图像发送至各客户端。
在一些实施例中，所述基于所述图像判别信息，对所述生成器的参数进行更新，得到更新后的生成器，包括：对各客户端对所述初始的增强图像进行判别得到的图像判别信息进行聚合处理，得到聚合判别器损失结果；基于所述聚合判别器损失结果，确定生成器损失结果；基于所述生成器损失结果，对所述生成器的参数进行更新，得到初始更新的生成器；将基于所述初始更新的生成器生成的更新后的增强图像发送至各客户端；响应于所述更新后的增强图像不满足各客户端中判别器的判别条件，获取各客户端上传的更新后的增强图像对应的图像判别信息；基于更新后的增强图像对应的图像判别信息，对所述初始更新的生成器的参数进行更新，得到再次更新的生成器；响应于所述更新后的增强图像满足各客户端中判别器的判别条件，将所述再次更新的生成器确定为所述更新后的生成器。
第二方面，本申请实施例提供一种域泛化方法，所述方法应用于客户端，所述方法包括：
获取初始图像和多域混杂图像；所述初始图像包括振幅信息和相位信息；
对所述多域混杂图像和所述初始图像进行数据处理，得到多域图像；
基于所述多域图像和所述初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，并将所述模型更新参数发送至服务器；
获取服务器基于所述模型更新参数确定的域泛化参数；
基于所述域泛化参数对所述分类器的参数进行更新，得到域泛化模型。
在一些实施例中，所述对所述多域混杂图像和所述初始图像进行数据处理，得到多域图像，包括：对所述初始图像进行傅里叶分解得到的振幅信息和所述多域混杂图像进行插值计算，得到插值图像；对所述插值图像和所述初始图像进行傅里叶分解得到的相位信息进行逆傅里叶变换，得到所述多域图像。
在一些实施例中，所述基于所述多域图像和所述初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，包括：基于客户端中的分类器，分别对所述多域图像和所述初始图像进行分类处理，得到第一分类结果和第二分类结果；根据所述第一分类结果、所述第二分类结果和分类器损失函数，确定分类器损失结果；根据所述损失结果，对所述分类器的参数进行参数更新，得到所述模型更新参数。
在一些实施例中，所述方法还包括：获取模型权重，所述模型权重为服务器基于各客户端的初始图像的样本数量确定的；对应地，所述基于客户端中的分类器，分别对所述多域图像和所述初始图像进行分类处理，得到第一分类结果和第二分类结果，包括：基于所述分类器和所述模型权重，分别对所述多域图像和所述初始图像进行分类处理，输出携带有所述模型权重的所述第一分类结果和所述第二分类结果。
第三方面，本申请实施例提供一种服务器，所述服务器包括：
第一获取模块，用于获取多各客户端中各客户端上传的图像判别信息；所述图像判别信息为各客户端中的判别器对服务器中生成器生成的增强图像和对应客户端的初始图像进行判别得到的信息；其中，所述初始图像包括振幅信息；
第一更新模块，用于基于所述图像判别信息，对所述生成器进行更新，得到更新后的生成器；
发送模块，用于将所述更新后的生成器生成的多域混杂图像发送至各客户端；
确定模块，用于基于各客户端根据对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数。
第四方面，本申请实施例提供一种客户端，所述客户端包括：
第二获取模块，用于获取初始图像和多域混杂图像；所述初始图像包括振幅信息和相位信息；
数据处理模块，用于对所述多域混杂图像和所述初始图像进行数据处理，得到多域图像；
参数更新模块，用于基于所述多域图像和所述初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，并将所述模型更新参数发送至服务器；
第三获取模块，用于获取服务器基于所述模型更新参数确定的域泛化参数；
第二更新模块，用于基于所述域泛化参数对所述分类器的参数进行更新，得到域泛化模型。
第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述域泛化方法。
第六方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括可执行指令，所述可执行指令存储在计算机可读存储介质中；当服务器或客户端从所述计算机可读存储介质读取所述可执行指令，并执行所述可执行指令时，实现上述域泛化方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请实施例提供的域泛化方法的应用场景示意图；
图2是本申请实施例提供的应用于服务器的域泛化方法的实现流程示意图；
图3是本申请实施例提供的应用于服务器的域泛化方法的实现流程示意图；
图4是本申请实施例提供的应用于客户端的域泛化方法的实现流程示意图；
图5是本申请实施例提供的联邦域泛化方法的示意图；
图6是本申请实施例提供的服务器的示意图；
图7是本申请实施例提供的客户端的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
分布外泛化问题广泛存在于现实生活中医疗、工业、金融等各个邻域。联邦学习是近些年提出的概念，是一种分布式机器学习技术，本质上是通过多个用户设备共同训练一个代表所有用户设备的全局模型，主要是针对个域的数据所提出的一种新型隐私保护范式，联邦学习是在训练集上不同用户数据非独立同分布的情况下进行建模，然而对于拥有非独立同分布数据的联邦学习中，测试集的训练精度下降问题，即分布外泛化问题(Out ofdistribution，OOD)却未解决。
联邦学习场景下的域泛化是指从多个源域中学习一个能够泛化到未知目标域的模型，多数域泛化方法需要将不同领域的数据进行集中收集。然而由于隐私性的考虑，数据常常是分布式收集的，但是分布式收集也无法保证联邦场景下的数据隐私性。
相关技术中，解决分布外域泛化问题通常需要借助多个域来学习不同的域中不变的特征，然而联邦学习独有的一个特性就是数据不出本地。因此，联邦OOD问题具体为三类情况：第一种情况是如何从多个分散的源域中学习联邦模型，以此训练一个全局模型，可以让该全局模型泛化到一个拥有新域的新用户上；第二种情况是如何训练一个全局泛化模型，让多个本地模型可以从中受益，提升本地模型泛化性能，同时在测试集上测试精度不低于训练精度；第三种情况是在数据非独立同分布情况下，如何训练一个具备全局域泛化模型来解决数据非独立同分布问题。
相关技术为了解决上述问题，采用傅里叶变换将本地图像数据分为振幅数据(低级语义信息)和相位谱数据(高级语义信息)，将振幅信息作为共享数据共享给其它源域，将相位信息在本地不与其他源域进行数据交换。然后将本地振幅谱与其他源域的共享振幅谱进行随机线性插值，并插值后的振幅谱与本地相位谱进行逆傅里叶变换恢复为正常图像，此时该图像拥有不变的相位信息以及多个源域的分布信息，从而实现域泛化中需要借助多个域来学习域不变的特性。但是相关技术的方法存在隐私泄露的风险，低级语义信息虽然可能不包含图像的相位信息，但是可能包含图像的像素分布信息，并且该方法没有考虑联邦学习中普遍存在的数据非独立同分布问题。
基于相关技术存在的问题，本申请实施例提供一种域泛化方法，通过分布式训练生成对抗神经网络的方式来训练一个生成器，生成器训练时生成器的输入是高斯噪声，不接触多个域的用户本地数据，生成器输出的数据依靠每个域的判别器来判别生成数据的真假，进行对生成器进行优化。随后将判别器判定为真的多域混杂图像广播式发送给每个用户，并与多域的数据进行处理，得到包含多域信息的多域数据，基于多域数据得到模型的域泛化参数。如此，本申请实施例中的多域混杂图像生成时没有接触各源域的本地数据，因此不会导致各源域的隐私数据泄露的问题，在保护源域数据隐私的条件下，使得域泛化模型在目标域具有很好的泛化能力。
本申请实施例训练生成器通过以下步骤实现：首先，固定生成器的参数，对判别器进行训练，使得它能够更好地区分真实数据和生成器生成的数据。然后，固定判别器的参数，对生成器进行训练，使得生成器生成的数据能够尽可能地“欺骗”判别器。这两步交替进行，直到模型收敛。在训练生成器的阶段，首先通过生成器生成一些“假”数据，然后将这些数据送入判别器进行判断。生成器的目标是让判别器尽可能地认为这些“假”数据是“真”的。为此定义一个损失函数来度量判别器判断错误的程度，然后使用梯度下降算法来更新生成器的参数，以最小化这个损失函数，最终得到训练好的生成器。
图1是本申请实施例提供的域泛化方法的应用场景示意图。本申请实施例提供的域泛化系统10中包括一个服务器100和多各客户端，如客户端200-1至200-N。各客户端的功能在于存储各客户端对应的源域的数据、在源域的数据上训练本地模型和与服务器交互模型参数；服务器100中包含生成器，服务器的功能在于训练生成器，聚合、分发多各客户端的模型参数，聚合的全局域泛化模型，全局域泛化模型可用于未知目标域的数据。各客户端与服务器100之间的交互可以通过网络实现，网络可以是广域网或者局域网，又或者是二者的组合。
如图1所示，本申请实施例在进行模型域泛化时，服务器100获取多各客户端中各客户端上传的图像判别信息，基于图像判别信息，对生成器进行更新，得到更新后的生成器，将更新后的生成器生成的多域混杂图像发送至各客户端，并基于各客户端根据对应客户端的初始图像与多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数。各客户端获取初始图像和多域混杂图像，对多域混杂图像和初始图像进行数据处理，得到多域图像，基于多域图像和初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，并将模型更新参数发送至服务器，获取服务器基于模型更新参数确定的域泛化参数，基于域泛化参数对分类器的参数进行更新，从而得到可用于未知目标域的域泛化模型。
下面，将说明域泛化方法实施为服务器时的示例性应用，将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
图2是本申请实施例提供的应用于服务器的域泛化方法的实现流程示意图，如图1所示，该方法通过步骤S201至步骤S204实现：
步骤S201、获取多各客户端中各客户端上传的图像判别信息；所述图像判别信息为各客户端中的判别器基于对应客户端的初始图像，对服务器中生成器生成的增强图像进行判别得到的信息；其中，所述初始图像包括振幅信息。
这里，各客户端位于不同的源域，用于存储各客户端对应的源域的数据(例如初始图像)、在源域的数据上训练本地模型(例如本地分类器)和与服务器交互本地模型的参数。
在本申请实施例中，为了避免数据泄露，服务器中生成器生成增强图像时不接触各源域的本地数据，因此，本申请服务器中的生成器在生成增强图像时，可以基于随机高斯噪声输出一个增强图像，生成的增强图像依靠各客户端的判别器，来判别生成的增强图像的真假，当判断为假时，形成图像判别信息，并将图像判别信息发送至服务器。
在一些实施例中，初始图像是指各客户端中的本地图像数据。域泛化是指学习多个域中数据的不变特征，即可泛化的特征，例如，图像中事物的轮廓，比如猫狗的轮廓。初始图像包含振幅信息和相位信息，其中振幅信息为低级语义信息，包含轮廓等可泛化的特征，相位信息包含各源域不可泛化的特征，例如各源域的图像风格，比如漫画风格或写实风格等。因此，各客户端的判别器在对生成器生成的增强图像进行判别时，是通过初始图像的振幅信息进行判别的。
在一些实施例中，各客户端中的判别器对增强图像进行判别时，图像判别信息，即判别器的损失maxDLDi通过公式(1)进行计算：
maxDLDi＝-log(Di(Xi))-log(1-Di(G(z))) (1)；
其中，Di为各客户端，i＝1…N；Xi表示各客户端的初始图像；G表示生成器；z是随机高斯噪声。这里，判别器的损失用来度量判别器判断错误的程度，然后服务器使用梯度下降算法来更新生成器的参数，以最小化生成器的损失函数，使生成器生成的图像接近所有源域的数据分布。
在一些实施例中，一旦客户端的判别器很难区分本地的初始图像和生成器所生成的增强图像，此时增强图像中所包含的特征就被认为是跨多个源域不变的特征，即域泛化特征，如此们可以认为生成器学得的特征是通用的，能够泛化到未知的领域。
步骤S202、基于所述图像判别信息，对所述生成器进行更新，得到更新后的生成器。
在一些实施例中，当各客户端的本地判别器判定该增强图像为假时，上传图像判别信息至服务器，服务器基于图像判别信息对生成器进行训练，并对生成器进行更新，然后通过更新后的生成器再次生成新的增强图像，再通过客户端的本地判别器对该新的增强图像进行真假判断，如果还是判断为假，则服务器再次基于新的图像判别信息进行生成器的训练，直至判别器判定生成器生成的图像为真，得到更新后的生成器。
在一些实施例中，基于每各客户端判别器的损失，可以得到生成器的损失，并基于生成器的损失对生成器进行更新。生成器的损失minGLG通过公式(2)进行计算：
minG LG＝log(1-Agg(Di(G(z)))) (2)；
其中，Agg(.)表示聚合各客户端判别器损失的聚合器。
在生成器更新的过程中，只有各客户端本地判别器D与各客户端的初始图像接触，这样可以有效避免隐私泄露，使得本地模型不接触其它源域的数据的同时，依旧可以借助多源域信息进行本地模型的联邦域泛化。
步骤S203、将所述更新后的生成器生成的多域混杂图像发送至各客户端。
在一些实施例中，当各客户端的本地判别器判定该增强图像为真时，将该增强图像确定为多域混杂图像，并将多域混杂图像广播式发送给每各客户端。
这里，更新后的生成器基于随机高斯噪声直接生成包含多域分布信息的多域混杂图像，避免了各源域的数据泄露。
步骤S204、基于各客户端根据对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数。
在一些实施例中，各客户端在接收到服务器发送的多域混杂图像之后，基于对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新，得到更新后的模型更新参数，并将各客户端的模型更新参数上传至服务器。服务器对各客户端上传的模型更新参数进行处理，得到各客户端分类器的域泛化参数。域泛化参数是指学习了各源域不变特征的模型参数，使用该域泛化参数的客户端分类器，学习了多个源域的域泛化特征，可以应用在新的源域上。
在一些实施例中，服务器对各客户端上传的模型更新参数进行处理，可以是对客户端上传的模型更新参数进行平均化处理，也可以是根据各客户端的数据量，为每各客户端设置权重，根据每各客户端的权重来对模型更新参数进行加权，最终得到域泛化参数，还可以通过基于联邦学习的分布式优化算法(例如FedAvg算法)对各客户端上传的模型更新参数进行聚合，最终得到域泛化参数。
本申请实施例中，首先，服务器生成增强图像，发送至各客户端，各客户端基于本地的初始图像对增强图像进行判别，生成图像判别信息，服务器基于图像判别信息对生成器进行训练，得到更新后的生成器，这样生成器更新过程不接触本地数据，不会导致各源域的隐私数据泄露，在保护源域数据隐私的条件下，使得生成器能够生成具有多源域的域泛化特征的多域混杂图像。其次，将更新后的生成器生成的含有多域信息的多域混杂图像发送至各客户端，并获取各客户端的初始图像与多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，根据模型更新参数确定域泛化参数，各客户端的分类器使用该域泛化参数能够在目标域或新的域具有很好的泛化能力。
在一些实施例中，不同客户端的本地数据量不同，为了解决由于不同客户端由于本地数据数量不均衡导致的非独立同分布问题，本申请实施例通过各客户端的样本数量，确定各客户端的模型权重，基于该模型权重来解决各客户端的非独立同分布问题。基于上述实施例，本申请实施例提供的域泛化方法还可以包括步骤S1和步骤S2：
步骤S1、确定各客户端对应的初始图像的样本数量。
在一些实施例中，每各客户端具有的初始图像的样本数量不同，使得各客户端对域泛化参数的生成过程的贡献不同，为了避免样本数量不均衡导致的非独立同分布问题，本申请实施例获取不同客户端的样本数量，对各客户端的所述模型更新参数进行加权。
步骤S2、根据各客户端的样本数量和多各客户端的总样本数量，确定各客户端的模型权重。
在一些实施例中，在获取每各客户端的样本数量之后，可以使用样本数量的反比例作为各客户端的模型权重。这样，样本数量较少的客户端会得到较大的权重，而样本数量较多的客户端会得到较小的权重，使得每个样本对域泛化模型的贡献都相同。
例如，有N各客户端，每各客户端有ni个样本，每各客户端的模型权重wi可以通过公式(3)实现：
其中，是所有客户端的样本数量之和。
对应地，步骤S204可以通过步骤S2041和步骤S2042实现：
步骤S2041、获取各客户端基于对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数。
在一些实施例中，各客户端在接收到服务器发送的多域混杂图像之后，基于对应客户端的初始图像与多域混杂图像对客户端的分类器进行参数更新，得到更新后的模型更新参数，并将各客户端的模型更新参数上传至服务器。
步骤S2042、根据各客户端的模型权重，对各客户端的所述模型更新参数进行加权计算，得到所述域泛化参数。
本申请实施例根据各客户端的模型参数，对各客户端的模型更新参数进行加权计算，使得不同客户端对全局泛化模型的贡献能力尽可能相同，避免了贡献不均导致模型泛化性能变差的问题，使得采用域泛化参数的模型在新域也能表现良好。
在一些实施例中，为了生成具有多各客户端域不变特征的多域混杂图像，需要通过各客户端本地的判别器对生成器生成的图像进行判别，在判别不通过的时候，基于判别信息对生成器进行更新，再次通过更新的生成器生成图像，并继续通过客户端本地的判别器对图像进行判断，直至生成器生成的多域混杂图像被本地判别器判别为真。基于前述实施例，本申请实施例提供的域泛化方法还可以包括步骤S3和步骤S4：
步骤S3、获取随机高斯噪声。
步骤S4、基于所述生成器和所述随机高斯噪声，生成初始的增强图像，并将所述初始的增强图像发送至各客户端。
在本申请实施例中，在生成器还未更新之前，生成器的输入是随机高斯噪声，输出是初始增强图像，将初始增强图像发送至各客户端，客户端对初始增强图像进行判别、
在一些实施例中，如图3所示，对生成器进行更新，即步骤S102可以通过步骤301至步骤S307实现：
步骤301、对各客户端对所述初始的增强图像进行判别得到的图像判别信息进行聚合处理，得到聚合判别器损失结果。
在一些实施例中，各客户端对所述初始的增强图像进行判别得到的图像判别信息通过各客户端判别器的损失来衡量，判别器的损失maxDLDi通过公式(4)进行计算：
maxDLDi＝-log(Di(Xi))-log(1-Di(G(z))) (4)；
其中，Di为各客户端，i＝1…N；Xi表示各客户端的初始图像；G表示生成器；z是随机高斯噪声。这里，判别器的损失用来度量判别器判断错误的程度，然后服务器使用梯度下降算法来更新生成器的参数，以最小化这个损失函数。
在一些实施例中，Agg(.)表示聚合各客户端判别器损失的聚合器，服务器对图像判别信息进行聚合处理，得到聚合判别器损失结果，聚合判别器损失结果为Agg(Di(G(z)))。
步骤302、基于所述聚合判别器损失结果，确定生成器损失结果。
基于聚合判别器损失结果，可以得到生成器的损失，生成器的损失结果minGLG通过公式(5)进行计算：
minGLG＝log(1-Agg(Di(G(z)))) (5)；
步骤303、基于所述生成器损失结果，对所述生成器的参数进行更新，得到初始更新的生成器。
这里，初始更新的生成器是指对生成器进行一次更新之后的生成器。
步骤304、将基于所述初始更新的生成器生成的更新后的增强图像发送至各客户端。
在一些实施例中，初始更新的生成器再次基于随机高斯噪声生成更新后的增强图像，并将更新后的增强图像发送至各客户端。
步骤305、响应于所述更新后的增强图像不满足各客户端中判别器的判别条件，获取各客户端上传的更新后的增强图像对应的图像判别信息。
这里，判别器的判别条件是指判别器判别更新后的增强图像是否为真，当各客户端的判别器再次对更新后的增强图像进行判别，判定更新后的增强图像为假，说明更新后的增强图像不满足各客户端中判别器的判别条件，要基于各判别器的损失，再次生成图像判别信息上传至服务器。
步骤306、基于更新后的增强图像对应的图像判别信息，对所述初始更新的生成器的参数进行更新，得到再次更新的生成器。
再次更新的生成器基于随机高斯噪声再生成增强图像，各客户端的判别器再对新的增强图像进行判别，如此反复迭代，直至生成器生成的增强图像满足各客户端中判别器的判别条件，即各客户端的判别器判断该增强图像为真。
步骤307、响应于所述更新后的增强图像满足各客户端中判别器的判别条件，将所述再次更新的生成器确定为所述更新后的生成器。
在一些实施例中，当生成器生成的增强图像满足各客户端中判别器的判别条件时，判别为真的增强图像即为生成器生成的具有多域信息的多域混杂图像，将生成该图像的生成器确定为更新后的生成器。
本申请实施例通过判别器和生成器之间的迭代交互对生成器进行更新训练，使得生成器能在不接触各源域的情况下生成包含多域不变特征的多域混杂图像，在学习了多域信息的情况下，还能避免各源域的数据泄露。
接下来，将说明域泛化方法实施为客户端时的示例性应用，将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
图4是本申请实施例提供的应用于客户端的域泛化方法的实现流程示意图，如图4所示，该方法通过步骤S401至步骤S405实现：
步骤S401、获取初始图像和多域混杂图像；所述初始图像包括振幅信息和相位信息。
在一些实施例中，初始图像包含振幅信息和相位信息，其中，振幅信息为低级语义信息，包含轮廓等可泛化的特征，相位信息包含各源域不可泛化的特征，例如各源域的图像风格，比如漫画风格或写实风格等。
步骤S402、对所述多域混杂图像和所述初始图像进行数据处理，得到多域图像。
在本申请实施例中，本地客户端基于初始图像的振幅信息对生成器生成的增强图像进行判别，因此，多域混杂图像包含多域的振幅信息。将具有多域信息的多域混杂图像与初始图像进行数据处理，得到既包含多域的振幅信息，也包含本地相位信息的多域图像，该多域图像既包含多域的域泛化特征，也包含本地的不可泛化的个性化特征。
在一些实施例中，步骤S402可以通过步骤S4021和步骤S4022实现：
步骤S4021、对所述初始图像进行傅里叶分解得到的振幅信息和所述多域混杂图像进行插值计算，得到插值图像。
在一些实施例中，对初始图像进行傅里叶分解可以得到振幅信息和相位信息，对振幅信息和多域混杂图像进行线性插值计算，得到插值图像。
线性插值计算可以通过公式(6)实现：
Xi＝βxi+(1-β)gi (6)；
其中，β表示初始图像中振幅信息所占比例，Xi为第i个客户端插值之后的插值图像，xi为初始图像的振幅信息，gi为多域混杂图像。
步骤S4022、对所述插值图像和所述初始图像进行傅里叶分解得到的相位信息进行逆傅里叶变换，得到所述多域图像。
在得到插值图像之后，插值图像和初始图像的相位信息进行逆傅里叶变换，得到既包含多域的振幅信息，也包含本地相位信息的多域图像。
步骤S403、基于所述多域图像和所述初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，并将所述模型更新参数发送至服务器。
在本申请实施例中，在得到多域图像和初始图像之后，可以将多域图像和初始图像输入客户端中的分类器，得到两个分类结果，再通过两个分类结果和交叉熵损失函数，得到损失结果，根据损失结果对客户端中分类器的参数进行参数更新，得到模型更新参数，再将模型更新参数发送至服务器。
步骤S404、获取服务器基于所述模型更新参数确定的域泛化参数。
步骤S405、基于所述域泛化参数对所述分类器的参数进行更新，得到域泛化模型。
这里，在获取了服务器生成的域泛化参数之后，基于域泛化参数对分类器的参数进行更新得到的域泛化模型，不仅学习了各源域中不变的特征，也具有本地不可泛化的特征。
在本申请实施例中，各客户端通过判别器训练服务器端的生成器，并根据生成器生成的多域混杂图像对本地的分类器进行更新，获取服务器聚合各客户端的模型更新参数生成的域泛化参数，并基于域泛化参数对本地分类器进行更新，得到学习了多域特征的域泛化模型，如此，实现了在本地数据不泄露的情况下，训练处具有泛化能力的域泛化模型，使得域泛化模型能够在目标域或新的域具有很好的泛化能力。
在一些实施例中，对客户端中分类器的参数进行参数更新，得到模型更新参数可以通过步骤S10和步骤S30实现：
步骤S10、基于客户端中的分类器，分别对所述多域图像和所述初始图像进行分类处理，得到第一分类结果和第二分类结果。
在一些实施例中，将多域图像和初始图像分别输入相同的分类器中，得到第一分类结果和第二分类结果。
本申请实施例还包括获取服务器发送的基于各客户端的初始图像的样本数量确定的模型权重，基于该模型权重，步骤S10通过以下方式实现：基于所述分类器和所述模型权重，分别对所述多域图像和所述初始图像进行分类处理，输出携带有所述模型权重的所述第一分类结果和所述第二分类结果。
在本申请实施例中，为了解决不同客户端本地数据数量不均匀，导致的非独立同分布问题，可以在本地分类器的softmax输出层后添加模型权重，对于拥有样本数较少的客户端，会乘以一个较大的模型权重，对于拥有样本数较多的客户端，会乘以一个较小的模型权重。这样可以使得不同客户端对全局域泛化模型的贡献能力尽可能接近，避免贡献不均导致域泛化模型泛化性能变差的问题。
因此，可以在本地分类器的输出层乘以该客户端对应的模型权重，输出携带有模型权重的第一分类结果和第二分类结果。
步骤S20、根据所述第一分类结果、所述第二分类结果和分类器损失函数，确定分类器损失结果；
在一些实施例中，分类器损失函数可以是交叉熵损失函数，可以通过交叉熵损失函数计算第一分类结果和第二分类结果之间的相似度，将该相似度确定为分类器的损失结果。
步骤S30、根据所述损失结果，对所述分类器的参数进行参数更新，得到所述模型更新参数。
基于该损失结果对本地分类器进行优化，最终使得本地分类器学习到多个客户端的域不变特征。
本申请实施例通过在分类器输出层后添加了一个模型权重矩阵，来对本地模型个性化，避免数据收到非独立同分布带来的影响，使得不同客户端对全局域泛化模型的贡献能力尽可能接近，避免由于贡献不均导致模型泛化性能变差的问题。
本申请实施例再提供一种域泛化方法在实际场景中的应用。
基于相关技术中存在的问题，本申请实施例提供一种能实现客户端隐私保护的域泛化方法，第一阶段通过分布式训练的方式，在服务器以生成对抗神经网络的方式来训练一个生成器，训练时生成器的输入是高斯噪声，输出是生成的包含多域特征的图像(生成的图像包含多个域(即客户端)的信息，由于多个域的信息混杂在一起，因此无法进行有效地识别，因此不存在隐私泄露问题)，由于生成器不接触用户本地数据，生成的图像是无法识别的混杂信息，同时生成的图像依靠用户本地的判别器，来判别生成数据的真假，来对生成器进行优化。随后将生成的混杂图像(即多域混杂图像)广播式发送给每个用户的客户端并与原始振幅信息线性后，与相位信息进行逆傅里叶变换，恢复成拥有多域信息的数据增强图像(即多域图像)。因此，本申请解决了在联邦学习隐私保护的背景下，利用不同用户的本地数据训练全局模型的问题。
第二阶段，在客户端的本地模型输出层后添加了一个权重矩阵，用于处理不同用户客户端中本地数据数量不均匀，导致的非独立同分布问题。
在本申请实施例中，服务器端的生成器通过分布式联邦学习来进行多域信息重构，生成器训练只需要由判别器损失函数与生成器损失函数进行联合指导，而不需要接触多各客户端的源数据，有效的避免了隐私泄露问题。
在一些实施例中，在生成器的训练过程中，服务器端的生成器损失如公式(7)所示：
minGLG＝log(1-Agg(Di(G(z)))) (7)；
其中Agg(.)表示聚合判别器损失的聚合器，G表示生成器，z是高斯白噪声，D是判别器。
在一些实施例中，每各客户端的判别器损失如公式(8)所示：
maxDLDi＝-log(Di(Xi))-log(1-Di(G(z))) (8)；
其中，X表示原始图像的信息。
在生成器的训练过程中，只有客户端的本地判别器D与本地的原始数据接触，生成器不接触本地数据，仅依靠判别器的判别信息生成包含多域分布信息的混杂振幅图像，这样可以有效避免隐私泄露，使得本地模型不接触其它数据的同时，依旧可以借助多源域信息进行联邦域泛化。
本申请在本地分类器(即客户端分类器)上添加了个性化权重层(即模型权重)，解决了由于数据非独立同分布带来模型不公平问题。对于拥有样本数较少的域(即客户端)，乘以一个较大的权重，对于拥有样本数较多的域，乘以一个较小的矩阵，这样可以使得不同域对全局泛化模型的贡献能力尽可能接近，避免贡献不均导致模型泛化性能变差的问题。这里，可以计算每个域的样本数量，然后使用样本数量的反比例作为模型权重。这样，样本数量较少的域会得到较大的权重，而样本数量较多的域会得到较小的权重，使得每个样本对模型的贡献都大致相同。
通过在本地分类器的输出层设置一个权重矩阵(即模型权重)来对本地模型(即客户端分类器)个性化，避免数据非独立同分布带来的影响。
图5是本申请实施例提供的联邦域泛化方法的示意图，如图5所示，联邦域泛化方法包括服务器LG，多各客户端，如LD1至LDN。其中，虚线为服务器中生成器的训练过程，实线为数据流。
如图5所示，联邦域泛化方法由步骤1至步骤8实现：
步骤S11、各客户端对原始图像OrigGraph(即初始图像)进行傅里叶变换，分解为振幅信息A和相位信息B。
步骤S12、服务器的生成器G基于随机高斯噪声生成一个增强图像，客户端的本地判别器(图4中的D1至DN)对该增强图像进行真假判断。
步骤S13、当客户端的本地判别器判定该增强图像为假时，上传图像判别信息至服务器，服务器对各客户端的图像判别信息(即判别器的损失函数Ldis1至LdisN)进行聚合，确定生成器的损失函数Agg(Ldis)，基于生成器G的损失函数对生成器G进行训练，对生成器G进行更新，然后通过更新后的生成器再次生成新的增强图像，再通过客户端的本地判别器对该新的增强图像进行真假判断，如果还是判断为假，则服务器再次基于新的图像判别信息进行生成器的训练，直至判别器判定生成器生成的图像为真。
步骤S14、当客户端的本地判别器判定该增强图像为真时，将该增强图像确定为多域混杂图像，并将多域混杂图像广播式发送给每个客户端。
步骤S15、将多域混杂图像与每个用户的本地振幅信息A进行插值计算，得到插值图像C。
在一些实施例中，插值计算的公式如(9)所示：
Xi＝βxi+(1-β)gi (6)
其中，β表示原始振幅信息A所占比例，X为插值之后的图像，x为原始振幅图像，g为生成的多域混杂图像。
步骤S16、对插值图像和本地相位信息B进行逆傅里叶变换生成多域图像D。
步骤S17、将原始图像OrigGraph与多域图像D分别输送至本地客户端的两个相同的分类器Classifier，得到两个分类结果。
这里，由于不同用户本地数据不同，我们在本地分类器输出层乘以权重矩阵，对于数据较少的用户采用更多的更高的权重，数据较多的用户采用更低的权重。
步骤S18、通过交叉熵损失函数对两个分类器输出结果进行优化，最终使得本地分类器学习到域不变特征。通过FedAvg算法对多个用户本地模型参数进行聚合，并将聚合后参数广播式传输给每一个本地分类器进行模型参数更新，得到域泛化模型CE。
本申请实施例通过分布式生成对抗神经网络的方法，来生成含有多域信息的不可识别振幅图像，可以有效的避免隐私泄露的风险，给联邦OOD问题带来一种新的解决范式。且通过在分类器网络输出层设置一个权重矩阵来对本地模型个性化，避免数据非独立同分布带来的影响。
基于上述实施例，本申请实施例提供一种服务器，图6是本申请实施例提供的服务器的示意图，如图6所示，所述服务器60包括第一获取模块601、第一更新模块602、发送模块603和确定模块604。
其中，第一获取模块601，用于获取多各客户端中各客户端上传的图像判别信息；所述图像判别信息为各客户端中的判别器对服务器中生成器生成的增强图像和对应客户端的初始图像进行判别得到的信息；其中，所述初始图像包括振幅信息；第一更新模块602，用于基于所述图像判别信息，对所述生成器进行更新，得到更新后的生成器；发送模块603，用于将所述更新后的生成器生成的多域混杂图像发送至各客户端；确定模块604，用于基于各客户端根据对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数。
在一些实施例中，服务器还包括：第一确定模块，用于确定各客户端对应的初始图像的样本数量；第二确定模块，用于根据各客户端的样本数量和多各客户端的总样本数量，确定各客户端的模型权重；对应地，确定模块604还用于获取各客户端基于对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数；根据各客户端的模型权重，对各客户端的所述模型更新参数进行加权计算，得到所述域泛化参数。
在一些实施例中，服务器还包括：第四获取模块，用于获取随机高斯噪声；生成模块，用于基于所述生成器和所述随机高斯噪声，生成初始的增强图像，并将所述初始的增强图像发送至各客户端。
在一些实施例中，第一更新模块602，还用于对各客户端对所述初始的增强图像进行判别得到的图像判别信息进行聚合处理，得到聚合判别器损失结果；基于所述聚合判别器损失结果，确定生成器损失结果；基于所述生成器损失结果，对所述生成器的参数进行更新，得到初始更新的生成器；将基于所述初始更新的生成器生成的更新后的增强图像发送至各客户端；响应于所述更新后的增强图像不满足各客户端中判别器的判别条件，获取各客户端上传的更新后的增强图像对应的图像判别信息；基于更新后的增强图像对应的图像判别信息，对所述初始更新的生成器的参数进行更新，得到再次更新的生成器；响应于所述更新后的增强图像满足各客户端中判别器的判别条件，将所述再次更新的生成器确定为所述更新后的生成器。
本申请实施例还提供一种客户端，图7是本申请实施例提供的客户端的示意图，如图7所示，所述客户端70包括第二获取模块701、数据处理模块702、参数更新模块703、第三获取模块704和第二更新模块705。
其中，第二获取模块701，用于获取初始图像和多域混杂图像；所述初始图像包括振幅信息和相位信息；数据处理模块702，用于对所述多域混杂图像和所述初始图像进行数据处理，得到多域图像；参数更新模块703，用于基于所述多域图像和所述初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，并将所述模型更新参数发送至服务器；第三获取模块704，用于获取服务器基于所述模型更新参数确定的域泛化参数；第二更新模块705，用于基于所述域泛化参数对所述分类器的参数进行更新，得到域泛化模型。
在一些实施例中，数据处理模块702，还用于对所述初始图像进行傅里叶分解得到的振幅信息和所述多域混杂图像进行插值计算，得到插值图像；对所述插值图像和所述初始图像进行傅里叶分解得到的相位信息进行逆傅里叶变换，得到所述多域图像。
在一些实施例中，参数更新模块703，还用于基于客户端中的分类器，分别对所述多域图像和所述初始图像进行分类处理，得到第一分类结果和第二分类结果；根据所述第一分类结果、所述第二分类结果和分类器损失函数，确定分类器损失结果；根据所述损失结果，对所述分类器的参数进行参数更新，得到所述模型更新参数。
在一些实施例中，所述客户端还包括：第五获取模块，用于获取模型权重，所述模型权重为服务器基于各客户端的初始图像的样本数量确定的；对应地，参数更新模块703，还用于基于所述分类器和所述模型权重，分别对所述多域图像和所述初始图像进行分类处理，输出携带有所述模型权重的所述第一分类结果和所述第二分类结果。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述域泛化方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述域泛化方法。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述域泛化方法。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种域泛化方法，所述方法应用于服务器，所述方法包括：
获取多各客户端中各客户端上传的图像判别信息；所述图像判别信息为各客户端中的判别器基于对应客户端的初始图像，对服务器中生成器生成的增强图像进行判别得到的信息；其中，所述初始图像包括振幅信息；
基于所述图像判别信息，对所述生成器进行更新，得到更新后的生成器；
将所述更新后的生成器生成的多域混杂图像发送至各客户端；
基于各客户端根据对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数。
2.根据权利要求1所述的方法，所述方法还包括：
确定各客户端对应的初始图像的样本数量；
根据各客户端的样本数量和多各客户端的总样本数量，确定各客户端的模型权重；
对应地，所述基于各客户端根据对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数，包括：
获取各客户端基于对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数；
根据各客户端的模型权重，对各客户端的所述模型更新参数进行加权计算，得到所述域泛化参数。
3.根据权利要求1所述的方法，所述方法还包括：
获取随机高斯噪声；
基于所述生成器和所述随机高斯噪声，生成初始的增强图像，并将所述初始的增强图像发送至各客户端。
4.根据权利要求3所述的方法，所述基于所述图像判别信息，对所述生成器的参数进行更新，得到更新后的生成器，包括：
对各客户端对所述初始的增强图像进行判别得到的图像判别信息进行聚合处理，得到聚合判别器损失结果；
基于所述聚合判别器损失结果，确定生成器损失结果；
基于所述生成器损失结果，对所述生成器的参数进行更新，得到初始更新的生成器；
将基于所述初始更新的生成器生成的更新后的增强图像发送至各客户端；
响应于所述更新后的增强图像不满足各客户端中判别器的判别条件，获取各客户端上传的更新后的增强图像对应的图像判别信息；
基于更新后的增强图像对应的图像判别信息，对所述初始更新的生成器的参数进行更新，得到再次更新的生成器；
响应于所述更新后的增强图像满足各客户端中判别器的判别条件，将所述再次更新的生成器确定为所述更新后的生成器。
5.一种域泛化方法，所述方法应用于客户端，所述方法包括：
获取初始图像和多域混杂图像；所述初始图像包括振幅信息和相位信息；
对所述多域混杂图像和所述初始图像进行数据处理，得到多域图像；
基于所述多域图像和所述初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，并将所述模型更新参数发送至服务器；
获取服务器基于所述模型更新参数确定的域泛化参数；
基于所述域泛化参数对所述分类器的参数进行更新，得到域泛化模型。
6.根据权利要求5所述的方法，所述对所述多域混杂图像和所述初始图像进行数据处理，得到多域图像，包括：
对所述初始图像进行傅里叶分解得到的振幅信息和所述多域混杂图像进行插值计算，得到插值图像；
对所述插值图像和所述初始图像进行傅里叶分解得到的相位信息进行逆傅里叶变换，得到所述多域图像。
7.根据权利要求5或6所述的方法，所述基于所述多域图像和所述初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，包括：
基于客户端中的分类器，分别对所述多域图像和所述初始图像进行分类处理，得到第一分类结果和第二分类结果；
根据所述第一分类结果、所述第二分类结果和分类器损失函数，确定分类器损失结果；
根据所述损失结果，对所述分类器的参数进行参数更新，得到所述模型更新参数。
8.根据权利要求7所述的方法，所述方法还包括：
获取模型权重，所述模型权重为服务器基于各客户端的初始图像的样本数量确定的；
对应地，所述基于客户端中的分类器，分别对所述多域图像和所述初始图像进行分类处理，得到第一分类结果和第二分类结果，包括：
基于所述分类器和所述模型权重，分别对所述多域图像和所述初始图像进行分类处理，输出携带有所述模型权重的所述第一分类结果和所述第二分类结果。
9.一种服务器，所述服务器包括：
第一获取模块，用于获取多各客户端中各客户端上传的图像判别信息；所述图像判别信息为各客户端中的判别器对服务器中生成器生成的增强图像和对应客户端的初始图像进行判别得到的信息；其中，所述初始图像包括振幅信息；
第一更新模块，用于基于所述图像判别信息，对所述生成器进行更新，得到更新后的生成器；
发送模块，用于将所述更新后的生成器生成的多域混杂图像发送至各客户端；
确定模块，用于基于各客户端根据对应客户端的初始图像与所述多域混杂图像对客户端的分类器进行参数更新后的模型更新参数，确定各客户端分类器的域泛化参数。
10.一种客户端，所述客户端包括：
第二获取模块，用于获取初始图像和多域混杂图像；所述初始图像包括振幅信息和相位信息；
数据处理模块，用于对所述多域混杂图像和所述初始图像进行数据处理，得到多域图像；
参数更新模块，用于基于所述多域图像和所述初始图像，对客户端中分类器的参数进行参数更新，得到模型更新参数，并将所述模型更新参数发送至服务器；
第三获取模块，用于获取服务器基于所述模型更新参数确定的域泛化参数；
第二更新模块，用于基于所述域泛化参数对所述分类器的参数进行更新，得到域泛化模型。
CN202311126219.1A 2023-09-01 2023-09-01 域泛化方法、服务器和客户端 Pending CN117372742A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311126219.1A CN117372742A (zh) 2023-09-01 2023-09-01 域泛化方法、服务器和客户端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311126219.1A CN117372742A (zh) 2023-09-01 2023-09-01 域泛化方法、服务器和客户端

Publications (1)

Publication Number Publication Date
CN117372742A true CN117372742A (zh) 2024-01-09

Family

ID=89406719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311126219.1A Pending CN117372742A (zh) 2023-09-01 2023-09-01 域泛化方法、服务器和客户端

Country Status (1)

Country Link
CN (1) CN117372742A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765572A (zh) * 2024-02-22 2024-03-26 东北大学 一种基于联邦学习的行人重识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765572A (zh) * 2024-02-22 2024-03-26 东北大学 一种基于联邦学习的行人重识别方法

Similar Documents

Publication Publication Date Title
Vucetic et al. Collaborative filtering using a regression-based approach
CN117372742A (zh) 域泛化方法、服务器和客户端
CN110069545B (zh) 一种行为数据评估方法及装置
WO2022193469A1 (en) System and method for ai model watermarking
Vucetic et al. A regression-based approach for scaling-up personalized recommender systems in e-commerce
CN110969243A (zh) 防止隐私泄漏的对抗生成网络的训练方法及装置
CN109598110A (zh) 一种用户身份的识别方法及装置
US20220222578A1 (en) Method of training local model of federated learning framework by implementing classification of training data
CN110633735B (zh) 基于小波变换的渐进式深度卷积网络图像识别方法及装置
Achille et al. AI model disgorgement: Methods and choices
CN112801231B (zh) 用于业务对象分类的决策模型训练方法和装置
CN112115507B (zh) 基于云计算和信息数字化的云业务交互方法及大数据平台
CN112541530B (zh) 针对聚类模型的数据预处理方法及装置
CN113656699A (zh) 用户特征向量确定方法、相关设备及介质
Bhowmik et al. mTrust: call behavioral trust predictive analytics using unsupervised learning in mobile cloud computing
CN113096055A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN111488950A (zh) 分类模型信息输出方法及装置
CN115049843A (zh) 一种对抗样本生成方法、装置、电子设备及存储介质
JP7283583B2 (ja) 制御方法、制御プログラム、及び情報処理装置
CN114565693A (zh) 图像生成和神经网络训练方法、装置、设备及介质
CN113159213A (zh) 一种业务分配方法、装置及设备
CN112733036A (zh) 知识点推荐方法、装置、存储介质及电子装置
Glonek et al. Semi-supervised graph labelling reveals increasing partisanship in the United States Congress
US11973785B1 (en) Two-tier cybersecurity method
CN116108291B (zh) 一种移动互联网流量服务推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination