CN114819192B - 联邦学习方法及装置、计算机可读存储介质、电子设备 - Google Patents

联邦学习方法及装置、计算机可读存储介质、电子设备 Download PDF

Info

Publication number
CN114819192B
CN114819192B CN202210738291.9A CN202210738291A CN114819192B CN 114819192 B CN114819192 B CN 114819192B CN 202210738291 A CN202210738291 A CN 202210738291A CN 114819192 B CN114819192 B CN 114819192B
Authority
CN
China
Prior art keywords
model parameter
target model
model parameters
target
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210738291.9A
Other languages
English (en)
Other versions
CN114819192A (zh
Inventor
马鑫
包仁义
蒋锦鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yidu Cloud Beijing Technology Co Ltd
Original Assignee
Yidu Cloud Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yidu Cloud Beijing Technology Co Ltd filed Critical Yidu Cloud Beijing Technology Co Ltd
Priority to CN202210738291.9A priority Critical patent/CN114819192B/zh
Publication of CN114819192A publication Critical patent/CN114819192A/zh
Application granted granted Critical
Publication of CN114819192B publication Critical patent/CN114819192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

本公开属于机器学习领域，涉及一种联邦学习方法及装置、存储介质、电子设备。该方法包括：将与目标模型对应的当前模型参数分别发送至每一客户端，以接收每一客户端发送的第一模型参数；根据多个第一模型参数确定与目标模型对应的初始目标模型参数；根据初始目标模型参数与当前模型参数之间的目标修正关系，对初始目标模型参数进行修正，得到目标模型参数；将目标模型参数发送至每一客户端，以使每一客户端再次对目标模型参数进行更新，直至更新后的目标模型参数满足迭代结束条件，将更新后的目标模型参数确定为与目标模型对应的最优模型参数。在本公开中，通过对初始目标模型参数进行修正，提高了最终确定出的最优模型参数的准确度。

Description

联邦学习方法及装置、计算机可读存储介质、电子设备
技术领域
本公开涉及机器学习领域，尤其涉及一种联邦学习方法与联邦学习装置、计算机可读存储介质及电子设备。
背景技术
联邦学习又名联邦机器学习，是一种机器学习框架，能够有效的帮助多个客户端在满足用户隐私保护、数据安全和政府法规的要求下，进行数据的使用和机器学习建模。
在相关技术中，在一种联邦学习的过程中，服务端会对客户端更新的模型参数求平均，以确定出模型的最终模型参数，这未考虑每个本地模型的倾向性，进而降低了最终模型参数的准确度。在另一种联邦学习的过程中，需要客户端计算损失函数的二阶导数，并且要求客户端与服务端之间保持频繁的通讯，这增加了确定最终模型参数的复杂度，增加了对客户端的性能以及网络通讯能力的要求。
鉴于此，本领域亟需开发一种新的联邦学习方法及装置。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种联邦学习方法、联邦学习装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术导致的确定出的最终模型参数的准确度低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本发明实施例的第一个方面，提供一种联邦学习方法，应用于服务端，所述方法包括：将与目标模型对应的当前模型参数分别发送至每一客户端，以接收每一所述客户端发送的第一模型参数；其中，所述第一模型参数为所述客户端对所述当前模型参数进行更新后得到的；根据多个所述第一模型参数确定与所述目标模型对应的初始目标模型参数；根据所述当前模型参数与所述初始目标模型参数之间的目标修正关系，对所述初始目标模型参数进行修正，得到目标模型参数；将所述目标模型参数发送至每一所述客户端，以使每一所述客户端再次对所述目标模型进行更新，直至更新后的所述目标模型参数满足迭代结束条件，将所述更新后的目标模型参数确定为与所述目标模型对应的最优模型参数。
在本发明的一种示例性实施例中，所述根据多个所述第一模型参数确定与所述目标模型对应的初始目标模型参数，包括：对多个所述第一模型参数进行平均计算，得到与所述目标模型对应的初始目标模型参数。
在本发明的一种示例性实施例中，所述根据所述当前模型参数与所述初始目标模型参数之间的目标修正关系，对所述初始目标模型参数进行修正，得到目标模型参数，包括：确定与所有所述客户端对应的第一损失函数，并确定初始目标模型参数和当前模型参数之间的交叉熵计算关系；根据所述第一损失函数和所述交叉熵计算关系，确定所述初始目标模型参数和所述当前目标模型参数之间的目标修正关系；基于所述目标修正关系，对所述初始目标模型参数进行修正，得到目标模型参数。
在本发明的一种示例性实施例中，所述根据所述第一损失函数和所述交叉熵计算关系，确定所述初始目标模型参数和所述当前模型参数之间的目标修正关系，包括：确定与所述服务端对应的第二损失函数，并确定出所述第一损失函数、所述交叉熵计算关系以及所述第二损失函数之间的第一计算关系；基于所述第一计算关系，确定所述初始目标模型参数和所述当前模型参数之间的目标修正关系。
在本发明的一种示例性实施例中，所述基于所述第一计算公式，确定所述初始目标模型参数与所述当前模型参数之间的目标修正关系，包括：确定与所述第二损失函数对应的迭代步长，并确定所述迭代步长、所述第一计算关系、所述目标模型参数以及所述第一目标模型参数之间的第一修正关系；利用所述交叉熵计算关系对所述第一修正关系进行更新，得到所述初始目标模型参数与所述当前模型参数之间的目标修正关系。
在本发明的一种示例性实施例中，所述利用所述交叉熵计算关系对所述第一修正关系进行更新，得到所述初始目标模型参数与所述第一模型参数之间的目标修正关系，包括：利用所述交叉熵计算关系对所述第一修正关系进行更新，得到第二修正关系；确定所述当前模型参数、所述目标模型参数、所述迭代步长以及所述第一损失函数之间的梯度更新计算关系；按照所述梯度更新计算关系，对所述第二修正关系进行更新得到所述初始目标模型参数与所述当前模型参数之间的目标修正关系。
根据本发明实施例的第二个方面，应用于多个客户端，针对于每一客户端，所述方法包括：接收服务端发送的与目标模型对应的当前模型参数，并对所述当前模型参数进行更新得到第一模型参数；将所述第一模型参数发送至所述服务端，以使所述服务端基于所述第一模型参数，确定与所述目标模型对应的初始目标模型参数，并根据所述当前模型参数与所述初始目标模型参数之间的目标修正关系，对所述初始目标模型参数进行修正，以得到目标模型参数；接收修正后的所述目标模型参数，并继续对修正后的所述目标模型参数进行更新，以将更新后的所述目标模型参数发送至所述服务端。
在本发明的一种示例性实施例中，所述对所述当前模型参数进行更新得到第一模型参数，包括：确定迭代步长以及与所述客户端对应的第一损失函数，创建第一模型参数、所述当前模型参数、所述迭代步长以及所述第一损失函数之间的第二计算公式；基于所述第二计算公式，对所述当前模型参数进行更新得到第一模型参数；将所述当前模型参数替换为所述第一模型参数继续进行更新，以得到更新后的所述第一模型参数，直至所述第一模型参数满足更新结束条件为止。
根据本发明实施例的第三个方面，提供一种联邦学习装置，接收模块，被配置为将与目标模型对应的当前模型参数分别发送至每一客户端，以接收所述每一所述客户端发送的第一模型参数；其中，所述第一模型参数为所述客户端对所述当前模型参数进行更新后得到的；确定模块，被配置为根据多个所述当前模型参数确定与所述目标模型对应的初始目标模型参数；第一修正模块，被配置为基于根据所述第一模型参数与所述初始目标模型参数之间的目标修正关系，对所述初始目标模型参数进行修正，得到目标模型参数；迭代模块，被配置为将所述目标模型参数发送至每一所述客户端，以使每一所述客户端再次对所述目标模型进行更新，直至更新后的所述目标模型参数满足迭代结束条件，将所述更新后的目标模型参数确定为与所述目标模型对应的最优模型参数。
根据本发明实施例的第四个方面，提供一种联邦学习装置，应用于多个客户端，针对于每一客户端，所述装置包括：第一更新模块，被配置为接收服务端发送的与目标模型对应的当前模型参数，并对所述当前模型参数进行更新得到第一模型参数；第二修正模块，被配置为将所述第一模型参数发送至所述服务端，以使所述服务端基于所述第一模型参数，确定与所述目标模型对应的初始目标模型参数，并根据所述当前模型参数与所述初始目标模型参数之间的目标修正关系，对所述初始目标模型参数进行修正，以得到目标模型参数；第二更新模块，被配置为接收所述目标模型参数，并继续对所述目标模型参数进行更新，以将更新后的所述目标模型参数发送至所述服务端。
根据本发明实施例的第五个方面，提供一种电子设备，包括：处理器和存储器；其中，存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例的联邦学习方法。
根据本发明实施例的第六个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意示例性实施例中的联邦学习方法。
由上述技术方案可知，本发明示例性实施例中的联邦学习方法、联邦学习装置、计算机存储介质及电子设备至少具备以下优点和积极效果：
在本公开的示例性实施例提供的方法及装置中，一方面，第一模型参数为所有客户端对当前模型参数进行更新后得到的，避免了现有技术中需要客户端对损失函数进行二阶求导的计算过程，降低了对当前模型参数进行更新的复杂度，进而不仅降低了对客户端计算能力的要求，还降低了对网络通讯能力的要求；另一方面，基于初始目标模型参数与当前模型参数之间的目标修正关系，对初始目标模型参数进行修正，以得到目标模型参数，避免了现有技术中，只对第一模型参数进行求平均得到初始目标模型参数，并将初始目标模型参数确定为最优模型参数的过程，通过对初始目标模型参数进行修正，提高了最终确定出的最优模型参数的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开实施例中联邦学习方法的流程示意图；
图2示意性示出本公开实施例中联邦学习中对初始目标模型参数进行修正，得到目标模型参数的流程示意图；
图3示意性示出本公开实施例中联邦学习中确定初始目标模型参数和当前模型参数之间的目标修正关系的流程示意图；
图4示意性示出本公开实施例中联邦学习中确定初始目标模型参数和当前模型参数的流程示意图；
图5示意性示出本公开实施例中联邦学习中得到目标修正关系的流程示意图；
图6示意性示出本公开实施例中联邦学习方法的流程示意图；
图7示意性示出本公开实施例中联邦学习中对当前模型参数进行更新后得到第一模型参数的流程示意图；
图8示意性示出本公开实施例中一种联邦学习装置的结构示意图；
图9示意性示出本公开实施例中一种联邦学习装置的结构示意图；
图10示意性示出本公开实施例中一种用于联邦学习方法的电子设备；
图11示意性示出本公开实施例中一种用于联邦学习方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。
针对相关技术中存在的问题，本公开提出了一种联邦学习方法。图1示出了联邦学习方法的流程示意图，如图1所示，联邦学习方法至少包括以下步骤：
步骤S110. 将与目标模型对应的当前模型参数分别发送至每一客户端，以接收每一客户端发送的第一模型参数；其中，第一模型参数为客户端对当前模型参数进行更新后得到的。
步骤S120. 根据多个第一模型参数确定与目标模型对应的初始目标模型参数。
步骤S130. 根据当前模型参数与初始目标模型参数之间的目标修正关系，对初始目标模型参数进行修正，得到目标模型参数。
步骤S140. 将目标模型参数发送至每一所述客户端，以使每一客户端再次对目标模型进行更新，直至更新后的目标模型参数满足迭代结束条件，将更新后的目标模型参数确定为与目标模型对应的最优模型参数。
在本公开的示例性实施例提供的方法及装置中，一方面，第一模型参数为所有客户端对当前模型参数进行更新后得到的，避免了现有技术中需要客户端对损失函数进行二阶求导的计算过程，降低了对当前模型参数进行更新的复杂度，进而不仅降低了对客户端计算能力的要求，还降低了对网络通讯能力的要求；另一方面，基于初始目标模型参数与当前模型参数之间的目标修正关系，对初始目标模型参数进行修正，以得到目标模型参数，避免了现有技术中，只对第一模型参数进行求平均得到初始目标模型参数，并将初始目标模型参数确定为最优模型参数的过程，通过对初始目标模型参数进行修正，提高了最终确定出的最优模型参数的准确度。
下面对联邦学习方法的各个步骤进行详细说明。
在步骤S110中，将与目标模型对应的当前模型参数分别发送至每一客户端，以接收每一客户端发送的第一模型参数；其中，第一模型参数为所有客户端对当前模型参数进行更新后得到的。
在本公开的示例性实施例中，联邦学习分为两端，其中，一端为服端，另一端为客户端，通常，客户端可以为多个。目标模型指的是服务端提供的全局共享的模型，当前模型参数指的是在当前迭代过程中，服务端向所有客户端发送的模型参数，值得说明的是，若当前迭代为第一次迭代，则当前模型参数为一个预设值x0，若当前迭代不是第一次迭代，则当前模型参数为上一次迭代结束时确定出的目标模型参数xt。
在确定出当前模型参数后，需要将当前模型参数传输至所有客户端中，所有客户端在接收到当前模型参数后，会各自对当前模型参数进行更新，以得到后续需要传输给服务端的第一模型参数。
举例而言，当前迭代为第一次迭代，则与目标模型A对应的当前模型参数为x0，将 当前模型参数x0发送至所有客户端，具体地，将当前模型参数发送至客户端1、客户端2、客 户端3以及客户端4，在客户端1收到当前模型参数x0后，对当前模型参数x0进行更新得到第 一模型参数
Figure 791638DEST_PATH_IMAGE001
，同理，客户端2在收到当前模型参数后，对当前模型参数x0进行更新得到 第一模型参数
Figure 364570DEST_PATH_IMAGE002
，客户端3在接收到当前模型参数x0后，对当前模型参数x0进行更新得到 第一模型参数
Figure 144307DEST_PATH_IMAGE003
，客户端4对当前模型参数x0进行更新得到第一模型参数
Figure 336254DEST_PATH_IMAGE004
，其中， 10为客户端在本地更新过程中对当前模型参数进行更新的次数。
在本示例性实施例中，将当前模型参数发送至每一客户端，以接收每一客户端发送的第一模型参数，一方面，避免了现有技术中，需要客户端对损失函数进行二阶求导的过程，降低了对客户端计算能力以及网络通讯能力的要求；另一方面，有助于后续基于初始目标模型参数与当前模型参数之间的目标修正关系，对目标模型参数进行修正，提高了后续确定出的最优模型参数的准确度。
在步骤S120中，根据多个第一模型参数确定与目标模型对应的初始目标模型参数。
在本公开的示例性实施例中，初始目标模型参数指的是对第一模型参数进行平均计算后得到的模型参数，具体地，计算公式可以如公式（1）所示。
Figure 557151DEST_PATH_IMAGE005
其中，xt为初始目标模型参数，N为客户端的个数，t表示当前迭代次数，例如在第一次迭代过程中，t取值为1，τ指的是客户端对第一模型参数更新的次数，若τ取值为10，则此时的第一模型参数已经在各自的客户端中本地更新了10次。
举例而言，服务端接收到的第一模型参数包括
Figure 379614DEST_PATH_IMAGE001
、
Figure 381068DEST_PATH_IMAGE002
、
Figure 111126DEST_PATH_IMAGE003
以及
Figure 701377DEST_PATH_IMAGE004
，将上 述四个第一模型参数代入公式（1）得到的x1即为在第一次迭代过程中计算出的初始目标模 型参数。
在可选的实施例中，根据多个第一模型参数确定与目标模型对应的初始目标模型参数，包括：对多个第一模型参数进行平均计算，得到与目标模型对应的初始目标模型参数。
其中，可以对多个第一模型参数进行求平均，以确定与目标模型对应的初始目标模型参数。
举例而言，将得到的第一模型参数输入至公式（1）中的
Figure 429161DEST_PATH_IMAGE006
，计算得到的
Figure 980228DEST_PATH_IMAGE007
即 为初始目标模型参数。
在本示例性实施例中，对多个第一模型参数进行平均计算的得到初始目标模型，这为后续利用目标修正关系，对初始目标模型进行修正奠定了基础。
在步骤S130中，根据当前模型参数与初始目标模型参数之间的目标修正关系，对初始目标模型参数进行修正，得到目标模型参数。
在公开的示例性实施例中，目标模型参数指的服务端在每一次迭代结束时确定出的最新的用于训练目标模型的模型参数，并且，该模型参数是根据目标修正关系，对初始目标模型参数进行修正后得到的。
举例而言，服务端接收到的第一模型参数包括
Figure 451661DEST_PATH_IMAGE001
、
Figure 647150DEST_PATH_IMAGE002
、
Figure 811415DEST_PATH_IMAGE003
以及
Figure 849778DEST_PATH_IMAGE004
，首 先可以对上述四个第一模型参数进行平均计算得到初始目标模型参数，然后基于目标修正 关系对初始目标模型参数进行修正，得到目标模型参数x1。
在可选的实施例中，图2示出了联邦学习方法中对初始目标模型参数进行修正，得到目标模型参数的流程示意图，如图2所示，该方法至少包括以下步骤：在步骤S210中，确定与所有客户端对应的第一损失函数，并确定初始目标模型参数和当前模型参数之间的交叉熵计算关系。
其中，交叉熵计算关系指的是当前迭代过程中需要确定出的初始目标模型参数与上一次迭代过程中已经确定出的第一目标模型参数（即当前迭代过程中的当前模型参数）之间的交叉熵，以此来衡量即将确定出的目标模型参数与上一次确定出的第一目标模型参数之间的距离，第一损失函数指的是与客户端对应的损失函数。
举例而言，交叉熵计算公式可以为H(xt,xt-1)，第一损失函数可以为f(xt-1),其中，xt为初始目标模型参数，xt-1为当前模型参数。
在步骤S220中，根据第一损失函数和交叉熵计算关系，确定初始目标模型参数和当前模型参数之间的目标修正关系。
其中，根据第一损失函数和交叉熵计算关系，可以确定出初始目标模型参数和当前模型参数之间的目标修正关系。
举例而言，目标修正关系如公式（2）所示。
Figure 859323DEST_PATH_IMAGE008
其中，
Figure 424165DEST_PATH_IMAGE009
表示目标模型参数，xt为初始目标模型参数，xt-1为上一次迭代过程中 计算出的第一目标模型参数（即当前迭代过程中的当前模型参数），
Figure 493752DEST_PATH_IMAGE010
为迭代步长。
在步骤230中，基于目标修正关系，对初始目标模型参数进行修正，得到目标模型参数。
其中，利用目标修正关系，对初始目标模型参数进行修正，得到的修正结果即为目标模型参数。
举例而言，将xt初始目标模型参数、xt-1当前模型参数以及迭代步长α代入至公式 （2）中，所得到的
Figure 222674DEST_PATH_IMAGE009
即为目标模型参数。
在本示例性实施例中，基于初始目标模型参数与当前模型参数之间的目标修正关系，对初始目标模型参数进行修正，避免了现有技术中未考虑当前训练出的初始目标模型与前一次训练出的第一目标模型（即当前迭代过程中的当前模型参数）之间的关系，提高了确定出的目标模型参数的准确度，进而提升了后续对目标模型训练的准确度。
在可选的实施例中，图3示出了联邦学习方法中确定初始目标模型参数和当前模型参数之间的目标修正关系的流程示意图，如图3所示，该方法至少包括以下步骤：在步骤S310中，确定与服务端对应的第二损失函数，并确定出第一损失函数、交叉熵计算关系以及第二损失函数之间的第一计算关系。
其中， 目标修正关系是基于第一计算关系确定而成的，第一计算关系指的是引入初始目标模型参数和当前模型参数之间的交叉熵计算关系后，得到的第二损失函数、初始目标模型参数和当前模型参数之间的交叉熵计算关系以及第二损失函数之间的计算公式。
交叉熵计算关系指的是当前迭代过程中需要确定出的初始目标模型参数与上一次迭代过程中已经确定出的第一目标模型参数（即当前迭代过程中的当前模型参数）之间的交叉熵，以此来衡量已经确定出的初始目标模型参数与上一次确定出的第一目标模型参数之间的距离，第一损失函数指的是与客户端对应的损失函数，值得说明的是，每一个客户端都对应于同一个第一损失函数，第二损失函数指的是与服务端对应的损失函数。
举例而言，第一计算关系如公式（3）所示。
Figure 98226DEST_PATH_IMAGE011
其中，F(xt)表示第二损失函数，f(xt-1)表示第一损失函数，xt表示初始目标模型参数，xt-1表示当前模型参数，H(xt,xt-1)表示的是初始目标模型参数和当前模型参数之间的交叉熵。
值得说明的是，f(xt-1)的计算公式如公式（4）所示。
Figure 330624DEST_PATH_IMAGE012
其中，N表示客户端的个数，ω表示与客户端i对应的权重，fi表示的是与客户端i对应的损失函数。
在步骤S320中，基于第一计算关系，确定初始目标模型参数和当前模型参数之间的目标修正关系。
其中，在第一计算关系的基础上，可以对第一计算关系继续进行推导计算，以确定出初始目标模型参数和当前模型参数之间的目标修正关系。
举例而言，在公式（3）的基础上，继续对比第一计算关系进行推导计算，以确定出如公式（2）所示的目标修正关系。
在本示例性实施例中，第一计算关系中引入了初始目标模型参数和当前模型参数之间的交叉熵计算关系，一方面，为后续对初始目标模型参数的修正奠定了基础，提高了最后确定的最优模型参数的准确度；另一方面，避免了现有技术中，需要在客户端进行损失函数二阶求导的过程，不仅降低了对客户端计算能力的要求，也降低了对网络通讯能力的要求。
在可选的实施例中，图4示出了联邦学习方法中确定初始目标模型参数和当前模型参数的流程示意图，如图4所示，该方法至少包括以下步骤：在步骤S410中，确定与第二损失函数对应的迭代步长，并确定迭代步长、第一计算关系、目标模型参数以及当前模型参数之间的第一修正关系。
其中，迭代步长指的是目标模型在每一次迭代过程中的步长，根据第一计算关系以及迭代步长，可以确定出目标模型参数与当前模型参数之间的第一修正关系，具体地，第一修正关系如公式（5）所示。
Figure 774375DEST_PATH_IMAGE013
其中，
Figure 459434DEST_PATH_IMAGE009
表示目标模型参数，xt-1为当前模型参数，α表示迭代步长，F(xt)为第一 计算关系中的第二损失函数。
在步骤S420中，利用交叉熵计算关系对第一修正关系进行更新，得到初始目标模型参数与当前模型参数之间的目标修正关系。
其中，交叉熵计算关系如公式（6）所示，在得到交叉熵计算关系后，利用交叉熵计算关系对第一修正关系进行更新，以得到目标修正关系。
Figure 138677DEST_PATH_IMAGE014
其中，xt表示初始目标模型参数，xt-1表示当前模型参数，将公式（6）代入如公式（5）所示的第一修正关系之中，可以得到如公式（7）所示的代入结果，进而对代入结果进行进一步推导可以得出如公式（2）所示的目标修正关系。
Figure 225582DEST_PATH_IMAGE015
举例而言，将如公式（6）所示的交叉熵计算公式代入如公式（5）所示的第一修正关系中，可以得到如公式（7）所示的计算公式，进而对公式（7）计算推导，可以得到初始目标模型参数与当前模型参数之间的目标修正关系。
在本示例性实施例中， 利用交叉熵计算关系对第一修正关系进行更新，可以得到目标修正关系，一方面，为后续对初始目标模型参数的修正奠定了基础，提高了最后确定的最优模型参数的准确度；另一方面，避免了现有技术中，需要在客户端进行损失函数二阶求导的过程，不仅降低了对客户端计算能力的要求，也降低了对网络通讯能力的要求。
在可选的实施例中，图5示出了联邦学习方法中得到目标修正关系的流程示意图，如图5所示，该方法至少包括以下步骤：在步骤S510中，利用交叉熵计算关系对第一修正关系进行更新，得到第二修正关系。
其中，将交叉熵计算关系代入第一修正关系中，可以得到第二修正关系，具体地，第二修正关系如公式（7）所示。
举例而言，将如公式（6）所示的交叉熵计算关系代入如公式（5）所示的第一修正关系，可以得到如公式（7）所示的第二修正关系。
在步骤S520中，确定当前模型参数、目标模型参数、迭代步长以及第一损失函数之间的梯度更新计算关系。
其中，梯度更新计算关系指的是按照第一损失函数的下降方向，对当前模型参数进行更新时所用到的公式，具体地，梯度更新计算关系如公式（8）所示。
Figure 89502DEST_PATH_IMAGE016
其中，xt-1表示当前模型参数，xt表示按照梯度计算公式所得到的目标模型参数，f(xt-1)表示第一损失函数，值得说明的是，利用公式（8）确定出的目标模型参数由于未考虑到当前迭代过程中目标模型参数与上一次迭代过程中第一目标模型参数（即当前迭代过程中的当前模型参数）之间的关系，因此，公式（8）确定出的目标模型参数是不准确的，因此，需要将梯度更新计算关系代入第二修正关系中，以得到目标修正关系，据此实现对目标模型参数的修正。
在步骤S530中，按照梯度更新计算关系，对第二修正关系进行更新得到初始目标模型参数与当前模型参数之间的目标修正关系。
其中，将梯度更新计算关系代入第二修正关系中，以得到初始目标模型参数与当前模型参数之间的目标修正关系。
举例而言，将如公式（8）所示的梯度更新计算关系代入如公式（7）所示的第二修正关系中，可以得到如公式（2）所示的目标修正关系。
在本示例性实施例中，利用交叉熵计算关系对第一修正关系进行更新，一方面，为后续对初始目标模型参数的修正奠定了基础，提高了最后确定的最优模型参数的准确度；另一方面，避免了现有技术中，需要在客户端进行损失函数二阶求导的过程，不仅降低了对客户端计算能力的要求，也降低了对网络通讯能力的要求。
在步骤S140中，将目标模型参数发送至每一客户端，以使每一客户端再次对目标模型进行更新，直至更新后的目标模型参数满足迭代结束条件，将更新后的目标模型参数确定为与目标模型对应的最优模型参数。
在公开的示例性实施例中，将本地迭代得到的目标模型参数发送至每一客户端，以开始下一次迭代，以此循环直至后续目标模型满足迭代结束条件为止。
迭代结束条件具体可以是使用目标模型参数对目标模型进行训练后目标模型收敛的条件，也可以是与目标模型参数对应的迭代次数大于迭代次数阈值的条件，本示例性实施例对此不做特殊限定。
举例而言，服务端在得到目标模型参数之后，将目标模型参数发送至每一客户端，以开始下一次迭代，进而得到下一次迭代结束时确定出的目标模型参数。若修正后的目标模型参数为第10次迭代时得到的模型参数，由于10大于迭代次数阈值，因此将第10次迭代时确定出的目标模型参数确定为最优模型参数。
在本公开的示例性实施例中，服务端将目标模型参数发送至每一客户端，以使每一客户端继续对目标模型参数进行更新，以确定出新的一次迭代过程中的第一模型参数，进而确定出新的一次迭代过程中的目标模型参数，使得目标模型参数朝着使得目标模型训练效果更好的方向步步逼近，进而提高了后续确定出的最优目标模型的准确度。
在本公开的示例性实施例提供的方法及装置中，一方面，第一模型参数为所有客户端对当前模型参数进行更新后得到的，避免了现有技术中需要客户端对损失函数进行二阶求导的计算过程，降低了对当前模型参数进行更新的复杂度，进而不仅降低了对客户端计算能力的要求，还降低了对网络通讯能力的要求；另一方面，基于初始目标模型参数与当前模型参数之间的目标修正关系，对初始目标模型参数进行修正，以得到目标模型参数，避免了现有技术中，只对第一模型参数进行求平均得到初始目标模型参数，并将初始目标模型参数确定为最优模型参数的过程，通过对初始目标模型参数进行修正，提高了最终确定出的最优模型参数的准确度。
本公开还提出了一种联邦学习方法。图6示出了联邦学习方法的流程示意图，应用于多个客户端，针对于每一客户端，如图6所示，联邦学习方法至少包括以下步骤：
步骤S610. 接收服务端发送的与目标模型对应的当前模型参数，并对当前模型参数进行更新得到第一模型参数。
步骤S620. 将第一模型参数发送至服务端，以使服务端基于第一模型参数，确定与目标模型对应的初始目标模型参数，并根据当前模型参数与初始目标模型参数之间的目标修正关系，对初始目标模型参数进行修正，以得到目标模型参数。
步骤S630. 接收修正后的目标模型参数，并继续对修正后的目标模型参数进行更新，以将更新后的目标模型参数发送至服务端。
在本公开的示例性实施例提供的方法及装置中，客户端在接收到当前模型参数后，会对当前模型参数进行更新得到第一模型参数，一方面，避免了现有技术中，客户端需要对损失函数进行二阶求导的计算过程，降低了对客户端计算能力以及网络通讯能力的需求；另一方面，为后续利用当前模型参数与初始目标模型参数之间的目标修正关系，对初始目标模型参数进行修正奠定了基础，提高了后续确定出的目标模型参数的准确度。
下面对联邦学习方法的各个步骤进行详细说明。
在步骤S610中，接收服务端发送的与目标模型对应的当前模型参数，并对当前模型参数进行更新得到第一模型参数。
在公开的示例性实施例中，当前模型参数即为步骤S110中服务端向客户端发送的当前迭代过程中与目标模型对应的模型参数，在客户端接收到该当前模型参数之后，会对当前模型参数进行更新得到第一模型参数。
在可选的实施例中，图7示出了联邦学习方法中对当前模型参数进行更新后得到第一模型参数的流程示意图，如图7所示，该方法至少包括以下步骤：在步骤S710中，确定迭代步长以及与客户端对应的第一损失函数，创建第一模型参数、当前模型参数、迭代步长以及第一损失函数之间的第二计算公式。在步骤S720中，基于第二计算公式，对当前模型参数进行更新得到第一模型参数。在步骤S730中，将当前模型参数替换为第一模型参数继续进行更新，以得到更新后的第一模型参数，直至第一模型参数满足更新结束条件为止。
其中，迭代步长即为迭代过程中的步长值，第一损失函数指的是与客户端对应的针对于目标模型的损失函数，基于此，可以得到如公式（9）所示的第二计算公式。
Figure 261857DEST_PATH_IMAGE017
其中，
Figure 479212DEST_PATH_IMAGE018
表示客户端i在第t-1次迭代过程中，对当前模型参数进行的第j次 本地更新，
Figure 686202DEST_PATH_IMAGE019
表示客户端i在第t-1次迭代过程中，所得到的第一模型参数
其中，按照第二计算公式，对当前模型参数进行本地更新即可以得到第一模型参 数。举例而言，客户端1可以按照如公示（9）所示的第二计算公式，对得到的当前模型参数x0 进行第一次本地更新，得到第一模型参数
Figure 471755DEST_PATH_IMAGE020
，继续利用公式（9）对
Figure 131407DEST_PATH_IMAGE020
进行第二次本地更 新得到
Figure 152452DEST_PATH_IMAGE021
，若一共更新10次，则客户端1经过10次本地更新后最终得到的第一模型参数为
Figure 948370DEST_PATH_IMAGE001
。
在本示例性实施例中，基于第二计算公式，对当前模型参数进行本地更新得到第一模型参数，避免了现有技术中，客户端需要对损失函数进行二阶求导的计算过程，降低了对客户端计算能力以及网络通讯能力的需求。
在步骤S620中，将第一模型参数发送至服务端，以使服务端基于第一模型参数，确定与目标模型对应的初始目标模型参数，并根据当前模型参数与初始目标模型参数之间的目标修正关系，对初始目标模型参数进行修正，以得到目标模型参数。
在公开的示例性实施例中，在得到第一模型参数之后，将第一模型参数发送至服务端，服务端在得到所有客户端发送的多个第一模型参数之后，对多个第一模型参数进行计算得到初始目标模型参数，基于当前模型参数和初始目标模型参数之间的目标修正关系，对初始目标模型参数进行修正，以得到目标模型参数。
举例而言，客户端1将第一模型参数
Figure 154092DEST_PATH_IMAGE001
发送至服务端，服务端利用公式（1）得到 初始目标模型参数，然后利用如公式（2）得到目标模型参数。
在步骤S630中，接收修正后的目标模型参数，并继续对目标模型参数进行更新，以将更新后的目标模型参数发送至服务端。
举例而言，接收服务端确定出的目标模型参数，然后继续按照公式（9）对目标模型参数进行本地更新，以将更新后的目标模型参数发送至服务端。
在公开的示例性实施例中，当服务端计算出目标模型参数后，会将目标模型参数作为下一次迭代的当前模型参数发送至客户端，以使客户端继续对目标模型参数进行更新，并将更新后的目标模型参数发送至服务端。
在公开的示例性实施例中，客户端在接收到当前模型参数后，会对当前模型参数进行更新得到第一模型参数，一方面，避免了现有技术中，客户端需要对损失函数进行二阶求导的计算过程，降低了对客户端计算能力以及网络通讯能力的需求；另一方面，为后续利用当前模型参数与初始目标模型参数之间的目标修正关系，对初始目标模型参数进行修正奠定了基础，提高了后续确定出的目标模型参数的准确度。
下面结合一应用场景对本公开实施例中联邦学习方法做出详细说明。
当多家医院需要对同一个模型进行训练时，为了解决不同数据拥有方（即多家医院）在不交换数据的情况下进行协作的问题，可以使用联邦学习的方式对同一个模型进行训练。
假设，多家医院包括医院1、医院2以及医院3，此时，目标模型即为多家医院需要训 练的模型。服务器将目标模型的当前模型参数x0分别发送至与医院1对应的客户端1、与医 院2对应的客户端2以及与医院3对应的客户端3，客户端1对当前模型参数x0进行本地更新， 以得到与客户端1对应的第一模型参数
Figure 301040DEST_PATH_IMAGE001
，客户端2对当前模型参数x0进行本地更新，以 得到与客户端2对应的第一模型参数
Figure 125777DEST_PATH_IMAGE002
，客户端3对当前模型参数x0进行本地更新，以得 到与客户端3对应的第一模型参数
Figure 41780DEST_PATH_IMAGE003
，其中，当前模型参数在客户端1、客户端2以及客户 端3中分别更新了10次。
利用公式（1）对与客户端1对应的第一模型参数
Figure 903557DEST_PATH_IMAGE001
、与客户端2对应的第一模型 参数
Figure 537800DEST_PATH_IMAGE002
以及与客户端3对应的第一模型参数
Figure 900649DEST_PATH_IMAGE003
进行计算，得到初始目标模型参数xt。
利用如公式（2）所示的目标修正关系，对初始目标模型参数xt进行修正，得到目标 模型参数
Figure 936738DEST_PATH_IMAGE009
。在得到目标参数之后，将目标模型参数
Figure 42902DEST_PATH_IMAGE009
分别发送至客户端1、客户端2以 及客户端3，以使客户端1、客户端2以及客户端3对目标模型参数进行再次更新，直到目标模 型参数满足迭代结束条件，此时，就将满足迭代结束条件的目标模型参数确定为目标模型 的最优模型参数。
在本应用场景中，一方面，第一模型参数为所有客户端对当前模型参数进行更新后得到的，避免了现有技术中需要客户端对损失函数进行二阶求导的计算过程，降低了对当前模型参数进行更新的复杂度，进而不仅降低了对客户端计算能力的要求，还降低了对网络通讯能力的要求；另一方面，基于初始目标模型参数与当前模型参数之间的目标修正关系，对初始目标模型参数进行修正，以得到目标模型参数，避免了现有技术中，只对第一模型参数进行求平均得到初始目标模型参数，并将初始目标模型参数确定为最优模型参数的过程，通过对初始目标模型参数进行修正，提高了最终确定出的最优模型参数的准确度。
此外，在本公开的示例性实施例中，还提供一种联邦学习装置。图8示出了联邦学习装置的结构示意图，如图8所示，联邦学习装置800可以包括：接收模块810、确定模块820、第一修正模块830和迭代模块840。其中：
接收模块810，被配置为将与目标模型对应的当前模型参数分别发送至每一客户端，以接收每一客户端发送的第一模型参数；其中，第一模型参数为客户端对当前模型参数进行更新后得到的；确定模块820，被配置为根据多个第一模型参数确定与目标模型对应的初始目标模型参数；第一修正模块830，被配置为根据当前模型参数与初始目标模型参数之间的目标修正关系，对初始目标模型参数进行修正，得到目标模型参数；迭代模块840，被配置为将目标模型参数发送至每一客户端，以使每一客户端再次对目标模型进行更新，直至更新后的目标模型参数满足迭代结束条件，将更新后的目标模型参数确定为与目标模型对应的最优模型参数。
在本公开的示例性实施例中，还提供了另一种联邦学习装置。图9示出了联邦学习装置的结构示意图，如图9所示，联邦学习装置900可以包括：第一更新模块910、第二修正模块920和第二更新模块930。其中：
第一更新模块910，被配置为接收服务端发送的与目标模型对应的当前模型参数，并对当前模型参数进行更新得到第一模型参数；第二修正模块920，被配置为将所述第一模型参数发送至所述服务端，以使所述服务端基于所述第一模型参数，确定与所述目标模型对应的初始目标模型参数，并根据所述当前模型参数与所述初始目标模型参数之间的目标修正关系，对所述初始目标模型参数进行修正，以得到目标模型参数；第二更新模块930，被配置为接收修正后的目标模型参数，并继续对目标模型参数进行更新，以将更新后的目标模型参数发送至服务端。
上述联邦学习装置800以及装置900的具体细节已经在对应的联邦学习方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及联邦学习装置800以及联邦学习装置900的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
下面参照图10来描述根据本发明的这种实施例的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件（包括存储单元1020和处理单元1010）的总线1030、显示单元1040。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）1021和/或高速缓存存储单元1022，还可以进一步包括只读存储单元（ROM）1023。
存储单元1020还可以包括具有一组（至少一个）程序模块1025的程序/使用工具1024，这样的程序模块1025包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包含网络环境的现实。
总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1000也可以与一个或多个外部设备1070（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAI系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、终端装置、或者网络设备等）执行根据本公开实施例的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图11所示，描述了根据本发明的实施例的用于实现上述方法的程序产品1100，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (11)

1.一种联邦学习方法，其特征在于，应用于服务端，所述方法包括：
将与目标模型对应的当前模型参数分别发送至每一客户端，以接收每一所述客户端发送的第一模型参数；其中，所述第一模型参数为所述客户端对所述当前模型参数进行更新后得到的；
根据多个所述第一模型参数确定与所述目标模型对应的初始目标模型参数；
确定与所述客户端对应的第一损失函数，并确定初始目标模型参数和所述当前模型参数之间的交叉熵计算关系；
根据所述第一损失函数和所述交叉熵计算关系，确定所述初始目标模型参数和所述当前模型参数之间的目标修正关系，根据所述目标修正关系对所述初始目标模型参数进行修正，得到目标模型参数；
将所述目标模型参数发送至每一所述客户端，以使每一所述客户端再次对所述目标模型参数进行更新，直至更新后的目标模型参数满足迭代结束条件，将所述更新后的目标模型参数确定为与所述目标模型对应的最优模型参数。
2.根据权利要求1所述的联邦学习方法，其特征在于，所述根据多个所述第一模型参数确定与所述目标模型对应的初始目标模型参数，包括：
对多个所述第一模型参数进行平均计算，得到与所述目标模型对应的初始目标模型参数。
3.根据权利要求1所述的联邦学习方法，其特征在于，所述根据所述第一损失函数和所述交叉熵计算关系，确定所述初始目标模型参数和所述当前模型参数之间的目标修正关系，包括：
确定与所述服务端对应的第二损失函数，并确定出所述第一损失函数、所述交叉熵计算关系以及所述第二损失函数之间的第一计算关系；
基于所述第一计算关系，确定所述初始目标模型参数和所述当前模型参数之间的目标修正关系。
4.根据权利要求3所述的联邦学习方法，其特征在于，所述基于所述第一计算关系，确定所述初始目标模型参数与所述当前模型参数之间的目标修正关系，包括：
确定与所述第二损失函数对应的迭代步长，并确定所述迭代步长、所述第一计算关系、所述目标模型参数以及所述当前模型参数之间的第一修正关系；
利用所述交叉熵计算关系对所述第一修正关系进行更新，得到所述初始目标模型参数与所述当前模型参数之间的目标修正关系。
5.根据权利要求4所述的联邦学习方法，其特征在于，所述利用所述交叉熵计算关系对所述第一修正关系进行更新，得到所述初始目标模型参数与所述第一模型参数之间的目标修正关系，包括：
利用所述交叉熵计算关系对所述第一修正关系进行更新，得到第二修正关系；
确定所述当前模型参数、所述目标模型参数、所述迭代步长以及所述第一损失函数之间的梯度更新计算关系；
按照所述梯度更新计算关系，对所述第二修正关系进行更新得到所述初始目标模型参数与所述当前模型参数之间的目标修正关系。
6.一种联邦学习方法，其特征在于，应用于多个客户端，针对每一所述客户端，所述方法包括：
接收服务端发送的与目标模型对应的当前模型参数，并确定迭代步长以及与所述客户端对应的第一损失函数，创建第一模型参数、所述当前模型参数、所述迭代步长以及所述第一损失函数之间的第二计算公式；
基于所述第二计算公式，对所述当前模型参数进行更新得到第一模型参数；
将所述第一模型参数发送至所述服务端，以使所述服务端基于所述第一模型参数，确定与所述目标模型对应的初始目标模型参数，并根据所述当前模型参数与所述初始目标模型参数之间的目标修正关系，对所述初始目标模型参数进行修正，以得到目标模型参数；
接收所述目标模型参数，并继续对所述目标模型参数进行更新，以将更新后的所述目标模型参数发送至所述服务端。
7.根据权利要求6所述的联邦学习方法，其特征在于，所述对所述当前模型参数进行更新得到第一模型参数，包括：
将所述当前模型参数替换为所述第一模型参数继续进行更新，以得到更新后的所述第一模型参数，直至所述第一模型参数满足更新结束条件为止。
8.一种联邦学习装置，其特征在于，应用于服务端，包括：
接收模块，被配置为将与目标模型对应的当前模型参数分别发送至每一客户端，以接收所述每一所述客户端发送的第一模型参数；其中，所述第一模型参数为所述客户端对所述当前模型参数进行更新后得到的；
第一确定模块，被配置为根据多个所述第一模型参数确定与所述目标模型对应的初始目标模型参数；
第二确定模块，被配置为确定与所述客户端对应的第一损失函数，并确定初始目标模型参数和所述当前模型参数之间的交叉熵计算关系；
第一修正模块，被配置为根据所述第一损失函数和所述交叉熵计算关系，确定所述初始目标模型参数和所述当前模型参数之间的目标修正关系，根据所述目标修正关系对所述初始目标模型参数进行修正，得到目标模型参数；
迭代模块，被配置为将所述目标模型参数发送至每一所述客户端，以使每一所述客户端再次对所述目标模型参数进行更新，直至更新后的所述目标模型参数满足迭代结束条件，将所述更新后的目标模型参数确定为与所述目标模型对应的最优模型参数。
9.一种联邦学习装置，其特征在于，应用于多个客户端，针对于每一所述客户端，包括：
第一更新模块，被配置为接收服务端发送的与目标模型对应的当前模型参数，并确定迭代步长以及与所述客户端对应的第一损失函数，创建第一模型参数、所述当前模型参数、所述迭代步长以及所述第一损失函数之间的第二计算公式；
第二更新模块，被配置为基于所述第二计算公式，对所述当前模型参数进行更新得到第一模型参数；
第二修正模块，被配置为将所述第一模型参数发送至所述服务端，以使所述服务端基于所述第一模型参数，确定与所述目标模型对应的初始目标模型参数，并根据所述当前模型参数与所述初始目标模型参数之间的目标修正关系，对所述初始目标模型参数进行修正，以得到目标模型参数；
第三更新模块，被配置为接收所述目标模型参数，并继续对所述目标模型参数进行更新，以将更新后的所述目标模型参数发送至所述服务端。
10.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器被配置为经由执行所述可执行指令来执行权利要求1-7中任意一项所述的联邦学习方法。
11.一种计算机可读存储介质，其上存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的联邦学习方法。
CN202210738291.9A 2022-06-28 2022-06-28 联邦学习方法及装置、计算机可读存储介质、电子设备 Active CN114819192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210738291.9A CN114819192B (zh) 2022-06-28 2022-06-28 联邦学习方法及装置、计算机可读存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210738291.9A CN114819192B (zh) 2022-06-28 2022-06-28 联邦学习方法及装置、计算机可读存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN114819192A CN114819192A (zh) 2022-07-29
CN114819192B true CN114819192B (zh) 2022-09-13

Family

ID=82522720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210738291.9A Active CN114819192B (zh) 2022-06-28 2022-06-28 联邦学习方法及装置、计算机可读存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN114819192B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949837A (zh) * 2021-04-13 2021-06-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
AU2021102261A4 (en) * 2021-04-29 2021-06-17 Southwest University Density-based distributed stochastic gradient federated learning algorithm to Byzantine attack
CN113326949A (zh) * 2021-04-14 2021-08-31 厦门大学 联邦学习的模型参数优化方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823067B2 (en) * 2017-06-27 2023-11-21 Hcl Technologies Limited System and method for tuning and deploying an analytical model over a target eco-system
CN111553484B (zh) * 2020-04-30 2023-09-08 同盾控股有限公司 联邦学习的方法、装置及系统
CN114021168B (zh) * 2021-11-09 2022-05-24 深圳大学 基于联邦学习的地铁基坑开挖风险识别方法及装置
CN114386621A (zh) * 2021-12-09 2022-04-22 河南大学 基于联邦学习的人类活动识别方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949837A (zh) * 2021-04-13 2021-06-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
CN113326949A (zh) * 2021-04-14 2021-08-31 厦门大学 联邦学习的模型参数优化方法及系统
AU2021102261A4 (en) * 2021-04-29 2021-06-17 Southwest University Density-based distributed stochastic gradient federated learning algorithm to Byzantine attack

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
联邦可视化：一种隐私保护的可视化新模型;魏雅婷等;《智能科学与技术学报》;20191215(第04期);全文 *

Also Published As

Publication number Publication date
CN114819192A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN107330522B (zh) 用于更新深度学习模型的方法、装置及系统
CN113657399B (zh) 文字识别模型的训练方法、文字识别方法及装置
JP2019139211A (ja) 音声ウェイクアップ方法及び装置
US11704504B2 (en) Interactive machine translation method, electronic device, and computer-readable storage medium
US20200320712A1 (en) Video image segmentation method and apparatus, storage medium and electronic device
CN110795939A (zh) 文本处理方法、装置
EP4134878A2 (en) Method and apparatus for training a model, and method and apparatus for predicting a trajectory
EP4075430A2 (en) Method and apparatus for speech generation
JP2022173453A (ja) ディープラーニングモデルのトレーニング方法、自然言語処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラム
CN113409368B (zh) 建图方法及装置、计算机可读存储介质、电子设备
CN114118442A (zh) 基于纵向联邦学习的模型训练方法、系统、设备及介质
CN110889725A (zh) 在线广告ctr预估方法、装置、设备及存储介质
CN113793139A (zh) 支付异常的处理方法、处理装置、存储介质及电子设备
KR20210098395A (ko) 노이즈 제거 알고리즘 디버깅 방법, 장치 및 전자기기
CN114819192B (zh) 联邦学习方法及装置、计算机可读存储介质、电子设备
CN115016435A (zh) 一种自动驾驶车辆测试方法、装置、系统、设备和介质
CN111430035B (zh) 传染病人数预测方法、装置、电子设备及介质
CN112464075B (zh) 智能音箱的应用推荐方法、装置及电子设备
CN111753996A (zh) 一种方案确定模型的优化方法、装置、设备及存储介质
EP4020327A2 (en) Method and apparatus for training data processing model, electronic device and storage medium
EP4280100A1 (en) Binocular parallax estimation method, model training method and related device
CN113112311B (zh) 训练因果推断模型的方法、信息提示方法以装置
CN113408641B (zh) 资源生成模型的训练与服务资源的生成方法、装置
CN113382081B (zh) 时延估计调整方法、装置、设备以及存储介质
CN115270719A (zh) 基于多模态信息的文本摘要生成方法、训练方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant