CN113807535B - 联邦学习模型的训练方法、装置、电子设备和存储介质 - Google Patents

联邦学习模型的训练方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113807535B
CN113807535B CN202110357647.XA CN202110357647A CN113807535B CN 113807535 B CN113807535 B CN 113807535B CN 202110357647 A CN202110357647 A CN 202110357647A CN 113807535 B CN113807535 B CN 113807535B
Authority
CN
China
Prior art keywords
sample
learning model
federal learning
target
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110357647.XA
Other languages
English (en)
Other versions
CN113807535A (zh
Inventor
冯泽瑾
陈忠
陈晓霖
王虎
黄志翔
彭南博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202110357647.XA priority Critical patent/CN113807535B/zh
Publication of CN113807535A publication Critical patent/CN113807535A/zh
Application granted granted Critical
Publication of CN113807535B publication Critical patent/CN113807535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提出一种联邦学习模型的训练方法、装置、电子设备和存储介质，其中，该方法包括：与数据提供方服务器进行样本对齐；计算当前样本之间的第一相异性值；根据第一相异性值和数据提供方服务器提供的第二相异性值，从当前样本之中选取初始目标样本；根据初始目标样本，生成联邦学习模型的初始业务参数；根据初始业务参数和数据提供方服务器提供的预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值；计算第一预测标签值与当前样本的实际标签值之间的第一残差值；根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本；根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数。

Description

联邦学习模型的训练方法、装置、电子设备和存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种联邦学习模型的训练方法、装置、电子设备和存储介质。
背景技术
随着机器学习的发展，越来越多的机器学习技术被应用于各行各业。数据的数量和质量往往决定了机器学习模型效果的上限。但是随着法规和监管越来越严格，以及人们对于数据安全和隐私保护越来越重视，形成数据孤岛现象。在这样的场景下，联邦学习应运而生，它可以让参与方在不共享数据的基础上联合训练，解决数据孤岛的难题。
相关技术中，联邦学习是一种加密的分布式机器学习技术，它融合了信息加密、分布式计算和机器学习等多种技术。联邦学习根据参与方持有数据的特点可以被分为横向联邦学习、纵向联邦学习以及联邦迁移学习。在风控场景下，纵向联邦学习的应用更为广泛。
发明内容
本申请第一方面实施例提出一种联邦学习模型的训练方法，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
本申请第二方面实施例提出一种联邦学习模型的训练方法。
本申请第三方面实施例提出一种联邦学习模型的训练装置。
本申请第四方面实施例提出一种联邦学习模型的训练装置。
本申请第五方面实施例提出一种电子设备。
本申请第六方面实施例提出一种计算机可读存储介质。
本申请第一方面实施例提出了一种联邦学习模型的训练方法，所述方法包括：
与数据提供方服务器进行样本对齐；
计算当前样本之间的第一相异性值，并接收所述数据提供方服务器提供的所述当前样本之间的第二相异性值；
根据所述第一相异性值和所述第二相异性值，从所述当前样本之中选取初始目标样本，并将所述初始目标样本的主键发送至所述数据提供方服务器；
根据所述初始目标样本，生成所述联邦学习模型的初始业务参数；
接收所述数据提供方服务器提供的所述当前样本的预测部分模型结果，并根据所述初始业务参数和所述预测部分模型结果，对所述当前样本进行预测，以生成所述当前样本的第一预测标签值；
计算所述第一预测标签值与所述当前样本的实际标签值之间的第一残差值；
根据所述第一残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第一目标样本，并将所述第一目标样本的主键发送至所述数据提供方服务器；以及
根据所述第一目标样本对所述联邦学习模型进行训练，以得到所述联邦学习模型的第一目标业务参数。
根据本申请实施例的联邦学习模型的训练方法，首先与数据提供方服务器进行样本对齐，并计算当前样本之间的第一相异性值，以及接收数据提供方服务器提供的当前样本之间的第二相异性值，然后根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，并将初始目标样本的主键发送至数据提供方服务器，以及根据初始目标样本，生成联邦学习模型的初始业务参数，再然后接收数据提供方服务器提供的当前样本的预测部分模型结果，并根据初始业务参数和预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值，以及计算第一预测标签值与当前样本的实际标签值之间的第一残差值，最后根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，并将第一目标样本的主键发送至数据提供方服务器，以及根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数。由此，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
另外，根据本申请上述实施例的联邦学习模型的训练方法还可以具有如下附加的技术特征：
在本申请的一个实施例中，所述根据所述第一相异性值和所述第二相异性值，从所述当前样本之中选取初始目标样本，包括：
将所述第一相异性值和所述第二相异性值进行融合，以生成所述当前样本之间的目标相异性值；
根据表征概率算法计算所述目标相异性值的表征概率；
根据所述目标相异性值的表征概率，从所述当前样本之中选取所述初始目标样本。
在本申请的一个实施例中，所述根据所述目标相异性值的表征概率，从所述当前样本之中选取所述初始目标样本，包括：
根据所述目标相异性值的表征概率，计算所述当前样本的第一选择概率；
根据所述当前样本的第一选择概率，从所述当前样本之中选取所述初始目标样本。
在本申请的一个实施例中，所述根据所述第一残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第一目标样本，包括：
根据所述第一残差值生成所述当前样本的局部拟合样本选择概率；
获取所述局部拟合样本选择概率的权重；
根据所述局部拟合样本选择概率、所述第一选择概率和所述局部拟合样本选择概率的权重，计算所述当前样本的第二选择概率；
根据所述当前样本的第二选择概率，从所述当前样本之中选取所述第一目标样本。
在本申请的一个实施例中，上述联邦学习模型的训练方法还包括：
判断训练后的所述联邦学习模型是否满足预设条件，并将相应的判断结果发送至所述数据提供方服务器；
若所述训练后的所述联邦学习模型满足所述预设条件，则将所述第一目标业务参数作为所述联邦学习模型的最终业务参数。
在本申请的一个实施例中，上述联邦学习模型的训练方法还包括：
若所述训练后的所述联邦学习模型未满足所述预设条件，则接收所述数据提供方服务器提供的所述当前样本的第一目标部分模型结果，并根据所述第一目标业务参数和所述第一目标部分模型结果，重新对所述当前样本进行预测，以生成所述当前样本的第二预测标签值；
计算所述第二预测标签值与所述当前样本的实际标签值之间的第二残差值；
根据所述第二残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第二目标样本，以及将所述第二目标样本的主键发送至所述数据提供方服务器；
根据所述第二目标样本对所述联邦学习模型进行训练，以得到所述联邦学习模型的第二目标业务参数。
本申请第二方面实施例提出了一种联邦学习模型的训练方法，所述方法包括：
与业务方服务器进行样本对齐；
计算当前样本之间的第二相异性值，并将所述第二相异性值发送至所述业务方服务器；
接收所述业务方服务器提供的初始目标样本的主键，其中，所述初始目标样本根据所述第二相异性值和所述当前样本之间的第一相异性值，从所述当前样本之中选取；
根据所述初始目标样本的主键，生成所述联邦学习模型的初始数据参数，并根据所述初始数据参数，对所述当前样本进行预测，以生成所述当前样本的预测部分模型结果；
向所述业务方服务器发送所述当前样本的预测部分模型结果；
接收所述业务方服务器提供的第一目标样本的主键；以及
根据所述第一目标样本的主键对所述联邦学习模型进行训练，以得到所述联邦学习模型的第一目标数据参数。
根据本申请实施例的联邦学习模型的训练方法，首先与业务方服务器进行样本对齐，并计算当前样本之间的第二相异性值，以及将第二相异性值发送至业务方服务器，然后接收业务方服务器提供的初始目标样本的主键，并根据初始目标样本的主键，生成联邦学习模型的初始数据参数，以及根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果，再然后向业务方服务器发送当前样本的预测部分模型结果，并接收业务方服务器提供的第一目标样本的主键，最后根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数。由此，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
另外，根据本申请上述实施例的联邦学习模型的训练方法还可以具有如下附加的技术特征：
在本申请的一个实施例中，上述联邦学习模型的训练方法还包括：
接收所述业务方服务器提供的判断结果，其中，所述判断结果为训练后的所述联邦学习模型是否满足预设条件的判断结果；
根据所述判断结果确定训练后的所述联邦学习模型是否满足预设条件的判断结果；
若所述训练后的所述联邦学习模型满足所述预设条件，则将所述第一目标数据参数作为所述联邦学习模型的最终数据参数。
在本申请的一个实施例中，上述联邦学习模型的训练方法还包括：
若所述训练后的所述联邦学习模型未满足所述预设条件，则根据所述第一目标数据参数，重新对所述当前样本进行预测，以生成所述当前样本的第一目标部分模型结果；
向所述业务方服务器发送所述当前样本的第一目标部分模型结果；
接收所述业务方服务器提供的第二目标样本的主键。
根据所述第二目标样本的主键对所述联邦学习模型进行训练，以得到所述联邦学习模型的第二目标数据参数。
本申请第三方面实施例提出了一种联邦学习模型的训练装置，所述装置包括：
对齐模块，用于与数据提供方服务器进行样本对齐；
第一计算模块，用于计算当前样本之间的第一相异性值，并接收所述数据提供方服务器提供的所述当前样本之间的第二相异性值；
第一选取模块，用于根据所述第一相异性值和所述第二相异性值，从所述当前样本之中选取初始目标样本，并将所述初始目标样本的主键发送至所述数据提供方服务器；
生成模块，用于根据所述初始目标样本，生成所述联邦学习模型的初始业务参数；
预测模块，用于接收所述数据提供方服务器提供的所述当前样本的预测部分模型结果，并根据所述初始业务参数和所述预测部分模型结果，对所述当前样本进行预测，以生成所述当前样本的第一预测标签值；
第二计算模块，用于计算所述第一预测标签值与所述当前样本的实际标签值之间的第一残差值；
第二选取模块，用于根据所述第一残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第一目标样本，并将所述第一目标样本的主键发送至所述数据提供方服务器；以及
训练模块，用于根据所述第一目标样本对所述联邦学习模型进行训练，以得到所述联邦学习模型的第一目标业务参数。
本申请实施例的联邦学习模型的训练装置，首先通过对齐模块与数据提供方服务器进行样本对齐，并通过第一计算模块计算当前样本之间的第一相异性值，并接收数据提供方服务器提供的当前样本之间的第二相异性值，以及通过第一选取模块根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，并将初始目标样本的主键发送至数据提供方服务器，然后通过生成模块根据初始目标样本，生成联邦学习模型的初始业务参数，并通过预测模块接收数据提供方服务器提供的当前样本的预测部分模型结果，并根据初始业务参数和预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值，以及通过第二计算模块计算第一预测标签值与当前样本的实际标签值之间的第一残差值，再然后通过第二选取模块根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，并将第一目标样本的主键发送至数据提供方服务器，最后通过训练模块根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数。由此，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
另外，根据本申请上述实施例的联邦学习模型的训练装置还可以具有如下附加的技术特征：
在本申请的一个实施例中，所述第一选取模块，包括：
融合单元，用于将所述第一相异性值和所述第二相异性值进行融合，以生成所述当前样本之间的目标相异性值；
计算单元，用于根据表征概率算法计算所述目标相异性值的表征概率；
选取单元，用于根据所述目标相异性值的表征概率，从所述当前样本之中选取所述初始目标样本。
在本申请的一个实施例中，所述选取单元，具体用于：
根据所述目标相异性值的表征概率，计算所述当前样本的第一选择概率；
根据所述当前样本的第一选择概率，从所述当前样本之中选取所述初始目标样本。
在本申请的一个实施例中，所述第二选取模块，具体用于：
根据所述第一残差值生成所述当前样本的局部拟合样本选择概率；
获取所述局部拟合样本选择概率的权重；
根据所述局部拟合样本选择概率、所述第一选择概率和所述局部拟合样本选择概率的权重，计算所述当前样本的第二选择概率；
根据所述当前样本的第二选择概率，从所述当前样本之中选取所述第一目标样本。
在本申请的一个实施例中，上述联邦学习模型的训练装置还包括：
判断模块，用于判断训练后的所述联邦学习模型是否满足预设条件，并将相应的判断结果发送至所述数据提供方服务器；其中，
所述训练模块，还用于若所述训练后的所述联邦学习模型满足所述预设条件，则将所述第一目标业务参数作为所述联邦学习模型的最终业务参数。
在本申请的一个实施例中，所述预测模块，还用于若所述训练后的所述联邦学习模型未满足所述预设条件，则接收所述数据提供方服务器提供的所述当前样本的第一目标部分模型结果，并根据所述第一目标业务参数和所述第一目标部分模型结果，重新对所述当前样本进行预测，以生成所述当前样本的第二预测标签值；
所述第二计算模块，还用于计算所述第二预测标签值与所述当前样本的实际标签值之间的第二残差值；
所述第二选取模块还用于根据所述第二残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第二目标样本，以及将所述第二目标样本的主键发送至所述数据提供方服务器；
所述训练模块，还用于根据所述第二目标样本对所述联邦学习模型进行训练，以得到所述联邦学习模型的第二目标业务参数。
本申请第四方面实施例提出了一种联邦学习模型的训练装置，所述装置包括：
对齐模块，用于与业务方服务器进行样本对齐；
第一计算模块，用于计算当前样本之间的第二相异性值，并将所述第二相异性值发送至所述业务方服务器；
第一接收模块，用于接收所述业务方服务器提供的初始目标样本的主键，其中，所述初始目标样本根据所述第二相异性值和所述当前样本之间的第一相异性值，从所述当前样本之中选取；
预测模块，用于根据所述初始目标样本的主键，生成所述联邦学习模型的初始数据参数，并根据所述初始数据参数，对所述当前样本进行预测，以生成所述当前样本的预测部分模型结果；
发送模块，用于向所述业务方服务器发送所述当前样本的预测部分模型结果；
第二接收模块，用于接收所述业务方服务器提供的第一目标样本的主键；
训练模块，用于根据所述第一目标样本的主键对所述联邦学习模型进行训练，以得到所述联邦学习模型的第一目标数据参数。
本申请实施例的联邦学习模型的训练装置，首先通过对齐模块与业务方服务器进行样本对齐，并通过第一计算模块计算当前样本之间的第二相异性值，并将第二相异性值发送至业务方服务器，以及通过第一接收模块接收业务方服务器提供的初始目标样本的主键，然后通过预测模块根据初始目标样本的主键，生成联邦学习模型的初始数据参数，并根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果，再然后通过发送模块向业务方服务器发送当前样本的预测部分模型结果，并通过第二接收模块接收业务方服务器提供的第一目标样本的主键，最后通过训练模块根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数。由此，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
另外，根据本申请上述实施例的联邦学习模型的训练装置还可以具有如下附加的技术特征：
在本申请的一个实施例中，上述联邦学习模型的训练装置还包括：
第三接收模块，用于接收所述业务方服务器提供的判断结果，其中，所述判断结果为训练后的所述联邦学习模型是否满足预设条件的判断结果；
确定模块，用于根据所述判断结果确定训练后的所述联邦学习模型是否满足预设条件的判断结果；其中，
所述训练模块，还用于若所述训练后的所述联邦学习模型满足所述预设条件，则将所述第一目标数据参数作为所述联邦学习模型的最终数据参数。
在本申请的一个实施例中，所述预测模块，还用于若所述训练后的所述联邦学习模型未满足所述预设条件，则根据所述第一目标数据参数，重新对所述当前样本进行预测，以生成所述当前样本的第一目标部分模型结果；
所述发送模块，还用于向所述业务方服务器发送所述当前样本的第一目标部分模型结果；
所述第二接收模块，还用于接收所述业务方服务器提供的第二目标样本的主键。
所述训练模块，还用于根据所述第二目标样本的主键对所述联邦学习模型进行训练，以得到所述联邦学习模型的第二目标数据参数。
本申请第五方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述第一方面实施例或第二方面实施例所述的联邦学习模型的训练方法。
本申请实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
本申请第六方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述第一方面实施例或第二方面实施例所述的联邦学习模型的训练方法。
本申请实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请一个实施例的联邦学习模型的训练方法的流程示意图；
图2为根据本申请具体实施例的业务方服务器和数据提供方服务器之间的交互示意图；
图3为根据本申请另一个实施例的联邦学习模型的训练方法的流程示意图；
图4为根据本申请另一个实施例的联邦学习模型的训练方法的流程示意图；
图5为根据本申请另一个实施例的联邦学习模型的训练方法的流程示意图；
图6为根据本申请另一个实施例的联邦学习模型的训练方法的流程示意图；
图7为根据本申请一个实施例的联邦学习模型的训练装置的方框示意图；
图8为根据本申请另一个实施例的联邦学习模型的训练装置的方框示意图；以及
图9为根据本申请一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参照附图描述本申请实施例的联邦学习模型的训练方法、装置、电子设备和存储介质。
本申请实施例提供的联邦学习模型的训练方法，可以由电子设备来执行，该电子设备可为PC(Personal Computer，个人计算机)电脑、平板电脑或服务器等，此处不做任何限定。
在本申请实施例中，电子设备中可以设置有处理组件、存储组件和驱动组件。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中存储的应用程序来实现本申请实施例提供的联邦学习模型的训练方法。
图1为根据本申请一个实施例的联邦学习模型的训练方法的流程示意图。
本申请实施例的联邦学习模型的训练方法，还可由本申请实施例提供的联邦学习模型的训练装置执行，该装置可配置于电子设备中，以实现与数据提供方服务器进行样本对齐，并计算当前样本之间的第一相异性值，以及接收数据提供方服务器提供的当前样本之间的第二相异性值，然后根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，并将初始目标样本的主键发送至数据提供方服务器，以及根据初始目标样本，生成联邦学习模型的初始业务参数，再然后接收数据提供方服务器提供的当前样本的预测部分模型结果，并根据初始业务参数和预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值，以及计算第一预测标签值与当前样本的实际标签值之间的第一残差值，最后根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，并将第一目标样本的主键发送至数据提供方服务器，以及根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数，从而降低模型训练成本、提高模型优化效率。
作为一种可能的情况，本申请实施例的联邦学习模型的训练方法还可以在服务器端执行，服务器可以为云服务器，可以在云端执行该联邦学习模型的训练方法。
如图1所示，该联邦学习模型的训练方法，可包括：
步骤101，与数据提供方服务器进行样本对齐。
在本申请实施例中，业务方(即，业务方服务器)可通过预设的方法与数据提供方服务器进行样本对齐。其中，预设的方法可根据实际情况进行标定。例如，由于合作方的用户群体并非完全重合，可利用基于加密的用户样本对齐技术(方法)，在业务方和数据提供方均不公开各自数据的前提下确认双方的共有用户，并且不暴露不互相重叠的用户。
需要说明的是，该实施例中所描述样本对齐也可以是指，业务方服务器与数据提供方服务器进行样本位置的对齐，以便于进行精确的样本传输。另外，在进行样本对齐的过程中，可建立业务方和数据提供方服务器之间的通信通道(信道)，且可对该通信通道进行加密。
步骤102，计算当前样本之间的第一相异性值，并接收数据提供方服务器提供的当前样本之间的第二相异性值。
在本申请实施例中，当前样本的数量可为多个，其中，当前样本的获取途径也可为多个，例如，当前样本可由相关人员直接提供，也可以是直接获取联邦学习模型工作过程中的输入数据，并可进行一定的加工生成当前样本。
具体地，参加图2，业务方服务器可先从自身的存储空间中获取n个当前样本，其中，n可为正整数。然后业务方服务器可根据预设的相异性值算法在本方(业务方)的样本空间内，计算n个当前样本间的n*n个第一相异性值，以得到n个当前样本间的相异性矩阵Dg。
其中，Dg的定义可如下：
其中，可表示(未)第i个样本和第j个样本间的相异性度量(即，第一相异性值)，且i和j均可为小于等于n的正整数。预设的相异性值算法可根据实际情况进行标定，例如，预设的相异性值算法可为欧式距离、加权欧式距离、余弦距离、马氏距离等。
需要说明的是，该实施例中所描述的存储空间不仅限于基于实体的存储空间，例如，硬盘，上述存储空间还可以是连接业务方服务器的云存储空间。
在本申请实施例中，数据提供方服务器也可计算当前样本之间的第二相异性值，并将第二相异性值发送至业务方服务器。
具体地，参见图2，数据提供方服务器可先从自身的存储空间中获取n个当前样本，并可根据预设的相异性值算法在本方(数据提供方)的样本空间内，计算n个当前样本间的n*n个第二相异性值，以得到n个当前样本间的相异性矩阵Dh。其中，Dh的定义可如下：
其中，可表示(未)第i个样本和第j个样本间的相异性度量(即，第一相异性值)。
然后数据提供方服务器可将n个当前样本间的n*n个第二相异性值(例如，相异性矩阵Dh)发送至业务方服务器。
步骤103，根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，并将初始目标样本的主键发送至数据提供方服务器。
为了清楚说明上一实施例，在本申请的一个实施例中，如图3所示，根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，可包括：
步骤301，将第一相异性值和第二相异性值进行融合，以生成当前样本之间的目标相异性值。
在本申请实施例中，可通过预设的融合方法将将第一相异性值和第二相异性值进行融合，以生成当前样本之间的目标相异性值。其中，预设的融合方法可根据实际情况进行标定。
具体地，参见图2，业务方服务器在接收到数据提供方服务器发送的n个当前样本间的n*n个第二相异性值(例如，相异性矩阵Dh)的时候，可通过预设的融合方法得到基于双方(即，业务方和数据提供方)特征空间的样本间的n*n目标相异性值，以得到n个当前样本间的目标相异性度量矩阵D。其中，不同的相异性度量(即，相异性值)可以有不同的融合方法，例如，对于欧式距离而言，可以有此处不做任何限定。
步骤302，根据表征概率算法计算目标相异性值的表征概率。其中，表征概率算法可根据实际情况进行标定。
具体地，参见图2，业务方服务器在得到n*n目标相异性值(例如，目标相异性度量矩阵D)之后，可根据下述公式(1)和(2)，构建最优模型(即，目标相异性值的表征概率的模型)：
其中，zij表示选择第i个样本表征第j个样本的概率因此对于每一个样本而言，其应被上述的初始目标样本所表征，故有/>约束项。目标函数(上述的公式(1)和(1))中，第一项(上述公式(1))可为表征损失，第二项(上述公式(2))可为正则项，即限制被选择样本的数量，以实现选择上述的初始目标样本的目的。对于上述最优模型，在随机初始化zij后，可基于拉格朗日法和交替方向乘子法(ADMM)思想进行求解，获得表征概率矩阵Z，即得到目标相异性值的表征概率。其中，表征概率矩阵Z可如下所示：
步骤302，根据目标相异性值的表征概率，从当前样本之中选取初始目标样本。
为了清楚说明上一实施例，在本申请的一个实施例中，如图4所示，根据目标相异性值的表征概率，从当前样本之中选取初始目标样本，可包括：
步骤401，根据目标相异性值的表征概率，计算当前样本的第一选择概率。
具体地，参见图2，业务方服务器在得到目标相异性值的表征概率(即，得到上述的表征概率矩阵Z)之后，可对表征概率矩阵Z每一行求和，并进行映射(如归一化等)，获得当前样本的选择概率分布：其中，/>表示在全局感知下n个当前样本中第i个样本被选择的概率(即，第一选择概率)，且可满足/>且
步骤402，根据当前样本的第一选择概率，从当前样本之中选取初始目标样本。
具体地，参加图2，业务方服务器在得到n个当前样本的第一选择概率之后，可根据n个当前样本的第一选择概率，从n个当前样本中随机的选取k个初始目标样本，其中，k可为小于等于n的正整数。由此，通过样本间相异性构建全局感知下样本选择概率，体现数据的结构性信息，因此选择出的样本能够更好的表征原始样本空间，为建模提供良好的数据支撑。
然后，业务方服务器可将选取出的k个初始目标样本的主键发送至数据提供方服务器。
步骤104，根据初始目标样本，生成联邦学习模型的初始业务参数。
具体地，参见图2，业务方服务器在得到k个初始目标样本之后，以K个初始目标样本为数据集，进行联邦逻辑回归建模(即，联邦学习模型建模)，即联邦学习模型训练，以获得初始业务参数。
在本申请实施例中，数据提供方服务器在接收到业务方服务器提供的初始目标样本的主键之后，可根据初始目标样本的主键，生成联邦学习模型的初始数据参数，并根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果，并向业务方服务器发送当前样本的预测部分模型结果。
具体地，参见图2，数据提供方服务器在接收到业务方服务器提供的k个初始目标样本的主键之后，以k个初始目标样本的主键为数据集，进行联邦逻辑回归建模(即，联邦学习模型建模)，即联邦学习模型训练，以获得初始数据参数。然后数据提供方服务器可根据初始数据参数，对n个当前样本进行预测，以生成n个当前样本的预测部分模型结果。例如，将n个当前样本依次输入联邦学习模型，以通过该联邦学习模型得到n个当前样本的预测部分模型结果。
然后，数据提供方服务器可将生成的生成n个当前样本的预测部分模型结果发送至业务方服务器。
步骤105，接收数据提供方服务器提供的当前样本的预测部分模型结果，并根据初始业务参数和预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值。
具体地，参见图2，业务方服务器在得到联邦学习模型的初始业务参数之后，可在接收数据提供方服务器提供的当前样本的预测部分模型结果时，根据初始业务参数和预测部分模型结果，对n个当前样本进行预测，以生成n个当前样本的第一预测标签值。例如，将n个当前样本和对应的预测部分模型结果依次输入联邦学习模型，以通过该联邦学习模型得到n个当前样本的第一预测标签值。
需要说明的是，上述实施例中所描述的初始业务参数和初始数据参数可为联邦学习模型中两个主要参数，即这两个参数确定了，联邦学习模型也就完成了构建。在进行联邦逻辑回归建模(即，联邦学习模型建模)，即联邦学习模型训练时，业务方服务器和数据提供方服务器可以是同时进行的。
另外，在进行n个当前样本的第一预测标签值的预测的过程中，以及在生成n个当前样本的预测部分模型结果的过程中，使用的联邦学习模型中可同时用到初始业务参数和初始数据参数。
步骤106，计算第一预测标签值与当前样本的实际标签值之间的第一残差值。
具体地，参见图2，假设第一预测标签值为当前样本的实际标签值为yi，其中，业务方服务器可通过下述公式(3)上述的第一残差值：
其中，q为上述的第一残差值。
步骤107，根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，并将第一目标样本的主键发送至数据提供方服务器。
为了清楚说明上一实施例，在本申请的一个实施例中，如图5所示，根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，可包括：
步骤501，根据第一残差值生成当前样本的局部拟合样本选择概率。
具体地，参见图2，业务方服务器在得到第一残差值之后，可根据第一残差值生成n个当前样本的局部拟合样本选择概率：其中，/>表示在局部拟合下第i个样本被选择的概率，满足/>且/>其中，残差越大，则其局部拟合样本概率越大，即被选择作为模型训练样本的概率越大。
步骤502，获取局部拟合样本选择概率的权重。其中，局部拟合样本选择概率的权重可根据实际情况进行标定，其可预先存储在业务方服务器的存储空间中，以方便调取使用。
在本申请实施例中，为抑制离群值过大残差带来的负面影响，可给定超参α(即，局部拟合样本选择概率的权重)对此现象加以抑制。
步骤503，根据局部拟合样本选择概率、第一选择概率和局部拟合样本选择概率的权重，计算当前样本的第二选择概率。
具体地，可通过下述公式(4)计算当前样本的第二选择概率：
Prob＝Probglobal+ α·Problocal (4)；
其中，Prob可为当前样本的第二选择概率，α可为局部拟合样本选择概率的权重。
步骤504，根据当前样本的第二选择概率，从当前样本之中选取第一目标样本。
具体地，参见图2，业务方服务器在得到n个当前样本的第二选择概率之后，可根据n个当前样本的第二选择概率，从n个当前样本中随机的选取m个第一目标样本，其中，m可为小于等于n的正整数。由此，可通过模型拟合残差构建局部拟合下样本选择概率，体现模型的拟合信息，因此选择出的样本能够在模型优化过程中，使得模型优化方向性更加准确，加速模型优化进程；将全局和局部有机结合形成样本选择概率，基于此概率构建的样本子集能够具有多样性、代表性的同时提高模型的优化效率。
然后，业务方服务器可将选取出的m个第一目标样本的主键发送至数据提供方服务器。
步骤108，根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数。
具体地，参见图2，业务方服务器在得到m个第一目标样本之后，可根据m个第一目标样本对联邦学习模型进行训练(即，以m个第一目标样本为数据集，进行联邦逻辑回归建模(即，联邦学习模型建模))，以得到联邦学习模型的第一目标业务参数。
在本申请实施例中，数据提供方服务器在接收到业务方服务器提供的第一目标样本的主键之后，可根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数。
具体地，参见图2，业务方服务器在接收到业务方服务器提供的m个第一目标样本的主键之后，可根据m个第一目标样本的主键对联邦学习模型进行训练(即，以m个第一目标样本的主键为数据集，进行联邦逻辑回归建模(即，联邦学习模型建模))，以得到联邦学习模型的第一目标数据参数。
进一步地，在本申请的一个实施例中，上述联邦学习模型的训练方法还可包括判断训练后的联邦学习模型是否满足预设条件，并将相应的判断结果发送至数据提供方服务器，若训练后的联邦学习模型满足预设条件，则将第一目标业务参数作为联邦学习模型的最终业务参数。
具体地，业务方服务器在获取到联邦学习模型的第一目标业务参数之后，还可判断该训练后的联邦学习模型是否满足预设条件，并将相应的判断结果发送至数据提供方服务器，若训练后的联邦学习模型满足预设条件，则将第一目标业务参数作为联邦学习模型的最终业务参数。其中，预设条件可根据实际情况进行标定。
在本申请的另一个实施例中，上述联邦学习模型的训练方法还可包括若训练后的联邦学习模型未满足预设条件，则接收数据提供方服务器提供的当前样本的第一目标部分模型结果，并根据第一目标业务参数和第一目标部分模型结果，重新对当前样本进行预测，以生成当前样本的第二预测标签值，然后计算第二预测标签值与当前样本的实际标签值之间的第二残差值，并根据第二残差值和当前样本的第一选择概率，从当前样本之中选取第二目标样本，以及将第二目标样本的主键发送至数据提供方服务器，再然后根据第二目标样本对联邦学习模型进行训练，以得到联邦学习模型的第二目标业务参数。
具体地，若判断训练后的联邦学习模型未满足预设条件，则业务方服务器可接收数据提供方服务器提供的当前样本的第一目标部分模型结果，并根据第一目标业务参数和第一目标部分模型结果，重新对当前样本进行预测，以生成当前样本的第二预测标签值，然后计算第二预测标签值与当前样本的实际标签值之间的第二残差值，并根据第二残差值和当前样本的第一选择概率，从当前样本之中选取第二目标样本，以及将第二目标样本的主键发送至数据提供方服务器，再然后根据第二目标样本对联邦学习模型进行训练，以得到联邦学习模型的第二目标业务参数。
再然后继续判断经过本次训练后的联邦学习模型是否满足预设条件，如果否，则业务方服务器可重复上述的执行步骤，同时将本次训练得到的联邦学习模型的第二目标业务参数代入上述的步骤中替换第一目标业务参数，并重新接收数据提供方服务器提供的参数进行迭代训练，直至训练后的联邦学习模型满足预设条件。
在本申请实施例中，预设条件可包括最大迭代轮数和联邦学习模型性能指标(比如，准确率)，例如，迭代训练执行达到最大迭代轮数，或者联邦学习模型的性能达到预设效能指标。
进一步地，在本申请实施例中，数据提供方服务器在接收到业务方服务器提供的判断结果之后，可根据判断结果确定训练后的联邦学习模型是否满足预设条件的判断结果，若训练后的联邦学习模型满足预设条件，则将第一目标数据参数作为联邦学习模型的最终数据参数。
若训练后的联邦学习模型未满足预设条件，则根据第一目标数据参数，重新对当前样本进行预测，以生成当前样本的第一目标部分模型结果，并向业务方服务器发送当前样本的第一目标部分模型结果，以及接收业务方服务器提供的第二目标样本的主键，并根据第二目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第二目标数据参数。
再然后，继续接收业务方服务器提供的判断结果，若该判断结果显示经过本次训练后的联邦学习模型还是未满足预设条件，则数据提供方服务器重复上述的执行步骤，同时将本次训练得到的联邦学习模型的第二目标数据参数代入上述的步骤中替换第一目标数据参数，并向业务方服务器提供新的参数，由此进行迭代训练，直至训练后的联邦学习模型满足预设条件。
综上，根据本申请实施例的联邦学习模型的训练方法，首先与数据提供方服务器进行样本对齐，并计算当前样本之间的第一相异性值，以及接收数据提供方服务器提供的当前样本之间的第二相异性值，然后根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，并将初始目标样本的主键发送至数据提供方服务器，以及根据初始目标样本，生成联邦学习模型的初始业务参数，再然后接收数据提供方服务器提供的当前样本的预测部分模型结果，并根据初始业务参数和预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值，以及计算第一预测标签值与当前样本的实际标签值之间的第一残差值，最后根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，并将第一目标样本的主键发送至数据提供方服务器，以及根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数。由此，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
图6为根据本申请另一个实施例的联邦学习模型的训练方法的流程示意图。
本申请实施例的联邦学习模型的训练方法，还可由本申请实施例提供的联邦学习模型的训练装置行，该装置可配置于电子设备中，以实现与业务方服务器进行样本对齐，并计算当前样本之间的第二相异性值，以及将第二相异性值发送至业务方服务器，然后接收业务方服务器提供的初始目标样本的主键，并根据初始目标样本的主键，生成联邦学习模型的初始数据参数，以及根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果，再然后向业务方服务器发送当前样本的预测部分模型结果，并接收业务方服务器提供的第一目标样本的主键，最后根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数，从而降低模型训练成本、提高模型优化效率。
作为一种可能的情况，本申请实施例的联邦学习模型的训练方法还可以在服务器端执行，服务器可以为云服务器，可以在云端执行该联邦学习模型的训练方法。
如图6所示，该联邦学习模型的训练方法，可包括：
步骤601，与业务方服务器进行样本对齐。
步骤602，计算当前样本之间的第二相异性值，并将第二相异性值发送至业务方服务器。
步骤603，接收业务方服务器提供的初始目标样本的主键，其中，初始目标样本根据第二相异性值和当前样本之间的第一相异性值，从当前样本之中选取。
步骤604，根据初始目标样本的主键，生成联邦学习模型的初始数据参数，并根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果。
步骤605，向业务方服务器发送当前样本的预测部分模型结果。
步骤606，接收业务方服务器提供的第一目标样本的主键。
步骤607，根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数。
在本申请的一个实施例中，上述联邦学习模型的训练方法还包括：接收业务方服务器提供的判断结果，其中，判断结果为训练后的联邦学习模型是否满足预设条件的判断结果；根据判断结果确定训练后的联邦学习模型是否满足预设条件的判断结果；若训练后的联邦学习模型满足预设条件，则将第一目标数据参数作为联邦学习模型的最终数据参数。
在本申请的一个实施例中，上述联邦学习模型的训练方法还包括：若训练后的联邦学习模型未满足预设条件，则根据第一目标数据参数，重新对当前样本进行预测，以生成当前样本的第一目标部分模型结果；向业务方服务器发送当前样本的第一目标部分模型结果；接收业务方服务器提供的第二目标样本的主键。根据第二目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第二目标数据参数。
需要说明的是，本申请实施例的联邦学习模型的训练方法中未披露的细节，请参照本申请图1至5实施例的联邦学习模型的训练方法中所披露的细节，具体这里不再赘述。
综上，根据本申请实施例的联邦学习模型的训练方法，首先与业务方服务器进行样本对齐，并计算当前样本之间的第二相异性值，以及将第二相异性值发送至业务方服务器，然后接收业务方服务器提供的初始目标样本的主键，并根据初始目标样本的主键，生成联邦学习模型的初始数据参数，以及根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果，再然后向业务方服务器发送当前样本的预测部分模型结果，并接收业务方服务器提供的第一目标样本的主键，最后根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数。由此，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
图7为根据本申请一个实施例的联邦学习模型的训练装置的方框示意图。
本申请实施例的联邦学习模型的训练装置，可配置于电子设备中，以实现与数据提供方服务器进行样本对齐，并计算当前样本之间的第一相异性值，以及接收数据提供方服务器提供的当前样本之间的第二相异性值，然后根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，并将初始目标样本的主键发送至数据提供方服务器，以及根据初始目标样本，生成联邦学习模型的初始业务参数，再然后接收数据提供方服务器提供的当前样本的预测部分模型结果，并根据初始业务参数和预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值，以及计算第一预测标签值与当前样本的实际标签值之间的第一残差值，最后根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，并将第一目标样本的主键发送至数据提供方服务器，以及根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数，从而降低模型训练成本、提高模型优化效率。
如图7所示，该联邦学习模型的训练装置700，可包括：对齐模块701、第一计算模块702、第一选取模块730、生成模块740、预测模块750、第二计算模块760、第二选取模块770和训练模块780。
其中，对齐模块710用于与数据提供方服务器进行样本对齐。
第一计算模块720用于计算当前样本之间的第一相异性值，并接收数据提供方服务器提供的当前样本之间的第二相异性值。
第一选取模块730用于根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，并将初始目标样本的主键发送至数据提供方服务器。
生成模块740用于根据初始目标样本，生成联邦学习模型的初始业务参数。
预测模块750用于接收数据提供方服务器提供的当前样本的预测部分模型结果，并根据初始业务参数和预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值。
第二计算模块760用于计算第一预测标签值与当前样本的实际标签值之间的第一残差值。
第二选取模块770用于根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，并将第一目标样本的主键发送至数据提供方服务器。
训练模块780用于根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数。
在本申请的一个实施例中，如图7所示，第一选取模块730可包括：融合单元731、计算单元732和选取单元733。
其中，融合单元731用于将第一相异性值和第二相异性值进行融合，以生成当前样本之间的目标相异性值。
计算单元732用于根据表征概率算法计算目标相异性值的表征概率。
选取单元733用于根据目标相异性值的表征概率，从当前样本之中选取初始目标样本。
在本申请的一个实施例中，选取单元733具体用于：根据目标相异性值的表征概率，计算当前样本的第一选择概率；根据当前样本的第一选择概率，从当前样本之中选取初始目标样本。
在本申请的一个实施例中，第二选取模块770具体用于：根据第一残差值生成当前样本的局部拟合样本选择概率；获取局部拟合样本选择概率的权重；根据局部拟合样本选择概率、第一选择概率和局部拟合样本选择概率的权重，计算当前样本的第二选择概率；根据当前样本的第二选择概率，从当前样本之中选取第一目标样本。
在本申请的一个实施例中，如图7所示，该联邦学习模型的训练装置700还可包括判断模块790，其中，判断模块790用于判断训练后的联邦学习模型是否满足预设条件，并将相应的判断结果发送至数据提供方服务器。其中，
训练模块780还用于若训练后的联邦学习模型满足预设条件，则将第一目标业务参数作为联邦学习模型的最终业务参数。
在本申请的一个实施例中，预测模块750还用于若训练后的联邦学习模型未满足预设条件，则接收数据提供方服务器提供的当前样本的第一目标部分模型结果，并根据第一目标业务参数和第一目标部分模型结果，重新对当前样本进行预测，以生成当前样本的第二预测标签值。
第二计算模块760还用于计算第二预测标签值与当前样本的实际标签值之间的第二残差值；
第二选取模块770还用于根据第二残差值和当前样本的第一选择概率，从当前样本之中选取第二目标样本，以及将第二目标样本的主键发送至数据提供方服务器。
训练模块780还用于根据第二目标样本对联邦学习模型进行训练，以得到联邦学习模型的第二目标业务参数。
需要说明的是，本申请实施例的联邦学习模型的训练装置中未披露的细节，请参照本申请图1至图5实施例的联邦学习模型的训练方法中所披露的细节，具体这里不再赘述。
综上，本申请实施例的联邦学习模型的训练装置，首先通过对齐模块与数据提供方服务器进行样本对齐，并通过第一计算模块计算当前样本之间的第一相异性值，并接收数据提供方服务器提供的当前样本之间的第二相异性值，以及通过第一选取模块根据第一相异性值和第二相异性值，从当前样本之中选取初始目标样本，并将初始目标样本的主键发送至数据提供方服务器，然后通过生成模块根据初始目标样本，生成联邦学习模型的初始业务参数，并通过预测模块接收数据提供方服务器提供的当前样本的预测部分模型结果，并根据初始业务参数和预测部分模型结果，对当前样本进行预测，以生成当前样本的第一预测标签值，以及通过第二计算模块计算第一预测标签值与当前样本的实际标签值之间的第一残差值，再然后通过第二选取模块根据第一残差值和当前样本的第一选择概率，从当前样本之中选取第一目标样本，并将第一目标样本的主键发送至数据提供方服务器，最后通过训练模块根据第一目标样本对联邦学习模型进行训练，以得到联邦学习模型的第一目标业务参数。由此，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
图8为根据本申请另一个实施例的联邦学习模型的训练装置的方框示意图。
本申请实施例的联邦学习模型的训练装置，可配置于电子设备中，以实现与业务方服务器进行样本对齐，并计算当前样本之间的第二相异性值，以及将第二相异性值发送至业务方服务器，然后接收业务方服务器提供的初始目标样本的主键，并根据初始目标样本的主键，生成联邦学习模型的初始数据参数，以及根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果，再然后向业务方服务器发送当前样本的预测部分模型结果，并接收业务方服务器提供的第一目标样本的主键，最后根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数，从而降低模型训练成本、提高模型优化效率。
如图8所示，该联邦学习模型的训练装置800，可包括：对齐模块810、第一计算模块820、第一接收模块830、预测模块840、发送模块850、第二接收模块860、训练模块870。
其中，对齐模块810用于与业务方服务器进行样本对齐。
第一计算模块820用于计算当前样本之间的第二相异性值，并将第二相异性值发送至业务方服务器。
第一接收模块830用于接收业务方服务器提供的初始目标样本的主键，其中，初始目标样本根据第二相异性值和当前样本之间的第一相异性值，从当前样本之中选取。
预测模块840用于根据初始目标样本的主键，生成联邦学习模型的初始数据参数，并根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果。
发送模块850用于向业务方服务器发送当前样本的预测部分模型结果。
第二接收模块860用于接收业务方服务器提供的第一目标样本的主键。
训练模块870用于根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数。
在本申请的一个实施例中，如图8所述，该联邦学习模型的训练装置800还可包括：第三接收模块880和确定模块890。
其中，第三接收模块880用于接收业务方服务器提供的判断结果，其中，判断结果为训练后的联邦学习模型是否满足预设条件的判断结果。
确定模块890用于根据判断结果确定训练后的联邦学习模型是否满足预设条件的判断结果。其中，
训练模块870还用于若训练后的联邦学习模型满足预设条件，则将第一目标数据参数作为联邦学习模型的最终数据参数。
在本申请的一个实施例中，预测模块840还用于若训练后的联邦学习模型未满足预设条件，则根据第一目标数据参数，重新对当前样本进行预测，以生成当前样本的第一目标部分模型结果。
发送模块850还用于向业务方服务器发送当前样本的第一目标部分模型结果。
第二接收模块860还用于接收业务方服务器提供的第二目标样本的主键。
训练模块870还用于根据第二目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第二目标数据参数。
需要说明的是，本申请实施例的联邦学习模型的训练装置中未披露的细节，请参照本申请图1至图5实施例的联邦学习模型的训练方法中所披露的细节，具体这里不再赘述。
综上，本申请实施例的联邦学习模型的训练装置，首先通过对齐模块与业务方服务器进行样本对齐，并通过第一计算模块计算当前样本之间的第二相异性值，并将第二相异性值发送至业务方服务器，以及通过第一接收模块接收业务方服务器提供的初始目标样本的主键，然后通过预测模块根据初始目标样本的主键，生成联邦学习模型的初始数据参数，并根据初始数据参数，对当前样本进行预测，以生成当前样本的预测部分模型结果，再然后通过发送模块向业务方服务器发送当前样本的预测部分模型结果，并通过第二接收模块接收业务方服务器提供的第一目标样本的主键，最后通过训练模块根据第一目标样本的主键对联邦学习模型进行训练，以得到联邦学习模型的第一目标数据参数。由此，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
为了实现上述实施例，如图9所述，本发明还提出一种电子设备900，包括存储器910、处理器920及存储在存储器910上并可在处理器920上运行的计算机程序，处理器920执行程序，以实现本申请前述实施例提出的联邦学习模型的训练方法。
本申请实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现本申请前述实施例提出的联邦学习模型的训练方法。
本申请实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，能够通过降低模型训练过程的空间复杂度和时间复杂度，减轻模型训练过程中的通信负担，从而降低模型训练成本，同时还可提高模型优化效率。
在本说明书的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

1.一种联邦学习模型的训练方法，其特征在于，所述方法包括：
与数据提供方服务器进行样本对齐；
计算当前样本之间的第一相异性值，并接收所述数据提供方服务器提供的所述当前样本之间的第二相异性值；
根据所述第一相异性值和所述第二相异性值，从所述当前样本之中选取初始目标样本，并将所述初始目标样本的主键发送至所述数据提供方服务器；
根据所述初始目标样本，生成所述联邦学习模型的初始业务参数；
接收所述数据提供方服务器提供的所述当前样本的预测部分模型结果，并根据所述初始业务参数和所述预测部分模型结果，对所述当前样本进行预测，以生成所述当前样本的第一预测标签值；
计算所述第一预测标签值与所述当前样本的实际标签值之间的第一残差值；
根据所述第一残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第一目标样本，并将所述第一目标样本的主键发送至所述数据提供方服务器；以及
根据所述第一目标样本对所述联邦学习模型进行训练，以得到所述联邦学习模型的第一目标业务参数。
2.如权利要求1所述的联邦学习模型的训练方法，其特征在于，所述根据所述第一相异性值和所述第二相异性值，从所述当前样本之中选取初始目标样本，包括：
将所述第一相异性值和所述第二相异性值进行融合，以生成所述当前样本之间的目标相异性值；
根据表征概率算法计算所述目标相异性值的表征概率；
根据所述目标相异性值的表征概率，从所述当前样本之中选取所述初始目标样本。
3.如权利要求2所述的联邦学习模型的训练方法，其特征在于，所述根据所述目标相异性值的表征概率，从所述当前样本之中选取所述初始目标样本，包括：
根据所述目标相异性值的表征概率，计算所述当前样本的第一选择概率；
根据所述当前样本的第一选择概率，从所述当前样本之中选取所述初始目标样本。
4.如权利要求1所述的联邦学习模型的训练方法，其特征在于，所述根据所述第一残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第一目标样本，包括：
根据所述第一残差值生成所述当前样本的局部拟合样本选择概率；
获取所述局部拟合样本选择概率的权重；
根据所述局部拟合样本选择概率、所述第一选择概率和所述局部拟合样本选择概率的权重，计算所述当前样本的第二选择概率；
根据所述当前样本的第二选择概率，从所述当前样本之中选取所述第一目标样本。
5.如权利要求1所述的联邦学习模型的训练方法，其特征在于，还包括：
判断训练后的所述联邦学习模型是否满足预设条件，并将相应的判断结果发送至所述数据提供方服务器；
若所述训练后的所述联邦学习模型满足所述预设条件，则将所述第一目标业务参数作为所述联邦学习模型的最终业务参数。
6.如权利要求5所述的联邦学习模型的训练方法，其特征在于，还包括：
若所述训练后的所述联邦学习模型未满足所述预设条件，则接收所述数据提供方服务器提供的所述当前样本的第一目标部分模型结果，并根据所述第一目标业务参数和所述第一目标部分模型结果，重新对所述当前样本进行预测，以生成所述当前样本的第二预测标签值；
计算所述第二预测标签值与所述当前样本的实际标签值之间的第二残差值；
根据所述第二残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第二目标样本，以及将所述第二目标样本的主键发送至所述数据提供方服务器；
根据所述第二目标样本对所述联邦学习模型进行训练，以得到所述联邦学习模型的第二目标业务参数。
7.一种联邦学习模型的训练方法，其特征在于，所述方法包括：
与业务方服务器进行样本对齐；
计算当前样本之间的第二相异性值，并将所述第二相异性值发送至所述业务方服务器；
接收所述业务方服务器提供的初始目标样本的主键，其中，所述初始目标样本根据所述第二相异性值和所述当前样本之间的第一相异性值，从所述当前样本之中选取；
根据所述初始目标样本的主键，生成所述联邦学习模型的初始数据参数，并根据所述初始数据参数，对所述当前样本进行预测，以生成所述当前样本的预测部分模型结果；
向所述业务方服务器发送所述当前样本的预测部分模型结果；
接收所述业务方服务器提供的第一目标样本的主键；以及
根据所述第一目标样本的主键对所述联邦学习模型进行训练，以得到所述联邦学习模型的第一目标数据参数。
8.如权利要求7所述的联邦学习模型的训练方法，其特征在于，还包括：
接收所述业务方服务器提供的判断结果，其中，所述判断结果为训练后的所述联邦学习模型是否满足预设条件的判断结果；
根据所述判断结果确定训练后的所述联邦学习模型是否满足预设条件的判断结果；
若所述训练后的所述联邦学习模型满足所述预设条件，则将所述第一目标数据参数作为所述联邦学习模型的最终数据参数。
9.如权利要求8所述的联邦学习模型的训练方法，其特征在于，还包括：
若所述训练后的所述联邦学习模型未满足所述预设条件，则根据所述第一目标数据参数，重新对所述当前样本进行预测，以生成所述当前样本的第一目标部分模型结果；
向所述业务方服务器发送所述当前样本的第一目标部分模型结果；
接收所述业务方服务器提供的第二目标样本的主键；
根据所述第二目标样本的主键对所述联邦学习模型进行训练，以得到所述联邦学习模型的第二目标数据参数。
10.一种联邦学习模型的训练装置，其特征在于，所述装置包括：
对齐模块，用于与数据提供方服务器进行样本对齐；
第一计算模块，用于计算当前样本之间的第一相异性值，并接收所述数据提供方服务器提供的所述当前样本之间的第二相异性值；
第一选取模块，用于根据所述第一相异性值和所述第二相异性值，从所述当前样本之中选取初始目标样本，并将所述初始目标样本的主键发送至所述数据提供方服务器；
生成模块，用于根据所述初始目标样本，生成所述联邦学习模型的初始业务参数；
预测模块，用于接收所述数据提供方服务器提供的所述当前样本的预测部分模型结果，并根据所述初始业务参数和所述预测部分模型结果，对所述当前样本进行预测，以生成所述当前样本的第一预测标签值；
第二计算模块，用于计算所述第一预测标签值与所述当前样本的实际标签值之间的第一残差值；
第二选取模块，用于根据所述第一残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第一目标样本，并将所述第一目标样本的主键发送至所述数据提供方服务器；以及
训练模块，用于根据所述第一目标样本对所述联邦学习模型进行训练，以得到所述联邦学习模型的第一目标业务参数。
11.如权利要求10所述的联邦学习模型的训练装置，其特征在于，所述第一选取模块，包括：
融合单元，用于将所述第一相异性值和所述第二相异性值进行融合，以生成所述当前样本之间的目标相异性值；
计算单元，用于根据表征概率算法计算所述目标相异性值的表征概率；
选取单元，用于根据所述目标相异性值的表征概率，从所述当前样本之中选取所述初始目标样本。
12.如权利要求11所述的联邦学习模型的训练装置，其特征在于，所述选取单元，具体用于：
根据所述目标相异性值的表征概率，计算所述当前样本的第一选择概率；
根据所述当前样本的第一选择概率，从所述当前样本之中选取所述初始目标样本。
13.如权利要求10所述的联邦学习模型的训练装置，其特征在于，所述第二选取模块，具体用于：
根据所述第一残差值生成所述当前样本的局部拟合样本选择概率；
获取所述局部拟合样本选择概率的权重；
根据所述局部拟合样本选择概率、所述第一选择概率和所述局部拟合样本选择概率的权重，计算所述当前样本的第二选择概率；
根据所述当前样本的第二选择概率，从所述当前样本之中选取所述第一目标样本。
14.如权利要求10所述的联邦学习模型的训练装置，其特征在于，还包括：
判断模块，用于判断训练后的所述联邦学习模型是否满足预设条件，并将相应的判断结果发送至所述数据提供方服务器；其中，
所述训练模块，还用于若所述训练后的所述联邦学习模型满足所述预设条件，则将所述第一目标业务参数作为所述联邦学习模型的最终业务参数。
15.如权利要求14所述的联邦学习模型的训练装置，其特征在于，其中，所述预测模块，还用于若所述训练后的所述联邦学习模型未满足所述预设条件，则接收所述数据提供方服务器提供的所述当前样本的第一目标部分模型结果，并根据所述第一目标业务参数和所述第一目标部分模型结果，重新对所述当前样本进行预测，以生成所述当前样本的第二预测标签值；
所述第二计算模块，还用于计算所述第二预测标签值与所述当前样本的实际标签值之间的第二残差值；
所述第二选取模块还用于根据所述第二残差值和所述当前样本的第一选择概率，从所述当前样本之中选取第二目标样本，以及将所述第二目标样本的主键发送至所述数据提供方服务器；
所述训练模块，还用于根据所述第二目标样本对所述联邦学习模型进行训练，以得到所述联邦学习模型的第二目标业务参数。
16.一种联邦学习模型的训练装置，其特征在于，所述装置包括：
对齐模块，用于与业务方服务器进行样本对齐；
第一计算模块，用于计算当前样本之间的第二相异性值，并将所述第二相异性值发送至所述业务方服务器；
第一接收模块，用于接收所述业务方服务器提供的初始目标样本的主键，其中，所述初始目标样本根据所述第二相异性值和所述当前样本之间的第一相异性值，从所述当前样本之中选取；
预测模块，用于根据所述初始目标样本的主键，生成所述联邦学习模型的初始数据参数，并根据所述初始数据参数，对所述当前样本进行预测，以生成所述当前样本的预测部分模型结果；
发送模块，用于向所述业务方服务器发送所述当前样本的预测部分模型结果；
第二接收模块，用于接收所述业务方服务器提供的第一目标样本的主键；
训练模块，用于根据所述第一目标样本的主键对所述联邦学习模型进行训练，以得到所述联邦学习模型的第一目标数据参数。
17.如权利要求16所述的联邦学习模型的训练装置，其特征在于，还包括：
第三接收模块，用于接收所述业务方服务器提供的判断结果，其中，所述判断结果为训练后的所述联邦学习模型是否满足预设条件的判断结果；
确定模块，用于根据所述判断结果确定训练后的所述联邦学习模型是否满足预设条件的判断结果；其中，
所述训练模块，还用于若所述训练后的所述联邦学习模型满足所述预设条件，则将所述第一目标数据参数作为所述联邦学习模型的最终数据参数。
18.如权利要求17所述的联邦学习模型的训练装置，其特征在于，其中，所述预测模块，还用于若所述训练后的所述联邦学习模型未满足所述预设条件，则根据所述第一目标数据参数，重新对所述当前样本进行预测，以生成所述当前样本的第一目标部分模型结果；
所述发送模块，还用于向所述业务方服务器发送所述当前样本的第一目标部分模型结果；
所述第二接收模块，还用于接收所述业务方服务器提供的第二目标样本的主键；
所述训练模块，还用于根据所述第二目标样本的主键对所述联邦学习模型进行训练，以得到所述联邦学习模型的第二目标数据参数。
19.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6或权利要求7-9中任一项所述的联邦学习模型的训练方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6或权利要求7-9中任一项所述的联邦学习模型的训练方法。
CN202110357647.XA 2021-04-01 2021-04-01 联邦学习模型的训练方法、装置、电子设备和存储介质 Active CN113807535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110357647.XA CN113807535B (zh) 2021-04-01 2021-04-01 联邦学习模型的训练方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110357647.XA CN113807535B (zh) 2021-04-01 2021-04-01 联邦学习模型的训练方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113807535A CN113807535A (zh) 2021-12-17
CN113807535B true CN113807535B (zh) 2023-11-03

Family

ID=78892926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110357647.XA Active CN113807535B (zh) 2021-04-01 2021-04-01 联邦学习模型的训练方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113807535B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768008A (zh) * 2020-06-30 2020-10-13 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN111860868A (zh) * 2020-07-27 2020-10-30 深圳前海微众银行股份有限公司 训练样本构建方法、装置、设备及计算机可读存储介质
WO2021004551A1 (zh) * 2019-09-26 2021-01-14 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN112256874A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 模型训练方法、文本分类方法、装置、计算机设备和介质
CN112541592A (zh) * 2020-12-06 2021-03-23 支付宝(杭州)信息技术有限公司 基于差分隐私的联邦学习方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182595B (zh) * 2019-07-03 2024-03-26 北京百度网讯科技有限公司 基于联邦学习的模型训练方法及装置
US11616804B2 (en) * 2019-08-15 2023-03-28 Nec Corporation Thwarting model poisoning in federated learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004551A1 (zh) * 2019-09-26 2021-01-14 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN111768008A (zh) * 2020-06-30 2020-10-13 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN111860868A (zh) * 2020-07-27 2020-10-30 深圳前海微众银行股份有限公司 训练样本构建方法、装置、设备及计算机可读存储介质
CN112256874A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 模型训练方法、文本分类方法、装置、计算机设备和介质
CN112541592A (zh) * 2020-12-06 2021-03-23 支付宝(杭州)信息技术有限公司 基于差分隐私的联邦学习方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于联邦学习的大数据风险控制技术研究与应用;李健萌;中国优秀硕士学位论文全文数据库 信息科技辑(第08期);全文 *
联邦学习安全与隐私保护研究综述;周俊;方国英;吴楠;;西华大学学报(自然科学版)(第04期);全文 *

Also Published As

Publication number Publication date
CN113807535A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN111309824B (zh) 实体关系图谱显示方法及系统
Zhou et al. Privacy-preserving online task allocation in edge-computing-enabled massive crowdsensing
CN110084377A (zh) 用于构建决策树的方法和装置
Zhao et al. A machine learning based trust evaluation framework for online social networks
Pitsilis et al. Social trust as a solution to address sparsity-inherent problems of recommender systems
CN103428704B (zh) 一种频谱感知方法及装置
CN113722987B (zh) 联邦学习模型的训练方法、装置、电子设备和存储介质
CN110011987A (zh) 一种手机程序与智能硬件进行绑定的系统及方法
Tang et al. A factorization machine-based QoS prediction approach for mobile service selection
CN110889759A (zh) 信用数据的确定方法、装置及存储介质
CN110222743A (zh) 电网事故的预案生成方法
Ghafori et al. Best cloud provider selection using integrated ANP-DEMATEL and prioritizing SMI attributes
CN113033717B (zh) 一种模型生成方法、装置以及用于模型生成的装置
CN114168295A (zh) 混合架构系统及基于历史任务效果的任务调度方法
CN113807535B (zh) 联邦学习模型的训练方法、装置、电子设备和存储介质
Ahn et al. A novel proactive caching strategy with community-aware learning in CoMP-enabled small-cell networks
Lotfi et al. Semantic Information Marketing in The Metaverse: A Learning-Based Contract Theory Framework
CN116342287A (zh) 火电机组调频交易管理的物联网信任度分析方法及系统
CN113379344A (zh) 一种基于云计算处理的智能物流处理方法和系统
Zhou et al. Linguistic multi-criteria group decision-making method combining cloud model and evidence theory
CN114510627A (zh) 对象推送方法、装置、电子设备及存储介质
Shen et al. Collaborative edge caching with personalized modeling of content popularity over indoor mobile social networks
Lee et al. Learning multi-objective network optimizations
CN113762532B (zh) 联邦学习模型的训练方法、装置、电子设备和存储介质
Yang et al. Exploring Equilibrium Strategies in Network Games with Generative AI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant