CN111723943B - 一种基于多标签的联邦学习方法、装置和系统 - Google Patents

一种基于多标签的联邦学习方法、装置和系统 Download PDF

Info

Publication number
CN111723943B
CN111723943B CN202010753290.2A CN202010753290A CN111723943B CN 111723943 B CN111723943 B CN 111723943B CN 202010753290 A CN202010753290 A CN 202010753290A CN 111723943 B CN111723943 B CN 111723943B
Authority
CN
China
Prior art keywords
target
tag data
users
label
organizations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010753290.2A
Other languages
English (en)
Other versions
CN111723943A (zh
Inventor
陆梦倩
汲小溪
王维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010753290.2A priority Critical patent/CN111723943B/zh
Publication of CN111723943A publication Critical patent/CN111723943A/zh
Application granted granted Critical
Publication of CN111723943B publication Critical patent/CN111723943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种基于多标签的联邦学习方法、装置和系统，该方法包括：多个机构在进行联邦学习时，可信执行环境可以获取由多个机构提供的多个标签数据组，任一标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；在获取到多个标签数据组后，利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到统一的目标标签数据组，目标标签数据组中包括所述多个用户的目标标签；将所述目标标签数据组发送给所述多个机构，以便由所述多个机构基于所述目标标签数据组进行联邦学习。

Description

一种基于多标签的联邦学习方法、装置和系统
本文件是申请号为“202010251416.6”、申请日为“2020年04月01日”、申请名称为“一种基于多标签的联邦学习方法、装置和系统”的专利申请的分案申请。
技术领域
本文件涉及联邦学习领域，尤其涉及一种基于多标签的联邦学习方法、装置和系统。
背景技术
联邦学习(又可以称为联合学习、联盟学习)是一种机器学习框架，可以有效帮助多个机构在满足用户隐私保护和数据安全的要求下，进行数据使用和机器学习建模。
通常，多个机构在进行联邦学习时，可以基于样本的标签数据和特征数据进行学习训练，其中，样本的标签数据可以由多个机构提供。然而，由于多个机构的业务场景或对标签的定义不同等原因，多个机构提供的标签数据通常是不一致的，这样，在进行联邦学习时，将无法确定以哪个机构的标签数据为准进行学习训练。
发明内容
本说明书实施例提供一种基于多标签的联邦学习方法、装置和系统，用于解决在联邦学习中，在多个机构提供的标签数据不一致的情况下，无法确定基于哪个机构的标签数据进行学习训练的问题。
为解决上述技术问题，本说明书实施例是这样实现的：
第一方面，提出一种基于多标签的联邦学习方法，应用于可信执行环境，包括：
获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习。
第二方面，提出一种基于多标签的联邦学习装置，应用于可信执行环境，包括：
获取单元，获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
处理单元，利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
发送单元，将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习。
第三方面，提出一种电子设备，该电子设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下步骤：
获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习。
第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下步骤：
获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习。
第五方面，提出一种基于多标签的联邦学习方法，应用于机构，包括：
获取包括多个用户的原始标签的标签数据组；
将所述标签数据组发送给可信执行环境，由所述可信执行环境利用预设的弱监督学习算法对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据；
基于所述部分目标标签数据进行联邦学习。
第六方面，提出一种基于多标签的联邦学习装置，应用于机构，包括：
获取单元，获取包括多个用户的原始标签的标签数据组；
发送单元，将所述标签数据组发送给可信执行环境，由所述可信执行环境利用预设的弱监督学习算法对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收单元，接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据；
联邦学习单元，基于所述部分目标标签数据进行联邦学习。
第七方面，提出一种电子设备，该电子设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下步骤：
获取包括多个用户的原始标签的标签数据组；
将所述标签数据组发送给可信执行环境，由所述可信执行环境利用预设的弱监督学习算法对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据；
基于所述部分目标标签数据进行联邦学习。
第八方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下步骤：
获取包括多个用户的原始标签的标签数据组；
将所述标签数据组发送给可信执行环境，由所述可信执行环境利用预设的弱监督学习算法对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据；
基于所述部分目标标签数据进行联邦学习。
第九方面，提出一种基于多标签的联邦学习系统，包括可信执行环境和多个机构，其中：
多个机构获取多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；将所述多个标签数据组发送给所述可信执行环境；
所述可信执行环境利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；将所述目标标签数据组发送给所述多个机构；
所述多个机构接收由所述可信执行环境返回的所述目标标签数据组，任一个机构接收到所述目标标签数据组中的部分目标标签数据；基于接收到的部分目标标签数据进行联邦学习。
本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下技术效果：
本说明书一个或多个实施例提供的技术方案，在联邦学习中，在多个机构提供的标签数据不一致的情况下，可以由可信执行环境获取多个机构提供的多个标签数据组，任一标签数据组中包括多个用户的原始标签，之后，可信执行环境可以基于弱监督学习算法对多个标签数据组进行学习训练，得到统一的目标标签数据组，目标标签数据组中包括多个用户的目标标签。这样，多个机构在进行联邦学习时，可以基于统一的目标标签数据组进行联邦学习，有效解决了在多个机构提供的标签数据不一致的情况下，无法确定基于哪个机构的标签数据进行学习训练的问题。
此外，由于可信执行环境的可信程度和安全等级较高，因此，由可信执行环境获取多个机构提供的多个标签数据组并进行学习训练，可以保证多个机构提供的多个标签数据组的隐私性和安全性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的一种示意性的系统架构示意图；
图2是本说明书的一个实施例基于多标签的联邦学习方法的流程示意图；
图3是本说明书的一个实施例基于多标签的联邦学习方法的流程示意图；
图4是本说明书的一个实施例的基于多标签的联邦学习方法的场景示意图；
图5是本说明书的一个实施例电子设备的结构示意图；
图6是本说明书的一个实施例基于多标签的联邦学习装置的结构示意图；
图7是本说明书的一个实施例电子设备的结构示意图；
图8是本说明书的一个实施例基于多标签的联邦学习装置的结构示意图；
图9是本说明书的一个实施例基于多标签的联邦学习系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
在联邦学习的场景中，多个机构在进行联邦学习时，通常需要提供多个用户的标签数据，并基于多个用户的标签数据进行学习训练。然而，多个机构提供的标签数据通常并不完全一致，不一致的原因可以包括多个方面，比如，由于多个机构的业务场景不同，导致多个机构对标签的定义略有差别；有的机构对黑标签的收集不全，导致同一个用户在机构A中属于黑名单用户，在机构B中不属于黑名单用户；某些机构提供的数据标签的质量较差，存在脏数据，等。在多个机构提供的标签数据不一致的情况下，就会导致多个机构无法确定以哪个机构的标签数据为准进行联邦学习。
为了解决上述问题，本说明书实施例提供一种基于基于多标签的联邦学习方法、装置和系统，在多个机构在进行联邦学习时，可以由可信执行环境获取多个机构提供的多个标签数据组，基于弱监督学习算法对多个标签数据组进行学习训练，得到统一的目标标签数据组。这样，多个机构可以基于统一的目标签数据组进行联邦学习，有效解决了在多个机构提供的标签数据不一致的情况下，无法确定基于哪个机构的标签数据进行学习训练的问题。
下面结合图1对本说明书实施例提供的技术方案的一种可能的应用场景进行说明。
如图1所示，本说明书实施例提供的一种系统架构包括：可信执行环境11和机构12、机构13、……、机构1N(N为大于2的整数，具体可以根据实际的机构个数确定)。其中，多个机构可以通过网络与可信执行环境11相连，以进行数据交互，可信执行环境11的可信程度和安全等级较高，能够保证多个机构的数据的隐私性和安全性，多个机构之间也可以通过网络相连(图中未示出)，任一个机构可以提供多个用户的个人数据和标签数据，但多个机构之间不进行个人数据和标签数据的交互，以保护隐私。
在图1所示的应用场景中，可信执行环境11和机构12、机构13、……、机构1N可以作为本说明书实施例提供的一种基于多标签的联邦学习方法的执行主体。其中，可信执行环境11可以用SGX技术从硬件层面构建，在其生成的安全环境(enclave)内执行上述基于多标签的联邦学习方法的流程，可选地，可信执行环境11可以由机构12、机构13、……、机构1N中的某个机构构建得到，也可以是在机构12、机构13、……、机构1N之外单独构建得到，这里不做具体限定。
需要说明的是，本说明书实施例记载的标签数据可以理解为由用户的用户标识和标签构成的数据，其中，用户标识可以是用户在机构中注册时使用的用户名，也可以是用户的手机号，还可以是用户的身份证号等，用户的标签可以具有标签值，标签值可以表征用户的标签，比如，在风险识别场景中，若用户的标签值为0，则可以表征用户的标签为白名单，若用户的标签值为1，则可以表征用户的标签为黑名单。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图2是本说明书的一个实施例基于多标签的联邦学习方法的流程示意图，该方法可以由图1所示的可信执行环境11执行。所述方法如下所述。
S202：获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致。
在S202中，多个机构在进行联邦学习时，可以确定用于进行联邦学习的多个用户，该多个用户可以是多个机构的共有用户。在确定多个用户后，多个机构可以针对该多个用户生成或收集多个标签数据组。
本说明书实施例中，一个机构可以生成或收集一个标签数据组，一个标签数据组中可以包括多个用户的原始标签，且多个用户中至少存在一个用户在多个标签数据组中的多个原始标签不一致。
需要说明的是，由于多个机构进行联邦学习的目标是一致的，因此，多个机构生成或收集的多个标签数据组的含义也应一致。比如，若联邦学习的目标是得到用于进行风险识别的目标模型，则，多个标签数据组的含义可以是多个用户属于风险用户还是正常用户。
在一种可能的实现方式中，若机构对某个用户没有定义原始标签或因数据不足等原因无法生成或收集得到用户的原始标签，则在该机构提供的标签数组据中，该用户的原始标签可以视为空。
还需要说明的是，上述同一个用户在多个标签数据组中的多个原始标签不一致，具体可以是同一个用户在N个标签数据组中的N个原始标签与其在其他标签数据组中的原始标签不同，其中，N为大于0且小于M的整数，M为多个标签数据组的总个数。
多组机构在提供多个标签数据组后，可以将多个标签数据组发送给可信执行环境，可信执行环境可以获取到由多个标签数据组。其中，为了保证数据传输的安全性，多个机构在发送多个标签数据组时，可以对多个标签数据组进行加密，并将加密后的多个标签数据组发送给可信执行环境。加密方法可以是公钥私钥的加密方法，也可以是其他加密方法。
S204：利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签。
在S204中，可信执行环境在获取到多个标签数据组后，可以采用弱监督学习算法对多个标签数据组进行学习训练，得到包含多个用户的目标标签的一个目标标签数据组。
本说明书实施例中，可信执行环境可以借助snorkel弱监督学习框架对多个标签数据组进行学习训练，具体实现方式如下：
首先，根据多个标签数据组和初始的目标标签数据组，确定第一特征变量、第二特征变量和第三特征变量。
初始的目标标签数据组可以由可信执行环境定义得到，具体可以包括多个用户的初始目标标签。应理解，初始的目标标签数据组并不是最终的目标标签数据组，这里之所以定义初始的目标标签数据组，是为了便于得到上述第一、第二和第三特征变量，进而求解最终的目标标签数据组。
上述第一特征变量可以表征多个用户中任一用户在任一个标签数据组中是否存在原始标签，具体可以由以下公式表示：
Figure BDA0002610692240000101
其中，L为多个标签数据组，Y为初始的目标标签数据组，Li,j表示用户i在机构j提供的标签数据组中的原始标签。若Li,j不为空，则
Figure BDA0002610692240000102
为1，若Li,j为空，则
Figure BDA0002610692240000103
为0。
上述第二特征变量可以表征多个用户中任一用户的目标标签(初始的目标标签数据组中的初始目标标签)和该用户在任一标签数据组中的原始标签是否一致，具体可以由以下公式表示：
Figure BDA0002610692240000104
其中，L、Y和Li,j的含义与其在上述第一特征变量中的含义相同，yi为用户i在初始的标签数据组中的初始目标标签。若Li,j和yi一致，则
Figure BDA0002610692240000105
为1，若不一致，则
Figure BDA0002610692240000106
为0。
上述第三特征变量可以表征多个用户中任一用户在任两个标签数据组中的原始标签是否一致，具体可以由以下公式表示：
Figure BDA0002610692240000107
其中，L、Y和Li,j的含义与其在上述第一特征变量中的含义相同，Li,k表示用户i在机构k中的原始标签，C表示多个机构之间的机构(j，k)对，且j不等于k。若用户在任两个标签数据组中的原始标签Li,j和Li,k一致，则
Figure BDA0002610692240000108
为1，若不一致，则
Figure BDA0002610692240000109
为0。
其次，基于上述第一特征变量、第二特征变量和第三特征变量，得到生成模型和目标函数。
生成模型可以用于根据目标参数求解最终的目标标签数据组，具体可以由如下公式表示：
Figure BDA0002610692240000111
其中，w为目标参数，Zw -1为概率归一化系数。
目标参数w为未知量，上述目标函数可以用于根据目标标签数据组求解目标参数w。目标函数可以由以下公式表示：
Figure BDA0002610692240000112
最后，根据上述生成模型和目标函数，求解最终的目标标签数据组。
具体地，可以固定目标标签数据组，令目标标签数据组为上述初始的目标标签数据组，利用随机梯度下降法求解目标函数，得到目标参数，在得到目标参数后，将目标参数代入上述生成模型，并基于该目标参数，利用Gibbs采样方法求解生成模型，得到目标标签数据组，该目标标签数据组可以视为对初始的目标标签数据组进行更新后得到的目标标签数据组。
在得到该目标标签数据组后，可以将其代入上述目标函数中，并循环执行上述求解目标参数和目标标签数据组的步骤，直至收敛，此时的目标标签数据组即为最终需要得到的目标标签数据组。
需要说明的是，由于上述生成模型中考虑到了多个机构的标签数据的一致性，标签存在性，标签的准确性等，得到的目标标签数据组是一个综合了多个机构的标签数据的综合标签，标签不缺失，且准确性更优。
S206：将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习。
在S206中，可信执行环境在得到目标标签数据组后，可以将目标标签数据组发送给多个机构，由多个机构对目标标签数据组进行分布式存储，以避免目标标签数据组被任一机构单独持有造成的标签数据泄露。
可信执行环境在将目标标签数据组发送给多个机构时，具体可以包括：
首先，针对多个用户中的任一目标用户，可以确定目标用户在目标标签数据组中的目标标签；
其次，确定目标用户在多个标签数据组中的多个原始标签，一个原始标签对应一个机构，即一个原始标签由一个机构提供；
再次，根据目标标签和多个原始标签，确定候选机构，候选机构对应的原始标签与目标标签一致；
具体地，可以将目标用户在多个机构中的原始标签与目标用户的目标标签进行对比，确定目标用户在哪些机构中的原始标签与其目标标签一致，确定的这些机构即为候选机构，候选机构的个数可以是一个也可以是多个。
最后，将目标用户的目标标签发送给候选机构。
具体地，在候选机构的个数为1个情况下，可以将目标用户的标签数据发送给这一个候选机构。
在候选机构的个数大于1个情况下(假设候选机构的个数为M)，优选地，可以从M个候选机构中选择N个目标机构，并将目标用户的目标标签发送给N个目标机构。其中，N为大于1且小于M的整数，在选择N个目标机构时，可以随机选择，也可以按照其他方式选择。
在本说明书实施例中，可信执行环境在通过上述记载的方法将目标标签数据发送给多个机构后，至少可以实现以下技术效果：
(1)由于任一用户的目标标签可以被至少1个机构持有，因此，可以保证用户的目标标签不会缺失；
(2)由于在将任一目标用户的目标标签发送给多个候选机构时，并未将目标标签发送给所有的候选机构，而是选择发送给候选机构中的部分机构(即上述N个目标机构)，因此，针对任一机构而言，即便某个目标用户的目标标签与目标用户在该机构中的原始标签一致，可信执行环境也有可能不会将目标用户的目标标签发送给该机构，即机构最终拿到的目标标签为该机构的正确的原始标签(即机构提供的多个原始标签中与目标标签一致的原始标签)中的一部分，其余的原始标签是否正确无法得知。这样，就可以避免任一机构基于其拿到的目标标签和其提供的原始标签反推出目标标签数据组，机构可以拿到的目标标签是机构原本就知道的信息。
(3)同一个用户的目标标签可能被多个机构持有，在一定程度上可以优化联邦学习中数据交叉计算的耗时。
本说明书实施例中，在将目标用户的用户标签发送给目标机构时，为了保证目标标签在传输过程的安全性，可以对目标用户的目标标签进行加密后发送，加密方法可以有多种，这里不再一一举例说明。
可选地，为了避免目标标签在传输过程中被泄露，在将目标用户的目标标签发送给目标机构时，可以确定目标用户的用户标识，并将目标用户的用户标识代替目标标签发送给目标机构，目标机构在接收到目标用户的用户标识后，可以根据用户标识确定目标用户的原始标签，该原始标签与目标用户的目标标签相同，由此可以实现将目标标签发送给目标机构的目的。其中，目标用户的用户标识可以是用户的用户名、手机号或身份证号等，具体可以根据目标机构的实际业务场景确定。
这样，通过发送目标用户的用户标识来代替发送目标用户的用户标签，可以避免目标标签在传输过程中被泄露。
在向目标机构发送目标用户的用户标识时，为了保护目标用户的用户标识在传输过程中不被泄露，可以对用户标识进行加密后发送，加密方法可以有多种，这里也不再一一举例说明。
可信执行环境在通过上述记载的方法将目标标签数据组发送给多个机构后，任一机构可以接收到目标标签数据组中的部分目标标签数据，之后，多个机构可以基于接收到的部分目标标签数据进行联邦学习，具体实现方式可以参见下面图3所示的实施例，这里不再详细描述。
这样，多个机构在进行联邦学习时，由于可以基于统一的目标标签数据组进行联邦学习，因此，有效解决了在多个机构提供的标签数据不一致的情况下，无法确定基于哪个机构的标签数据进行学习训练的问题。此外，由于可信执行环境的可信程度和安全等级较高，因此，由可信执行环境获取多个机构提供的多组标签并进行学习训练，可以有效保证多个机构提供的多个标签数据组的隐私性和安全性。
图3是本说明书的一个实施例基于多标签的联邦学习方法的流程示意图，该方法可以由图1所示的任一机构执行。所述方法如下所述。
S302：获取包括多个用户的原始标签的标签数据组。
在S302中，机构在与其他机构进行联邦学习时，可以确定用于进行联邦学习的多个用户，该多个用户可以是该机构和其他机构的共有用户。在确定多个用户后，机构可以生成或收集多个用户的原始标签，得到包括多个用户对应的多个原始标签的标签数据组。
S304：将所述标签数据组发送给可信执行环境，由所述可信执行环境利用预设的弱监督学习算法对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签。
在S304中，机构在生成或收集到包扣多个用户的原始标签的标签数据组后，可以该标签数据组发送给可信执行环境。
可信执行环境在接收到该机构的标签数据组的情况下，还可以接收来自其他机构的针对多个用户的其他标签数据组，其中，多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的原始标签不一致。之后，可信执行环境可以利用预设的弱监督学习算法对来自多个机构的多个标签数据组进行学习训练，得到统一的目标标签数据组。具体实现方式可以参见上述图2所示实施例中记载的相应内容，这里不再重复描述。
S306：接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据。
在S306中，可信执行环境在得到目标标签数据组后，可以将目标标签数据组发送给多个机构，具体实现方式可以参见图2所示实施例中记载的相应内容，这里不再重复说明。
可信执行环境在将目标标签数据组发送给多个机构后，针对任一机构而言，机构可以接收到目标标签数据组中的部分目标标签数据。
在一种实现方式中，机构接收到的部分目标标签数据中可以包括多个用户中部分用户的目标标签，该部分用户的目标标签与其在机构提供的标签数据组中的原始标签一致。
在另一种实现方式中，机构接收到的部分目标标签数据中可以包括多个用户中部分用户的用户标识，该部分用户的目标标签与其在机构提供的标签数据组中的原始标签一致。
S308：基于所述部分目标标签数据进行联邦学习。
在S308中，机构在接收到部分目标标签数据后，可以基于部分目标标签数据联邦学习。
在一种实现方式中，若机构接收到的部分目标标签数据中包括的是部分用户的目标标签，则在进行联邦学习时，可以获取该部分用户在机构中的个人数据，并基于部分用户的个人数据和接收到的目标标签行学习训练。
在另一种实现方式中，若机构接收到的部分目标标签数据中包括的是部分用户的用户标识，则在进行联邦学习时，首先可以根据部分用户的用户标识，在机构提供的一组标签数据中查找与部分用户对应的原始标签，然后获取部分用户在机构中的个人数据，最后基于部分用户的原始标签对部分用户的个人数据进行学习训练。
需要说明的是，由于本说明书实施例中，多个用户的目标标签分布在多个机构中，并由多个机构持有，比如，机构A持有用户1、2、3的标签，机构B持有用户2、3、4的标签，机构3持有样本2、4、5的标签，因此，在联邦学习中，在计算梯度和信息增益时，多个机构的计算角色不总是固定的，有时机构A扮演标签持有方，有时机构B扮演标签持有方。在这种情况下，在计算损失函数时，可以由多个机构基于自己持有的目标标签分别计算，最后将多个机构计算的损失进行加和即可。
可选地，机构在进行联邦学习并得到目标目标模型后，可以基于目标模型对多个用户进行预测，得到多个用户的模型分，之后，可以将多个用户的模型分与多个用户的原始标签值进行比较，确定多个用户的模型分与多个用户的原始标签值之间的AUC(Area UnderCurve，被定义为ROC曲线下的面积)，若AUC小于设定值，则可以结合自身情况，对目标模型进行微调，以适应机构自身的业务场景。其中，设定值可以是0.7至0.9之间的任一数值，具体可以根据实际情况确定，这里不做具体限定。
在对目标模型进行微调时，一种可选地方案是，计算多个用户的模型分和原始标签值之间的差值，利用多个用户的个人数据训练一个新模型，基于该新模型来拟合这个差值，最后将新模型预测的模型分和目标模型预测的模型分相加，即得最后的预测值。
图4是本说明书的一个实施例的基于多标签的联邦学习方法的场景示意图。
在图4中，机构41、机构42、……、机构4N在进行联邦学习时，可以针对共有的多个用户，分别收集针对多个用户的一个标签数据组，得到多个标签数据组，任一标签数据组中包括多个用户的原始标签，多个用户中至少存在一个用户在多个标签数据组中的多个原始标签不一致。之后，多个机构将多个标签数据组发送给可信执行环境。
图4中，机构41发送的标签数据组由标签数据组A1表示，机构42发送的标签数据组由标签数据组A2表示，……，机构4N发送的标签数据组由标签数据组AN表示。
可信执行环境在接收到多个标签数据组后，利用预设的弱监督学习算法对多个标签数据组进行学习训练，得到统一的目标标签数据组。该目标标签数据组中包括多个用户的目标标签。
之后，可信执行环境可以将目标标签数据组发送给多个机构。基于图2所述实施例中记载的内容可知，可信执行环境向机构41、机构42、……、机构4N中的任一机构发送到的是目标标签数据组中的部分目标标签数据，即向任一机构发送多个用户中部分用户的标签数据，且针对多个用户中的任一用户而言，该用户的目标标签至少发送给了一个机构。
可信执行环境在向任一机构发送部分用户的目标标签时，为了避免目标标签在传输过程中被泄露，可以将部分用户的用户标识代替部分用户的目标标签进行发送。如图4所示，可信执行环境向机构41发送部分用户1的用户标识，向机构42发送部分用户2的用户标识，……，向机构4N发送部分用户N的用户标识。其中，部分用户1至部分用户N中任一部分用户可以是一个用户，也可以是多个用户，且部分用户1至部分用户N中任两个部分用户之间可以包括相同的用户。
机构41、机构42、……、机构4N在接收到部分用户的用户标识后，可以根据部分用户的用户标识查找部分用户的原始标签，并基于部分用户的原始数据和个人数据进行联邦学习，得到目标模型。在得到目标模型后，多个机构还可以结合自身的业务场景，对目标模型进行微调，具体实现方式可以参见图3所示实施例中的相应内容，这里不再详细描述。
需要说明的是，在一种可能的实现方式中，可信执行环境在训练得到一组目标标签数据后，可以不将目标标签数据发送给多个机构，而是从多个机构中获取多个用户的个人数据，根据获取到的个人数据和确定得到的目标标签数据进行模型训练，得到目标模型，即可信执行环境可以执行多个机构联邦学习的步骤，并训练得到目标模型。
本说明书一个或多个实施例提供的技术方案，在联邦学习中，在多个机构提供的标签数据不一致的情况下，可以由可信执行环境获取多个机构提供的多个标签数据组，任一标签数据组中包括多个用户的原始标签，之后，可信执行环境可以基于弱监督学习算法对多个标签数据组进行学习训练，得到统一的目标标签数据组，目标标签数据组中包括多个用户的目标标签。这样，多个机构在进行联邦学习时，可以基于统一的目标标签数据组进行联邦学习，有效解决了在多个机构提供的标签数据不一致的情况下，无法确定基于哪个机构的标签数据进行学习训练的问题。
此外，由于可信执行环境的可信程度和安全等级较高，因此，由可信执行环境获取多个机构提供的多个标签数据组并进行学习训练，可以保证多个机构提供的多个标签数据组的隐私性和安全性。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
图5是本说明书的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成基于多标签的联邦学习装置。处理器，执行存储器所存放的程序，并具体用于执行以下步骤：
获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习。
上述如本说明书图5所示实施例揭示的基于多标签的联邦学习装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图2的方法，并实现基于多标签的联邦学习装置在图2所示实施例中的功能，本说明书实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图2所示实施例的方法，并具体用于执行以下步骤：
获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习。
图6是本说明书的一个实施例基于多标签的联邦学习装置60的结构示意图。请参考图6，在一种软件实施方式中，所述基于多标签的联邦学习装置60可包括：获取单元61、处理单元62和发送单元63，其中：
获取单元61，获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
处理单元62，利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
发送单元63，将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习。
可选地，所述处理单元62，利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，包括：
根据所述多个标签数据组和初始的目标标签数据组，确定第一特征变量、第二特征变量和第三特征变量，所述第一特征变量表征任一用户在任一个标签数据组中是否存在原始标签，所述第二特征变量表征任一用户的目标标签和所述用户在任一标签数据组中的原始标签是否一致，所述第三特征变量表征任一用户在任两个标签数据组中的原始标签是否一致；
基于所述第一特征变量、所述第二特征变量和所述第三特征变量，得到生成模型和目标函数，所述生成模型用于根据目标参数求解所述目标标签数据组，所述目标函数用于根据所述目标标签数据组求解所述目标参数；
根据所述生成模型和所述目标函数，得到所述目标标签数据组。
可选地，所述处理单元62，根据所述生成模型和所述目标函数，得到所述目标标签数据组，包括：
基于所述初始的目标标签数据组，利用随机梯度下降法求解所述目标函数，得到所述目标参数；
基于求解得到的所述目标参数，利用Gibbs采样方法求解所述生成模型，更新所述初始的目标标签数据组；
循环执行以上步骤直至收敛，得到所述目标标签数据组。
可选地，所述发送单元63，将所述目标标签数据组发送给所述多个机构，包括：
针对所述多个用户中的任一目标用户，执行以下步骤：
确定所述目标用户在所述目标标签数据组中的目标标签；
确定所述目标用户在所述多个标签数据组中的多个原始标签，一个原始标签对应一个机构；
根据所述目标标签和所述多个原始标签，确定候选机构，所述候选机构对应的所述原始标签与所述目标标签一致；
将所述目标用户的目标标签发送给所述候选机构。
可选地，所述发送单元63，将所述目标用户的目标标签发送给所述候选机构，包括：
若所述候选机构的个数M大于1，则从所述候选机构中选择N个目标机构，N大于0且小于M；
将所述目标用户的目标标签发送给所述N个目标机构。
可选地，所述发送单元63，将所述目标用户的目标标签发送给所述N个目标机构，包括：
确定所述目标用户的用户标识；
将所述目标用户的用户标识代替所述目标标签发送给所述N个目标机构。
可选地，所述发送单元63，将所述目标用户的用户标识代替所述目标标签发送给所述N个目标机构，包括：
将所述目标用户的用户标识进行加密，得到加密后的用户标识；
将所述加密后的用户标识发送给所述N个目标机构。
本说明书实施例提供的基于多标签的联邦学习装置60还可执行图2的方法，并实现基于多标签的联邦学习装置在图2所示实施例的功能，本说明书实施例在此不再赘述。
图7是本说明书的一个实施例电子设备的结构示意图。请参考图7，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成基于多标签的联邦学习装置。处理器，执行存储器所存放的程序，并具体用于执行以下步骤：
获取包括多个用户的原始标签的标签数据组；
将所述标签数据组发送给可信执行环境，由所述可信执行环境利用预设的弱监督学习算法对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据；
基于所述部分目标标签数据进行联邦学习。
上述如本说明书图7所示实施例揭示的基于多标签的联邦学习装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图3的方法，并实现基于多标签的联邦学习装置在图3所示实施例中的功能，本说明书实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图3所示实施例的方法，并具体用于执行以下步骤：
获取包括多个用户的原始标签的标签数据组；
将所述标签数据组发送给可信执行环境，由所述可信执行环境利用预设的弱监督学习算法对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据；
基于所述部分目标标签数据进行联邦学习。
图8是本说明书的一个实施例基于多标签的联邦学习装置80的结构示意图。请参考图8，在一种软件实施方式中，所述基于多标签的联邦学习装置80可包括：获取单元81、发送单元82、接收单元83和联邦学习单元84，其中：
获取单元81，获取包括多个用户的原始标签的标签数据组；
发送单元82，将所述标签数据组发送给可信执行环境，由所述可信执行环境利用预设的弱监督学习算法对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收单元83，接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据；
联邦学习单元84，基于所述部分目标标签数据进行联邦学习。
可选地，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述标签数据组中所述部分用户的原始标签一致。
可选地，所述部分目标标签数据中包括所述多个用户中部分用户的用户标识，所述部分用户的目标标签和所述标签数据组中所述目标用户的原始标签一致。
可选地，所述联邦学习单元84，基于所述部分目标标签数据进行联邦学习，包括：
根据所述部分用户的用户标识，在所述标签数据中查找与所述部分用户对应的原始标签；
获取所述部分用户的个人数据；
基于所述部分用户的原始标签，对所述部分用户的个人数据进行学习训练。
可选地，所述联邦学习单元84，在基于所述部分目标标签数据进行联邦学习后，还获取所述多个用户的模型分，所述模型分基于联邦学习得到的目标模型对所述多个用户进行预测后得到；
若所述多个用户的模型分与所述多个用户的原始标签值的AUC小于设定值，则对所述目标模型进行调整。
本说明书实施例提供的基于多标签的联邦学习装置80还可执行图3的方法，并实现基于多标签的联邦学习装置在图3所示实施例的功能，本说明书实施例在此不再赘述。
图9是本说明书的一个实施例基于多标签的联邦学习系统90的结构示意图。所述系统90包括可信执行环境91和多个机构92，其中：
多个机构92获取多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；将所述多个标签数据组发送给所述可信执行环境91；
所述可信执行环境91利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；将所述目标标签数据组发送给所述多个机构92；
所述多个机构92接收由所述可信执行环境91返回的所述目标标签数据组，任一个机构接收到所述目标标签数据组中的部分目标标签数据；基于接收到的部分目标标签数据进行联邦学习。
多个机构92中可以包括机构1、机构2、……、机构N，N为大于或等于2的整数，可以根据实际的机构个数确定得到。
上述各步骤的具体实现可以参见图2和图3所示实施例中记载的相应内容，这里不再重复说明。
图9所示的可信执行环境91还可执行图2和图4中的方法，并实现可信执行环境在图2和图4所示实施例的功能，本说明书实施例在此不再赘述。图9所示的多个机构92还可执行图3和图4中的方法，并实现机构在图3至图4所示实施例的功能，本说明书实施例在此不再赘述。
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本文件的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本文件的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (19)

1.一种基于多标签的联邦学习方法，应用于可信执行环境，包括：
获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习，其中，针对任一机构，向所述机构发送所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述机构提供的标签数据组中所述部分用户的原始标签一致。
2.如权利要求1所述的方法，对所述多个标签数据组进行学习训练，得到目标标签数据组，包括：
利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到所述目标标签数据组。
3.如权利要求2所述的方法，利用预设的弱监督学习算法对所述多个标签数据组进行学习训练，得到所述目标标签数据组，包括：
根据所述多个标签数据组和初始的目标标签数据组，确定第一特征变量、第二特征变量和第三特征变量，所述第一特征变量表征任一用户在任一个标签数据组中是否存在原始标签，所述第二特征变量表征任一用户的目标标签和所述用户在任一标签数据组中的原始标签是否一致，所述第三特征变量表征任一用户在任两个标签数据组中的原始标签是否一致；
基于所述第一特征变量、所述第二特征变量和所述第三特征变量，得到生成模型和目标函数，所述生成模型用于根据目标参数求解所述目标标签数据组，所述目标函数用于根据所述目标标签数据组求解所述目标参数；
根据所述生成模型和所述目标函数，得到所述目标标签数据组。
4.如权利要求3所述的方法，根据所述生成模型和所述目标函数，得到所述目标标签数据组，包括：
基于所述初始的目标标签数据组，利用随机梯度下降法求解所述目标函数，得到所述目标参数；
基于求解得到的所述目标参数，利用Gibbs采样方法求解所述生成模型，更新所述初始的目标标签数据组；
循环执行以上步骤直至收敛，得到所述目标标签数据组。
5.如权利要求1所述的方法，将所述目标标签数据组发送给所述多个机构，包括：
针对所述多个用户中的任一目标用户，执行以下步骤：
确定所述目标用户在所述目标标签数据组中的目标标签；
确定所述目标用户在所述多个标签数据组中的多个原始标签，一个原始标签对应一个机构；
根据所述目标标签和所述多个原始标签，确定候选机构，所述候选机构对应的所述原始标签与所述目标标签一致；
将所述目标用户的目标标签发送给所述候选机构。
6.如权利要求5所述的方法，将所述目标用户的目标标签发送给所述候选机构，包括：
若所述候选机构的个数M大于1，则从所述候选机构中选择N个目标机构，N大于0且小于M；
将所述目标用户的目标标签发送给所述N个目标机构。
7.如权利要求6所述的方法，将所述目标用户的目标标签发送给所述N个目标机构，包括：
确定所述目标用户的用户标识；
将所述目标用户的用户标识代替所述目标标签发送给所述N个目标机构。
8.如权利要求7所述的方法，将所述目标用户的用户标识代替所述目标标签发送给所述N个目标机构，包括：
将所述目标用户的用户标识进行加密，得到加密后的用户标识；
将所述加密后的用户标识发送给所述N个目标机构。
9.一种基于多标签的联邦学习方法，应用于机构，包括：
获取包括多个用户的原始标签的标签数据组；
将所述标签数据组发送给可信执行环境，由所述可信执行环境对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述标签数据组中所述部分用户的原始标签一致；
基于所述部分目标标签数据进行联邦学习。
10.如权利要求9所述的方法，
所述部分目标标签数据中包括所述多个用户中部分用户的用户标识，所述部分用户的目标标签和所述标签数据组中所述部分用户的原始标签一致。
11.如权利要求10所述的方法，基于所述部分目标标签数据进行联邦学习，包括：
根据所述部分用户的用户标识，在所述标签数据中查找与所述部分用户对应的原始标签；
获取所述部分用户的个人数据；
基于所述部分用户的原始标签，对所述部分用户的个人数据进行学习训练。
12.如权利要求9所述的方法，在基于所述部分目标标签数据进行联邦学习后，所述方法还包括：
获取所述多个用户的模型分，所述模型分基于联邦学习得到的目标模型对所述多个用户进行预测后得到；
若所述多个用户的模型分与所述多个用户的原始标签值的曲线下的面积AUC小于设定值，则对所述目标模型进行调整。
13.一种基于多标签的联邦学习装置，应用于可信执行环境，包括：
获取单元，获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
处理单元，对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
发送单元，将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习，其中，针对任一机构，向所述机构发送所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述机构提供的标签数据组中所述部分用户的原始标签一致。
14.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下步骤：
获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习，其中，针对任一机构，向所述机构发送所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述机构提供的标签数据组中所述部分用户的原始标签一致。
15.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下步骤：
获取由多个机构提供的多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；
对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；
将所述目标标签数据组发送给所述多个机构，由所述多个机构基于所述目标标签数据组进行联邦学习，其中，针对任一机构，向所述机构发送所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述机构提供的标签数据组中所述部分用户的原始标签一致。
16.一种基于多标签的联邦学习装置，应用于机构，包括：
获取单元，获取包括多个用户的原始标签的标签数据组；
发送单元，将所述标签数据组发送给可信执行环境，由所述可信执行环境对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收单元，接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述标签数据组中所述部分用户的原始标签一致；
联邦学习单元，基于所述部分目标标签数据进行联邦学习。
17.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下步骤：
获取包括多个用户的原始标签的标签数据组；
将所述标签数据组发送给可信执行环境，由所述可信执行环境对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述标签数据组中所述部分用户的原始标签一致；
基于所述部分目标标签数据进行联邦学习。
18.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下步骤：
获取包括多个用户的原始标签的标签数据组；
将所述标签数据组发送给可信执行环境，由所述可信执行环境对所述标签数据组以及来自其他机构的其他标签数据组进行学习训练，得到目标标签数据组，所述多个用户中至少存在一个用户在多个机构提供的多个标签数据组中的多个原始标签不一致，所述目标标签数据组中包括所述多个用户的目标标签；
接收由所述可信执行环境返回的所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述标签数据组中所述部分用户的原始标签一致；
基于所述部分目标标签数据进行联邦学习。
19.一种基于多标签的联邦学习系统，包括可信执行环境和多个机构，其中：
多个机构获取多个标签数据组，所述标签数据组中包括多个用户的原始标签，所述多个用户中至少存在一个用户在所述多个标签数据组中的多个原始标签不一致；将所述多个标签数据组发送给所述可信执行环境；
所述可信执行环境对所述多个标签数据组进行学习训练，得到目标标签数据组，所述目标标签数据组中包括所述多个用户的目标标签；将所述目标标签数据组发送给所述多个机构，其中，针对任一机构，向所述机构发送所述目标标签数据组中的部分目标标签数据，所述部分目标标签数据中包括所述多个用户中部分用户的目标标签，所述部分用户的目标标签和所述机构提供的标签数据组中所述部分用户的原始标签一致；
所述多个机构基于接收到的部分目标标签数据进行联邦学习。
CN202010753290.2A 2020-04-01 2020-04-01 一种基于多标签的联邦学习方法、装置和系统 Active CN111723943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010753290.2A CN111723943B (zh) 2020-04-01 2020-04-01 一种基于多标签的联邦学习方法、装置和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010753290.2A CN111723943B (zh) 2020-04-01 2020-04-01 一种基于多标签的联邦学习方法、装置和系统
CN202010251416.6A CN111160572B (zh) 2020-04-01 2020-04-01 一种基于多标签的联邦学习方法、装置和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010251416.6A Division CN111160572B (zh) 2020-04-01 2020-04-01 一种基于多标签的联邦学习方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111723943A CN111723943A (zh) 2020-09-29
CN111723943B true CN111723943B (zh) 2022-04-29

Family

ID=70567754

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010251416.6A Active CN111160572B (zh) 2020-04-01 2020-04-01 一种基于多标签的联邦学习方法、装置和系统
CN202010753290.2A Active CN111723943B (zh) 2020-04-01 2020-04-01 一种基于多标签的联邦学习方法、装置和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010251416.6A Active CN111160572B (zh) 2020-04-01 2020-04-01 一种基于多标签的联邦学习方法、装置和系统

Country Status (1)

Country Link
CN (2) CN111160572B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792883B (zh) * 2021-03-03 2024-04-16 京东科技控股股份有限公司 基于联邦学习的模型训练方法、装置、设备和介质
CN113159152B (zh) * 2021-04-13 2023-04-07 上海嗨普智能信息科技股份有限公司 基于树形结构的多标签预测方法、控制器和介质
CN113011521B (zh) * 2021-04-13 2022-09-30 上海嗨普智能信息科技股份有限公司 基于链式的多标签预测方法、控制器和介质
CN113362048B (zh) * 2021-08-11 2021-11-30 腾讯科技（深圳）有限公司 数据标签分布确定方法、装置、计算机设备和存储介质
CN115907056A (zh) * 2021-09-29 2023-04-04 北京三星通信技术研究有限公司 预测模型训练方法、信息预测方法及相应装置
CN113887741B (zh) * 2021-11-05 2022-09-30 深圳市电子商务安全证书管理有限公司 基于联邦学习的数据生成方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458598A (zh) * 2019-07-04 2019-11-15 阿里巴巴集团控股有限公司 场景适配方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075824B2 (en) * 2012-04-27 2015-07-07 Xerox Corporation Retrieval system and method leveraging category-level labels
US20190108440A1 (en) * 2017-10-09 2019-04-11 Yodlee, Inc. Information Enrichment Using Global Structure Learning
US10643320B2 (en) * 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
CN110443378B (zh) * 2019-08-02 2023-11-03 深圳前海微众银行股份有限公司 联邦学习中特征相关性分析方法、装置及可读存储介质
CN110929880A (zh) * 2019-11-12 2020-03-27 深圳前海微众银行股份有限公司 一种联邦学习方法、装置及计算机可读存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458598A (zh) * 2019-07-04 2019-11-15 阿里巴巴集团控股有限公司 场景适配方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint Feature Selection and Classification for Multilable Learning;Jun Huang 等;《IEEE TRANSACTIONS ON CYBERNETICS》;20180331;第48卷(第3期);全文 *
多标记分类和标记相关性的联合学习;何志芬 等;《软件学报》;20140930;全文 *

Also Published As

Publication number Publication date
CN111160572B (zh) 2020-07-17
CN111723943A (zh) 2020-09-29
CN111160572A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111723943B (zh) 一种基于多标签的联邦学习方法、装置和系统
US10796022B2 (en) Weighted source data secured on blockchains
ES2808954T3 (es) Procedimiento y dispositivo para su uso en la gestión de riesgos de información de aplicación
CN109558748B (zh) 数据处理方法、装置、电子设备及存储介质
CN110457912B (zh) 数据处理方法、装置和电子设备
US20190258927A1 (en) Data exchange method, data exchange device and computing device
CN111008709A (zh) 联邦学习、资料风险评估方法、装置和系统
CN110035105B (zh) 基于区块链的录屏取证方法、系统和电子设备
CN111415158B (zh) 一种基于区块链的风控方法和系统
CN110224808B (zh) 基于区块链的银行数据共享方法、装置、计算机设备和存储介质
CN112132676B (zh) 联合训练目标模型的贡献度的确定方法、装置和终端设备
Beg et al. A privacy-preserving protocol for continuous and dynamic data collection in IoT enabled mobile app recommendation system (MARS)
CN110032846A (zh) 身份数据的防误用方法及装置、电子设备
CN111461730B (zh) 一种风控方法、装置、系统和电子设备
CN112182509A (zh) 一种合规数据的异常检测方法、装置及设备
CN116028964B (zh) 一种信息安全风险管理系统
CN111461191A (zh) 为模型训练确定图像样本集的方法、装置和电子设备
CN112100604A (zh) 终端设备信息处理方法、装置
CN111461728B (zh) 一种风险识别方法、装置和系统
US20230418794A1 (en) Data processing method, and non-transitory medium and electronic device
CN111431918B (zh) 一种基于区块链确定目标用户状态标签的方法和系统
CN114638998A (zh) 模型更新方法、装置、系统及设备
Kaur et al. Digital forensics: implementation and analysis for google android framework
CN116016610B (zh) 基于区块链的车联网数据安全共享方法、装置及设备
CN117314649A (zh) 信息处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant