CN112396189B - 一种多方构建联邦学习模型的方法及装置 - Google Patents

Abstract

本发明公开了一种多方构建联邦学习模型的方法及装置，包括：参与方针对自身存储的任一重叠用户的用户样本，将用户样本的各特征值输入特征提取模型，得到用户样本的第一向量，第一向量是各特征值经特征提取模型的中间层处理后的各输出值，再针对自身存储的任一重叠用户的用户样本，通过重叠用户在标签提供方的标签值，确定用户样本的各关键特征及各关键特征的第二向量，最后根据各重叠用户的样本向量进行联邦子模型训练，得到联邦子模型，其中，样本向量包括第一向量和第二向量，联邦子模型用于汇总为联邦学习模型，根据样本向量，对高维稀疏特征进行信息压缩，提升了构建联邦学习模型的效率和效果，且增加了可解释性。

Description

一种多方构建联邦学习模型的方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种多方构建联邦学习模型的方法及装置。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的方法，使得联邦参与方在不用给出己方数据的情况下，进行联合建模，解决数据建模时的数据不全与数据隐私保护难题。

现有技术中，联邦学习一般分为三种方法，分别为：横向联邦学习、纵向联邦学习和迁移联邦学习，以针对用户的多个特征数据进行数据建模，但在金融机构中，用户的特征数据一般维度较高，特征数据稀疏且不平衡，即存在重叠用户的维度高、数据少的情况，导致纵向联邦学习中数据建模效率低，建模后的联邦学习模型准确度小。在横向联邦学习中，需共享特征样本，但行业之间大多存在竞争关系，不宜共享特征样本，因此横向联邦学习不适配同行业之间的场景。在迁移联邦学习中，一般用于以深度神经网络为基模型的场景，因此针对金融业务的可解释性和强业务规则不适配。

综上，现需一种联邦学习的方法，以将维度较高，特征数据稀疏且不平衡的用户的特征数据进行降维，提升构建联邦学习模型的效率，增加联邦学习模型的准确度，并增加联邦学习模型的可解释性。

发明内容

本发明实施例提供一种多方构建联邦学习模型的方法及装置，用于将维度高，稀疏且不平衡的特征数据进行降维，提升构建联邦学习模型的效率，并增加联邦学习模型的可解释性。

第一方面，本发明实施例提供一种多方构建联邦学习模型的方法，包括：

参与方针对自身存储的任一重叠用户的用户样本，将所述用户样本的各特征值输入特征提取模型，得到所述用户样本的第一向量，所述第一向量是各特征值经所述特征提取模型的中间层处理后的各输出值；所述重叠用户是从多个参与方的用户样本中确定出的所述多个参与方均具有的用户；

所述参与方针对自身存储的任一重叠用户的用户样本，通过所述重叠用户在标签提供方的标签值，确定所述用户样本的各关键特征及各关键特征的第二向量；

所述参与方根据各重叠用户的样本向量进行联邦子模型训练，得到联邦子模型；所述样本向量包括所述第一向量和所述第二向量；所述联邦子模型用于所述标签提供方得到汇总后的联邦学习模型。

上述技术方案中，构建联邦学习模型的参与方在进行纵向联邦学习的基础上，针对与多个参与方确定出的重叠用户的用户样本，进行特征提取，以得到每个用户表示特征的第一向量，降低了用户维度高且稀疏的特征的维度，提升了构建联邦学习模型的效率，再通过标签提供方根据重叠用户的标签值确定的用户样本的各关键特征及各关键特征的第二向量，以增加构建联邦学习模型的可解释性，最后根据第一向量和第二向量构建联邦学习模型。

可选的，将所述用户样本的各特征值输入特征提取模型之前，还包括：

针对用户样本中的任一第一特征，确定所述第一特征的多个维度特征；

将各初始特征的任一维度特征进行交叉组合，得到组合维度特征；

将各组合维度特征进行拼接，得到用户样本的各特征。

上述技术方案中，参与方通过将任一第一特征进行特征构建，确定出第一特征的多个维度特征，然后根据各初始特征的任一维度特征进行交叉组合，得到组合维度特征，最后将各组合维度特征进行拼接，得到用户样本的特征，以增加用户特征的维度，提高了用户特征的全面性和丰富性，其中，初始特征是特征构建之前的第一特征。

可选的，通过标签提供方在所述重叠用户的标签值，确定所述用户样本的各关键特征及各关键特征的第二向量，包括：

所述参与方针对用户样本中的任一第二特征，根据所述第二特征的特征值进行分箱，并统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果；

所述参与方根据各第二特征的预测能力，确定各关键特征及各关键特征的第二向量；其中，各第二特征的预测能力是所述标签提供方根据各第二特征的分箱结果确定的；任一关键特征的第二向量是根据该关键特征的分箱的预测能力确定的。

上述技术方案中，参与方根据任一第二特征的预测能力，确定出关键特征，其中第二特征的预测能力是根据标签值确定的，即关键特征是根据标签值确定的，通过确定的关键特征增加构建联邦学习模型的可解释性。

可选的，所述参与方为协助参与方；

统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果之前，还包括：

所述参与方从所述标签提供方获取各重叠用户的加密标签值；

统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果，包括：

统计各分箱中同一加密标签值的数量，得到所述第二特征的分箱结果；

确定各关键特征及各关键特征的第二向量之前，还包括：

所述参与方将各第二特征的分箱结果发送至所述标签提供方；

所述参与方接收所述标签提供方发送的各第二特征的预测能力。

上述技术方案中，标签提供方的标签值将加密之后发送至参与方，以使参与方确定出第二特征的分箱结果，并根据参与方确定出的第二特征的分箱结果得到参与方的第二特征的预测能力，以使参与方确定出关键特征，增加了关键特征增加构建联邦学习模型的可解释性的基础上，通过不公开标签提供方的标签值，增加了标签提供方的特征的安全性。

可选的，所述参与方为标签提供方；

各第二特征的影响力是所述标签提供方根据各第二特征的分箱结果确定的，包括：

针对同一第二特征，所述参与方根据所述第二特征的分箱结果确定每个分箱的预测能力；根据所述第二特征的各分箱的预测能力，确定所述第二特征的预测能力。

可选的，所述特征提取模型是通过如下方式获得的，包括：

根据参与方的用户样本的特点，确定训练目标；

将用户样本的各特征值输入初始模型进行训练，在满足所述训练目标时，得到所述特征提取模型。

上述技术方案中，参与方根据本地的用户样本作为特征提取模型的训练样本，并不局限于重叠用户，增加了特征提取模型的准确性，解决了因多各参与方自身的用户不平衡，未使用除重叠用户之外用户的特征，增加了参与方使用的用户特征，增加了联邦学习模型的准确度。

可选的，所述特征提取模型为神经网络模型；所述中间层为所述神经网络模型的隐藏层中的任一层。

可选的，第一特征为用户样本中的用于表征用户行为的特征；

第二特征为用户样本中的用于表征用户属性的特征。

第二方面，本发明实施例提供一种多方构建联邦学习模型的装置，包括：

提取模块，用于针对自身存储的任一重叠用户的用户样本，将所述用户样本的各特征值输入特征提取模型，得到所述用户样本的第一向量，所述第一向量是各特征值经所述特征提取模型的中间层处理后的各输出值；所述重叠用户是从多个参与方的用户样本中确定出的所述多个参与方均具有的用户；

处理模块，用于针对自身存储的任一重叠用户的用户样本，通过所述重叠用户在标签提供方的标签值，确定所述用户样本的各关键特征及各关键特征的第二向量；

学习模块，用于根据各重叠用户的样本向量进行联邦子模型训练，得到联邦子模型；所述样本向量包括所述第一向量和所述第二向量；所述联邦子模型用于所述标签提供方得到汇总后的联邦学习模型。

可选的，所述提取模块还用于：

将所述用户样本的各特征值输入特征提取模型之前，针对用户样本中的任一第一特征，确定所述第一特征的多个维度特征；

将各初始特征的任一维度特征进行交叉组合，得到组合维度特征；

将各组合维度特征进行拼接，得到用户样本的各特征。

可选的，所述处理模块具体用于：

针对用户样本中的任一第二特征，根据所述第二特征的特征值进行分箱，并统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果；

根据各第二特征的预测能力，确定各关键特征及各关键特征的第二向量；其中，各第二特征的预测能力是所述标签提供方根据各第二特征的分箱结果确定的；任一关键特征的第二向量是根据该关键特征的分箱的预测能力确定的。

可选的，所述参与方为协助参与方；

所述处理模块还用于：

统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果之前，从所述标签提供方获取各重叠用户的加密标签值；

统计各分箱中同一加密标签值的数量，得到所述第二特征的分箱结果；

将各第二特征的分箱结果发送至所述标签提供方；

接收所述标签提供方发送的各第二特征的预测能力。

可选的，所述参与方为标签提供方；

所述处理模块具体用于：

针对同一第二特征，根据所述第二特征的分箱结果确定每个分箱的预测能力；根据所述第二特征的各分箱的预测能力，确定所述第二特征的预测能力。

可选的，所述提取模块具体用于：

根据参与方的用户样本的特点，确定训练目标；

将用户样本的各特征值输入初始模型进行训练，在满足所述训练目标时，得到所述特征提取模型。

可选的，所述特征提取模型为神经网络模型；所述中间层为所述神经网络模型的隐藏层中的任一层。

可选的，第一特征为用户样本中的用于表征用户行为的特征；

第二特征为用户样本中的用于表征用户属性的特征。

第三方面，本发明实施例还提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述多方构建联邦学习模型的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述多方构建联邦学习模型的方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构示意图；

图2为本发明实施例提供的一种多方构建联邦学习模型的方法的流程示意图；

图3为本发明实施例提供的一种特征提取模型的示意图；

图4为本发明实施例提供的一种构建联邦学习模型的示意图；

图5为本发明实施例提供的一种多方构建联邦学习模型的装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

联邦学习是为了在保护数据隐私的情况下利用多个参与方的数据建立的机器学习模型。

目前，联邦学习包括横向联邦学习、纵向联邦学习和迁移联邦学习。其中，横向联邦学习的本质是用户样本的联合，适用于参与者间特征相同但触达用户不同，即特征重叠多，用户重叠少的场景，例如不同地区的两个银行，两个银行之间的特征相似，但用户样本不同，但在金融行业中，同行业之间大多存在竞争关系，因此不需共享特征样本，与横向联邦学习的场景不适配，所以一般的建模场景为不同行业之间的场景。

纵向联邦学习的本质是特征的联合，适用于用户样本重叠多，特征重叠少的场景，例如同一地区的商场和银行，他们触达的用户都为该地区的居民(即用户样本相同)，但业务不同(即特征不同)。纵向联邦学习是通过样本对齐技术找到所有参与方的重叠用户，并利用这些重叠用户对模型进行训练，以此建立联邦学习模型。但是，在建模过程中，重叠用户中每个用户的数据可能存在维度高，数据稀少的情况，导致纵向联邦学习中数据建模效率低，建模后的联邦学习模型准确度小。

迁移联邦学习用于参与者间特征和用户样本重叠均较少时使用的联邦迁移学习，如不同地区的银行和电商平台间的联合，适用于以深度神经网络为基模型的场景，但迁移联邦学习并未针对金融业务的可解释性和强业务规则进行适配，即在金融业务场景中，迁移联邦学习缺少可解释性。

因此，现提供一种联邦学习的方法，通过降低用户的特征的维度，避免因用户间特征维度高，数据稀少的情况，导致的纵向联邦学习中数据建模效率低，建模后的联邦学习模型准确度小。

图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构包括服务器100，该服务器100可以包括处理器110、通信接口120和存储器130。

其中，通信接口120用于与其他参与方传输数据。

处理器110是服务器100的控制中心，利用各种接口和路线连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。

存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图2示例性的示出了本发明实施例提供的一种多方构建联邦学习模型的方法的流程，该流程可由多方构建联邦学习模型的装置执行。

如图2所示，该流程具体包括：

步骤210，参与方针对自身存储的任一重叠用户的用户样本，将所述用户样本的各特征值输入特征提取模型，得到所述用户样本的第一向量。

本发明实施例中，重叠用户是从多个参与方的用户样本中确定出的多个参与方均具有的用户。本发明实施例是在纵向联邦的基础上进行构建联邦学习模型，因在纵向联邦学习中，需要确定出各参与方的共同拥有的用户样本，以此确定出重叠用户的用户样本，例如，参与方可以根据其他参与方的发送的加密后的用户ID，以此确定出重叠用户的用户样本。

参与方在得到重叠用户的用户样本之后，对用户样本中的特征进行特征编码，再针对用户样本中的任一第一特征，确定第一特征的多个维度特征，再将各初始特征的任一维度特征进行交叉组合，得到组合维度特征，然后将各组合维度特征进行拼接，得到用户样本的各特征。

本发明实施例中，通过特征编码可以将用户样本中离散特征的属性值转化为向量值，例如，用户样本中的“性别”、“地区”、“职业”、“商品信息”、店铺信息等特征，根据one-hot编码方式转化出对应的向量值，其中one-hot编码一般是将特征映射到整数值进行表示，如性别男映射为整数值1，性别女映射为整数值0。而对于“年龄”、“交易金额”、“注册时长”等拥有数值的特征，可以将特征进行分箱后，再进行one-hot编码，例如，将“交易金额”分箱为“1万元以下”、“1万至10万元”和“10万元以上”，可以将分箱后的特征“1万元以下”映射为整数值01，“1万至10万元”映射为整数值10，“10万元以上”映射为整数值11。

在对重叠用户的用户样本中的特征进行特征编码之后，对用户样本中的任一第一特征，确定出第一特征的多个维度特征，例如，将第一特征中的“年龄”分箱为“30岁以下”、“30岁至60岁”和“60岁以上”，将第一特征中的“店铺类型”分箱为“数码电子”和“珠宝首饰”。在得到多个维度特征之后，将各初始特征的任一维度特征进行交叉组合，得到组合维度特征，其中初始特征为分箱多个维度特征之前的第一特征，交叉组合的方法通过各维度特征之间相乘或笛卡尔积的方法，例如，初始特征为“年龄”和“店铺类型”，通过笛卡尔积的方法得到组合维度特征为“30岁以下，数码电子”、“30岁以下，珠宝首饰”、“30岁至60岁，数码电子”、“30岁至60岁，珠宝首饰”、“60岁以上，数码电子”和“60岁以上，珠宝首饰”。然后再将各组合维度特征进行拼接，得到用户样本的各特征，例如，用户样本中特征“年龄，店铺类型”变为了“30岁以下，数码电子，30岁以下，珠宝首饰，30岁至60岁，数码电子，30岁至60岁，珠宝首饰，60岁以上，数码电子，60岁以上，珠宝首饰”。根据用户的数据得到各用户的特征值，例如某用户的年龄在30岁以下，存在购买数码电子的数据，则该用户的特征值为[1，1，0，0，0，0，0，0，0，0，0，0]。将输入特征提取模型，得到该用户的第一向量。

需要说明的是，对用户样本中的任一第一特征，确定出第一特征的多个维度特征之后，可以直接针对多个维度特征进行交叉组合，得到组合维度特征，可以不对各初始特征的任一维度特征进行交叉组合，得到组合维度特征。

在本发明实施例中，第一向量是各特征值经特征提取模型的中间层处理后的各输出值，特征提取模型是通过如下方式获得的：

根据参与方的用户样本的特点，确定训练目标，再将用户样本的各特征值输入初始模型进行训练，在满足训练目标时，得到特征提取模型。

在本发明实施例中，参与方可以根据自身业务的特征和/或标签提供方的业务特点，预设特征提取模型的训练目标，如将珠宝首饰的消费概率作为训练目标，然后将自身用户的用户样本作为训练样本，将用户样本的各特征值输入初始模型进行训练，通过预设算法，在满足训练目标时，得到特征提取模型，其中，预设算法可以是深度神经网络算法(包括损失函数公式和梯度公式)或决策树等算法，也可以使用多种不同算法进行组合，如深度神经网络算法结合决策树算法，作为预设算法，在此不做限定，例如，参与方A以用户在参与方B的消费概率作为预训练目标，参与方A将自身用户的特征作为训练样本，通过深度神经网络算法训练得到特征提取模型。

需要说明的是，用于作为训练样本的用户样本可以是参与方任意用户的(如参与方A将自身所存储的所有用户的特征作为训练样本)，并非局限于重叠用户，以增加特征提取模型的准确性，解决因多各参与方自身的用户数量的不平衡(如参与方A存在1万个用户，而参与方B存在10万个用户)，未使用除重叠用户之外用户的特征，增加了参与方使用的用户特征，增加了联邦学习模型的准确度。

进一步地，特征提取模型为神经网络模型，中间层为神经网络模型的隐藏层中的任一层，例如，中间层可以为神经网络模型中的完全连接层。

需要说明的是，分箱为多个维度特征的第一特征可以是用户样本中的任意的特征，第一特征功能可以是参与方根据经验预设的特征，一般为用于表征用户行为的特征，如浏览商品类型等行为，上述实施例中仅说明了两种第一特征，也可以再增加第一特征，在此不限定第一特征的数量。

为了更好的解释上述技术方案，下面将在具体实例中阐述得到用户样本的第一向量的流程。

实例1

参与方A为银行机构，包括多个特征，如“性别”、“地区”、“职业”、“购买商品信息”、“年龄”、“信用卡数量”、“月均消费”、“每月存入银行金额”等，然后将其中的离散特征进行特征编码，得到特征对应的向量值(如1或0)，例如，使用one-hot编码将“性别男”编码后得到向量值为“1”，对于年龄、交易金额、注册时长等拥有数值的特征，可以使用原始数值。

然后将用户用本中预设的第一特征进行分箱，确定出第一特征的多个维度特征，例如，将第一特征“年龄”分为5个维度特征(如“18岁以下”、“18岁-25岁”、“26岁-35岁”、“36岁-45岁”和“45岁以上”)，将第一特征“商户类型”分为50个维度特征(如“数码家电”、“大型超市”、“便利店”、……、“孕婴商店”等)。

然后根据特征“年龄”和“商户类型”对应的维度特征使用求笛卡尔积的方法，得到组合维度特征，共得到250个组合维度特征(如“18岁以下，数码家电”、“18岁以下，孕婴商店”等)，再将250个组合维度特征进行拼接，得到一个表示250的特征值个组合维度特征，例如，用户崔某的数据为18岁-25岁，且在数码家电和大型超市存在购买记录，则用户崔某的特征值为：[0，1，0，1，0，1……0]。然后将用户的其他第一特征(如性别，地址等)以及根据交叉组合得到的特征结合作为用户的特征。

在得到崔某的特征之后，将崔某的特征对应的特征值输入至特征提取模型，然后确定出特征提取模型的完全连接层的输出值，将输出值作为崔某的第一向量。

例如，图3示例性的示出了一种特征提取模型的示意图，如图3所示，特征提取模型为激活函数为relu的深度神经网络模型，崔某的初始特征值为特征提取模型的输入值，如初始特征值包括基础特征的值(如“性别”、“地区”、“年龄”和“职业”等)、行为特征(如“线下消费行为”、“线上理财行为”等)、网络特征(如“资金往来”、“用户设备的关联”和“好友关联”等)和交叉特征(如“年龄与职业”、“年龄与商户类型”、“消费时间”与“消费地点”等)。特征提取模型包括两个完全连接层，预设正向传播的最后一个完全连接层的输出值为该用户的第一向量，如预设正向传播的最后一个全连接层的神经元数量为3个，则崔某的第一向量为(X_a1，X_a2，X_a3)。

本发明实施例中，参与方通过将任一第一特征确定出第一特征的多个维度特征，然后进行交叉组合和拼接，得到用户样本的特征，以增加用户特征的维度，提高了用户特征的全面性和丰富性，再通过特征提取模型进行特征提取，以降低用户维度高且稀疏的特征的维度，提升构建联邦学习模型的效率。

步骤220，所述参与方针对自身存储的任一重叠用户的用户样本，通过所述重叠用户在标签提供方的标签值，确定所述用户样本的各关键特征及各关键特征的第二向量。

本发明实施例中，参与方针对用户样本中的任一第二特征，根据第二特征的特征值进行分箱，并统计各分箱中同一标签值的数量，得到第二特征的分箱结果，再根据各第二特征的预测能力，确定各关键特征及各关键特征的第二向量，其中，各第二特征的预测能力是标签提供方根据各第二特征的分箱结果确定的，任一关键特征的第二向量是根据该关键特征的分箱的预测能力确定的。

进一步地，第二特征为用户样本中的用于表征用户属性的特征，如特征“性别”“职业”等。

在本发明实施例中，若参与方为协助参与方，即不具备标签值的一方，则在统计各分箱中同一标签值的数量，得到第二特征的分箱结果之前，参与方从标签提供方(即拥有标签值的一方)获取各重叠用户的加密标签值，统计各分箱中同一加密标签值的数量，得到第二特征的分箱结果，确定各关键特征及各关键特征的第二向量之前，参与方将各第二特征的分箱结果发送至标签提供方，然后接收标签提供方发送的各第二特征的预测能力。

具体的，标签提供方的加密方式可以为同态加密。协助参与方在接收到标签提供方发送的用户样本对应的标签值之后，统计出第二特征中各分箱的标签值的数量，例如，第二特征为“购买金额”，第二特征分箱为“小于500元”和“大于等于500元”，其中，用户1、用户2、用户4的特征对应“小于500元”，标签提供方发送的用户样本对应的标签值为用户1为y2，用户2为y1，用户4为y1，则协助参与方统计出“小于500元”分箱的y1数量为2个，y2数量为1个，进而得到第二特征的分箱结果，然后将分箱结果发送至标签提供方，标签提供方可以根据已知的标签值和分箱结果(即各分箱的对应标签值数量)确定出协助参与各分箱的预测能力，其中，预测能力为第二特征的woe(Weight of Evidence，证据权重)和iv(Information Value，价值信息)。可以根据下述公式(1)确定出各分箱中的证据权重。

其中，WOE_i为第i箱的证据权重，D_i为第i箱的y1的数量，G_i为第i箱的y2的数量，D_t为各分箱对应特征的y1的总数量，G_t为各分箱对应特征的y2的总数量。

根据下述公式(2)确定出各分箱中的价值信息。

IV_i＝(D_i/G_i-D_t/G_t)*WOE_i………………………………(2)；

其中，IV_i为第i箱的价值信息。

然后标签提供方将得到的第二特征的各分箱中的价值信息和证据权重发送至协助参与方，协助参与方可以根据第二特征的各分箱的价值信息确定第二特征的价值信息，如将第二特征的各分箱的价值信息求和，得到第二特征的价值信息。需要说明的是，第二特征的价值信息也可以由标签提供方进行计算，然后发送至协助参与方。

在本发明实施例中，若参与方为标签提供方，即存在标签值的一方，则针对同一第二特征，参与方根据第二特征的分箱结果确定每个分箱的预测能力，根据第二特征的各分箱的预测能力，确定第二特征的预测能力。

在得到第二特征的各分箱的预测能力以及第二特征的预测能力之后，确定出各关键特征及各关键特征的第二向量。

具体的，可以将第二特征中预测能力大于阈值的特征确定为关键特征，例如，第二特征中包括特征“性别”和“职业”，其中，“性别”的预测能力大于阈值，则“性别”为关键特征。然后可以再根据关键特征各分箱的价值信息确定出用户样本的关键特征的第二向量。

具体的，可以根据各分箱的价值信息作为用户样本的关键特征的第二向量，也可以根据各分箱的价值信息设置对应的预设值，或将各分箱的价值信息乘以预设权重等方法，在此不再做限定。例如崔某为性别女，“性别女”的价值信息为0.3，“性别女”预设的权重为3，则崔某的关键特征的第二向量为0.9。

为了更好的解释上述技术方案，下面将结合上述实例在具体的实例中阐述确定第二向量的流程。

实例2

协助参与方A将第二特征中的各个特征进行分箱计算，得到多个分箱，例如，将“年龄”分为5箱(如Age1、Age2、Age3、Age4和Age5)，“性别”分为两箱(男和女)。

协助参与方A接收目标参与反B使用加法同态加密得到的用户ID以及该用户对应的标签值(如标签值共分为两种，y1和y2，y1和y2不标示具体值，用于指示用户ID对应的是y1或y2)，协助参与方A统计出各分箱中y1和y2的数量，然后发送至目标参与反B。

目标参与反B根据第二特征的各分箱中y1和y2的数量，确定出各分箱的证据权重和价值信息，确定出第二特征的价值信息，并发送至协助参与方A。

协助参与方A根据第二特征的价值信息确定“性别”为关键特征，又根据关键特征的各分箱的证据权重和价值信息确定出各用户样本的第二特征的第二向量(X_b1)。

本发明实施例中，参与方根据第二特征的预测能力，确定出关键特征，其中第二特征的预测能力是根据标签值确定的，即关键特征是根据标签值确定的，通过确定的关键特征增加构建联邦学习模型的可解释性。

步骤230，所述参与方根据各重叠用户的样本向量进行联邦子模型训练，得到联邦子模型。

本发明实施例中，样本向量包括第一向量和第二向量，联邦子模型用于标签提供方得到汇总后的联邦学习模型。

具体的，图4示例性的示出了一种构建联邦学习模型的示意图，如图4所示，协助参与方A和标签提供方B各自确定出第一向量，协助参与方A根据标签提供方B的标签值确定出关键特征，进行确定出第二向量，让后根据各自的第一向量和第二向量，进行向量融合，得到样本向量，例如，第一向量为(X_a1，X_a2，X_a3)，第二向量为(X_b1)，则样本向量可以是(X_a1，X_a2，X_a3，X_b1)。

然后标签提供方B根据自身的样本向量和标签值确定出联邦子模型(联邦子模型包括模型参数，如梯度值、步长何损失值等)，然后将确定出的模型参数进行加密后发送至协助参与方A。

协助参与方A和标签提供方B之间以加密形式交互用于计算梯度的模型参数，直至损失函数收敛，完成联邦学习，得到联邦学习模型。

本发明实施例中，在参与方的用户的特征不出本地的前提下，基于第一向量和第二向量确定出样本向量，以得到用于联邦学习的模型输入特征，降低了用户维度高且稀疏的特征的维度，提升了构建联邦学习模型的效率，并增加了构建联邦学习模型的可解释性。

需要说明的是，在进行联邦训练时，可以根据第三方进行协助训练，也可以直接根据协助参与方A和标签提供方B进行训练。协助参与方A和标签提供方B的数量不做限定，协助参与方A和标签提供方B的样本向量还可以根据第一向量和第二向量选择性的确定，例如，协助参与方A的样本向量存在第一向量和第二向量，协助参与方C的样本向量只存在第一向量，标签提供方B的样本向量存在第二向量。确定出的联邦学习模型也可以选择性的使用，例如联邦学习模型可以为协助参与方A、协助参与方C和标签提供方B共同使用的联邦学习模型。

基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种多方构建联邦学习模型的装置的结构，该装置可以执行多方构建联邦学习模型的方法的流程。

如图5所示，该装置具体包括：

提取模块510，用于针对自身存储的任一重叠用户的用户样本，将所述用户样本的各特征值输入特征提取模型，得到所述用户样本的第一向量，所述第一向量是各特征值经所述特征提取模型的中间层处理后的各输出值；所述重叠用户是从多个参与方的用户样本中确定出的所述多个参与方均具有的用户；

处理模块520，用于针对自身存储的任一重叠用户的用户样本，通过所述重叠用户在标签提供方的标签值，确定所述用户样本的各关键特征及各关键特征的第二向量；

学习模块530，用于根据各重叠用户的样本向量进行联邦子模型训练，得到联邦子模型；所述样本向量包括所述第一向量和所述第二向量；所述联邦子模型用于所述标签提供方得到汇总后的联邦学习模型。

可选的，所述提取模块510还用于：

将所述用户样本的各特征值输入特征提取模型之前，针对用户样本中的任一第一特征，确定所述第一特征的多个维度特征；

将各初始特征的任一维度特征进行交叉组合，得到组合维度特征；

将各组合维度特征进行拼接，得到用户样本的各特征。

可选的，所述处理模块520具体用于：

针对用户样本中的任一第二特征，根据所述第二特征的特征值进行分箱，并统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果；

根据各第二特征的预测能力，确定各关键特征及各关键特征的第二向量；其中，各第二特征的预测能力是所述标签提供方根据各第二特征的分箱结果确定的；任一关键特征的第二向量是根据该关键特征的分箱的预测能力确定的。

可选的，所述参与方为协助参与方；

所述处理模块520还用于：

统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果之前，从所述标签提供方获取各重叠用户的加密标签值；

统计各分箱中同一加密标签值的数量，得到所述第二特征的分箱结果；

将各第二特征的分箱结果发送至所述标签提供方；

接收所述标签提供方发送的各第二特征的预测能力。

可选的，所述参与方为标签提供方；

所述处理模块520具体用于：

针对同一第二特征，根据所述第二特征的分箱结果确定每个分箱的预测能力；根据所述第二特征的各分箱的预测能力，确定所述第二特征的预测能力。

可选的，所述提取模块510具体用于：

根据参与方的用户样本的特点，确定训练目标；

将用户样本的各特征值输入初始模型进行训练，在满足所述训练目标时，得到所述特征提取模型。

可选的，所述特征提取模型为神经网络模型；所述中间层为所述神经网络模型的隐藏层中的任一层。

可选的，第一特征为用户样本中的用于表征用户行为的特征；

第二特征为用户样本中的用于表征用户属性的特征。

基于相同的技术构思，本发明实施例还提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述多方构建联邦学习模型的方法。

基于相同的技术构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述多方构建联邦学习模型的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种多方构建联邦学习模型的方法，其特征在于，包括：

参与方针对自身存储的任一重叠用户的用户样本，根据所述用户样本中的任一第一特征，确定所述第一特征的多个维度特征；将各初始特征的任一维度特征进行交叉组合，得到组合维度特征；将各组合维度特征进行拼接，得到所述用户样本的各特征；初始特征是特征构建之前的第一特征；

将所述用户样本的各特征值输入特征提取模型，得到所述用户样本的第一向量，所述第一向量是各特征值经所述特征提取模型的中间层处理后的各输出值；所述重叠用户是从多个参与方的用户样本中确定出的所述多个参与方均具有的用户；

所述参与方针对自身存储的任一重叠用户的用户样本，通过所述重叠用户在标签提供方的标签值，确定所述用户样本的各关键特征及各关键特征的第二向量；

所述参与方根据各重叠用户的样本向量进行联邦子模型训练，得到联邦子模型；所述样本向量包括所述第一向量和所述第二向量；所述联邦子模型用于所述标签提供方得到汇总后的联邦学习模型；

所述通过标签提供方在所述重叠用户的标签值，确定所述用户样本的各关键特征及各关键特征的第二向量，包括：

所述参与方针对用户样本中的任一第二特征，根据所述第二特征的特征值进行分箱，并统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果；

所述参与方根据各第二特征的预测能力，确定各关键特征及各关键特征的第二向量；其中，各第二特征的预测能力是所述标签提供方根据各第二特征的分箱结果确定的；任一关键特征的第二向量是根据该关键特征的分箱的预测能力确定的，所述关键特征为所述第二特征中预测能力大于阈值的特征。

2.如权利要求1所述的方法，其特征在于，所述参与方为协助参与方；

统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果之前，还包括：

所述参与方从所述标签提供方获取各重叠用户的加密标签值；

统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果，包括：

统计各分箱中同一加密标签值的数量，得到所述第二特征的分箱结果；

确定各关键特征及各关键特征的第二向量之前，还包括：

所述参与方将各第二特征的分箱结果发送至所述标签提供方；

所述参与方接收所述标签提供方发送的各第二特征的预测能力。

3.如权利要求1所述的方法，其特征在于，所述参与方为标签提供方；

各第二特征的影响力是所述标签提供方根据各第二特征的分箱结果确定的，包括：

针对同一第二特征，所述参与方根据所述第二特征的分箱结果确定每个分箱的预测能力；根据所述第二特征的各分箱的预测能力，确定所述第二特征的预测能力。

4.如权利要求1至3任一项所述的方法，其特征在于，所述特征提取模型是通过如下方式获得的，包括：

根据参与方的用户样本的特点，确定训练目标；

将用户样本的各特征值输入初始模型进行训练，在满足所述训练目标时，得到所述特征提取模型。

5.如权利要求4所述的方法，其特征在于，所述特征提取模型为神经网络模型；所述中间层为所述神经网络模型的隐藏层中的任一层。

6.如权利要求4所述的方法，其特征在于，第一特征为用户样本中的用于表征用户行为的特征；

第二特征为用户样本中的用于表征用户属性的特征。

7.一种多方构建联邦学习模型的装置，其特征在于，包括：

提取模块，用于针对自身存储的任一重叠用户的用户样本，根据所述用户样本中的任一第一特征，确定所述第一特征的多个维度特征；将各初始特征的任一维度特征进行交叉组合，得到组合维度特征；将各组合维度特征进行拼接，得到所述用户样本的各特征；初始特征是特征构建之前的第一特征；将所述用户样本的各特征值输入特征提取模型，得到所述用户样本的第一向量，所述第一向量是各特征值经所述特征提取模型的中间层处理后的各输出值；所述重叠用户是从多个参与方的用户样本中确定出的所述多个参与方均具有的用户；

处理模块，用于针对自身存储的任一重叠用户的用户样本，通过所述重叠用户在标签提供方的标签值，确定所述用户样本的各关键特征及各关键特征的第二向量；

学习模块，用于根据各重叠用户的样本向量进行联邦子模型训练，得到联邦子模型；所述样本向量包括所述第一向量和所述第二向量；所述联邦子模型用于所述标签提供方得到汇总后的联邦学习模型；

所述处理模块具体用于：

针对用户样本中的任一第二特征，根据所述第二特征的特征值进行分箱，并统计各分箱中同一标签值的数量，得到所述第二特征的分箱结果；

根据各第二特征的预测能力，确定各关键特征及各关键特征的第二向量；其中，各第二特征的预测能力是所述标签提供方根据各第二特征的分箱结果确定的；任一关键特征的第二向量是根据该关键特征的分箱的预测能力确定的，所述关键特征为所述第二特征中预测能力大于阈值的特征。

8.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至6任一项所述的方法。