CN115544576A - 保护数据隐私的两方联合训练预测模型的方法及装置 - Google Patents

保护数据隐私的两方联合训练预测模型的方法及装置 Download PDF

Info

Publication number
CN115544576A
CN115544576A CN202211346052.5A CN202211346052A CN115544576A CN 115544576 A CN115544576 A CN 115544576A CN 202211346052 A CN202211346052 A CN 202211346052A CN 115544576 A CN115544576 A CN 115544576A
Authority
CN
China
Prior art keywords
disorder
party
order
gradient
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211346052.5A
Other languages
English (en)
Inventor
郑龙飞
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202211346052.5A priority Critical patent/CN115544576A/zh
Publication of CN115544576A publication Critical patent/CN115544576A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种保护数据隐私的两方联合训练预测模型的方法及装置，两方各自持有多个用户的不同特征部分，部署针对不同特征部分的表征层，其中标签方还部署预测层。该方法包括：两方各自在本地处理同一批用户样本的特征部分，得到对应的正序表征，且无标签方还生成乱序方阵；然后，标签方基于其正序表征与无标签方中的正序表征和变换方阵进行安全多方计算，得到乱序融合表征，从而基于利用预测层处理乱序融合表征而得到的乱序预测结果，和基于正序用户标签与无标签方中的乱序方阵进行安全矩阵乘法而得到的乱序预测标签，确定传播至两个表征层的乱序梯度，接着无标签方基于乱序矩阵和乱序梯度确定正序梯度，用于两方各自更新本地表征层。

Description

保护数据隐私的两方联合训练预测模型的方法及装置
技术领域
本说明书一个或多个实施例涉及数据安全技术领域，尤其涉及一种保护数据隐私的两方联合训练预测模型的方法及装置。
背景技术
随着人工智能技术(Artificial Intelligence，简称AI)的发展，深度神经网络(Deep Neural Networks，简称DNN)已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等多个领域。不同应用场景下的DNN网络结构相对固定，为实现更好的模型性能，就需要更多的训练数据。
在医疗、金融等许多领域，不同的企业或机构拥有不同的数据样本，一旦将这些数据进行联合训练，将极大提升模型精度，从而有效提高业务质量，提升用户满意度。然而这些原始的训练数据包含大量的用户隐私和商业机密，一旦信息泄露，将造成难以挽回的负面影响。因此，在多方联合训练解决数据孤岛问题的同时，保护数据隐私和数据价值成为近年来研究的重点。
如果参与联合训练的训练成员分处在不同行业并具有相同的用户群体，例如支付平台和社交平台之间，支付平台多持有支付数据，社交平台多持有娱乐社交数据，那么他们所收集数据的特征空间不同，样本空间相同，对此可称之为垂直切分的数据场景。
然而，目前应用在数据垂直切分场景的联合训练方式有限，难以满足实际应用中的更高需求。因此，需要一种联合训练方案，可以更好地满足实际应用需求，例如，在有效保护数据隐私和数据价值的同时，提升模型预测准确度，并降低通信量和计算量。
发明内容
本说明书实施例描述一种保护数据隐私的两方联合训练预测模型的方法，通过进行矩阵行变换、秘密分享等运算，实现在训练过程中有效保护训练数据的隐私、数据价值，同时，保证模型预测准确度，以及有效降低通信量和计算量。
根据第一方面，提供一种保护数据隐私的两方联合训练预测模型的方法，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第一方，包括：利用所述第一表征层处理n个样本用户的第一特征部分，得到第一正序表征；基于所述第一正序表征，与所述第二方持有的第二正序表征和n阶的乱序方阵进行安全多方计算，确定针对两个正序表征的乱序融合表征；所述第二正序表征是利用所述第二表征层处理所述n个样本用户的第二特征部分而得到；基于乱序预测结果和乱序用户标签，确定传播至两个表征层的乱序梯度；所述乱序预测结果是利用所述预测层处理所述乱序融合表征而得到；所述乱序用户标签是基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；从所述第二方接收目标梯度，其基于所述乱序梯度和乱序方阵而确定。
在一个实施例中，所述乱序融合表征的确定包括：基于所述第一正序表征，与所述第二方持有的所述乱序方阵进行安全矩阵乘法，得到第一乱序表征的第一分片，所述第一乱序表征对应所述第一正序表征与所述乱序方阵之间的乘积；从所述第二方接收中间值，其基于所述第一乱序表征的第二分片和第二乱序表征而确定，所述第二乱序表征是利用所述乱序方阵对所述第二正序表征进行乘积处理而得到；基于所述第一分片和中间值，确定所述乱序融合表征。
在一个实施例中，所述乱序用户标签的确定包括：基于所述正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法，得到所述针对所述乱序用户标签的第一标签分片；从所述第二方接收针对所述乱序用户标签的第二标签分片；基于所述第一标签分片和第二标签分片，构建所述乱序用户标签。
在一个具体的实施例中，在从所述第二方接收目标梯度之后，还包括：利用所述目标梯度更新所述第一表征层中的模型参数。
在一个实施例中，所述方法还包括：基于所述乱序预测结果和乱序用户标签，确定传播至所述预测层的训练梯度；利用所述训练梯度更新所述预测层中的模型参数。
根据第二方面，提供一种保护数据隐私的两方联合训练预测模型的方法，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第二方，包括：利用所述第二表征层处理n个样本用户的第二特征部分，得到第二正序表征；基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对两个正序表征的乱序融合表征；从所述第一方接收传播至两个表征层的乱序梯度，所述乱序梯度基于乱序预测结果和乱序用户标签而确定，所述乱序预测结果是所述第一方利用所述预测层处理所述乱序融合表征而得到，所述乱序用户标签是所述第一方基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；基于所述乱序梯度和乱序方阵确定目标梯度，并发送至所述第一方。
在一个实施例中，所述乱序方阵的确定包括：所述第二方对n阶单位矩阵进行列向或行向的随机乱序处理，得到所述乱序方阵。
在一个实施例中，基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对两个正序表征的乱序融合表征，包括：基于所述乱序方阵，与所述第一方持有的第一正序表征进行安全矩阵乘法，得到第一乱序表征的第二分片，所述第一乱序表征对应所述第一正序表征与所述乱序方阵之间的乘积；利用所述乱序方阵对所述第二正序表征进行乘积处理，得到第二乱序表征；基于所述第二乱序表征和第二分片，确定所述中间值，并发送给所述第一方，以使所述第一方基于所述第一乱序表征的第一分片和所述中间值确定乱序融合表征。
在一个具体的实施例中，基于所述第二乱序表征和第二分片，确定所述中间值，包括：对所述第二乱序表征和第二分片进行求和处理，得到所述中间值。
在一个实施例中，在从所述第一方接收传播至两个表征层的乱序梯度之前，所述方法包括：基于所述乱序方阵，与所述第一方持有的所述正序用户标签进行安全矩阵乘法，得到针对所述乱序用户标签的第二标签分片；向所述第一方发送所述第二标签分片，以使所述第一方基于所述第二标签分片和针对所述乱序用户标签的第一标签分片，构建所述乱序用户标签。
在一个实施例中，基于所述乱序梯度和乱序矩阵确定目标梯度，包括：利用所述乱序矩阵的逆矩阵对所述乱序梯度进行乘积处理，得到正序梯度；基于所述正序梯度，确定所述目标梯度。
在一个具体的实施例中，基于所述正序梯度，确定所述目标梯度，包括：对所述正序梯度进行稀疏化处理，得到稀疏梯度；基于所述稀疏梯度，确定所述目标梯度。
在一个更具体的实施例中，对所述正序梯度进行稀疏化处理，得到稀疏梯度，包括：从所述正序梯度中随机选取预定占比个数的元素，替换为0值。
在另一个更具体的实施例中，基于所述稀疏梯度，确定所述目标梯度，包括：对所述稀疏梯度进行池化处理，并保留原始的正负号，得到所述目标梯度。
在另一个具体的实施例中，基于所述正序梯度，确定所述目标梯度，包括：对所述正序梯度进行池化处理，并保留原始的正负号，得到所述目标梯度。
根据第三方面，提供一种保护数据隐私的两方联合训练预测模型的装置，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第一方，包括：表征单元，配置为利用所述第一表征层处理n个样本用户的第一特征部分，得到第一正序表征；安全计算单元，配置为基于所述第一正序表征，与所述第二方持有的第二正序表征和n阶的乱序方阵进行安全多方计算，确定针对两个正序表征的乱序融合表征；所述第二正序表征是利用所述第二表征层处理所述n个样本用户的第二特征部分而得到；乱序梯度确定单元，配置为基于乱序预测结果和乱序用户标签，确定传播至两个表征层的乱序梯度；所述乱序预测结果是利用所述预测层处理所述乱序融合表征而得到；所述乱序用户标签是基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；目标梯度接收单元，配置为从所述第二方接收目标梯度，其基于所述乱序梯度和乱序方阵而确定。
根据第四方面，提供另一种保护数据隐私的两方联合训练预测模型的装置，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第二方，包括：表征单元，配置为利用所述第二表征层处理n个样本用户的第二特征部分，得到第二正序表征；安全计算单元，配置为基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对两个正序表征的乱序融合表征；乱序梯度接收单元，配置为从所述第一方接收传播至两个表征层的乱序梯度，所述乱序梯度基于乱序预测结果和乱序用户标签而确定，所述乱序预测结果是所述第一方利用所述预测层处理所述乱序融合表征而得到，所述乱序用户标签是所述第一方基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；目标梯度确定单元，配置为基于所述乱序梯度和乱序方阵确定目标梯度；目标梯度发送单元，配置为将所述目标梯度发送至所述第一方。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，该处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
在本说明书实施例提供的上述方法和装置中，采用了矩阵行变换与安全多方计算结合的方法处理表征数据和标签数据，保护了无标签训练成员表征数据的价值和标签训练成员的标签数据隐私；标签训练成员利用表征明文(乱序表征)对损失函数进行明文计算，极大地节省了计算时间；无标签训练成员采用稀疏化或池化等方式对反向传播的梯度进行加密，保护了乱序矩阵，有效降低了通信量和计算量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的用户预测模型分散部署的场景示意图；
图2示出根据一个实施例的联合训练预测模型的两方交互示意图；
图3示出根据一个实施例的确定乱序融合表征的两方交互示意图；
图4示出根据一个实施例的保护数据隐私的两方联合训练预测模型的装置；
图5示出根据另一个实施例的保护数据隐私的两方联合训练预测模型的装置。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
本说明书实施例披露一种联合训练预测模型的方案，可以更好地保护训练成员中用户数据的价值和隐私安全，同时，保证模型准确性，有效降低通信量和计算量。
为便于理解，下面先介绍参与联合训练的两个训练成员(或称两方)中的数据分布情况。两方各自持有相同样本用户的不同特征部分，并且，其中一方还持有用户标签。为简洁描述，将两方中的标签持有方称为第一方，记作PA，并将另一方称为第二方，记作PB。
在一个实施例中，PA方为支付平台，其持有用户的交易特征或支付特征，例如，支付时刻、支付频次、支付金额、支付渠道、交易对象等；PB方为社交平台，其持有用户的社交特征，例如，社交频次高于预定阈值的好友名单、转发和点赞社交动态和内容资讯、社交活跃度等；另外，PA方持有的用户标签可以是用户风险标签(如高风险用户或低风险用户)、或消费人群标签(如高消费人群或低消费人群)等。
在另一个实施例中，PA方为银行，其持有用户的银行流水(如工资、支出等)；PB方为征信结构，其持有用户的征信记录(如借贷记录、信用卡的开通记录等)；另外，PA方持有的用户标签可以是用户风险标签(如高风险用户或低风险用户)等。
以上介绍两方中用户数据的数据分布。接下来，介绍预测模型在两方中的部署情况。图1示出根据一个实施例的预测模型分散部署的场景示意图，如图1所示，预测模型包括两个表征层，即，部署在PA方中的第一表征层110和部署在PB方中的第二表征层120，还包括部署在PA方中的预测层130。需说明，其中两个表征层可以由两方各自根据所持有用户特征的维度等进行定义，预测层130可以由PA方根据两个表征层的输出维度，以及用户标签的维度等进行定义；另外，表征层和预测层都可以用神经网络层实现。示例性地，第一表征层110或第二表征层120实现为多组交替排列的全连接层-激活层，预测层130可以实现为若干(若干指代一个或多个)全连接层，以及sigmoid层或softmax层，等；再另外，还可以将用于处理用户数据的预测模型称为用户预测模型，相应，将其中包含的表征层和预测层对应称为用户表征层和用户预测层。
如此，对预测模型在两个训练成员中的部署情况进行介绍。下面结合实施例，描述上述训练方案的实施步骤。图2示出根据一个实施例的联合训练预测模型的两方交互示意图，可以理解，其中两方均可以实现为任何具有计算、处理能力的装置、平台、服务器或设备集群等。如图2所示，所述交互过程包括以下步骤：
在步骤S201，PA方利用第一表征层110(其中的模型参数记作θA)处理n个样本用户的第一特征部分FA，得到第一正序表征HA。
可以理解，对预测模型的训练涉及多个迭代轮次。在当前轮次的训练中，在一个实施例中，PA方可以从样本用户集中随机抽取多个(记作n个)样本用户，作为本轮训练中用到的样本用户。
进一步，若当前轮次为首轮，则本步骤中还可以包括获取上述样本用户集。一个实施例中，PA方与PB方各自基于自身持有的用户标识集，执行隐私集合求交(Private SetIntersection，简称PSI)协议，得到标识交集，作为样本用户集。在一个示例中，用户标识可以是用户身份证号、护照号或手机号等。在一个示例中，PSI协议的执行过程为：两方各自在本地计算用户标识的哈希值，并上传给服务器，再从服务器接收匹配出的哈希值交集，进而各自根据用户标识和哈希值之间的映射关系，确定出标识交集，作为上述样本用户集。
另外，若当前轮次为首轮，则本步骤中还可以包括PA方对第一表征层110中的模型参数θA进行随机初始化。
在另一个实施例中，PA方可以从PB方接收对应n个样本用户的n个用户标识，此n个用户标识由PB方对其获得的样本用户集进行随机采样而得到。
由上，PA方可以确定出本轮训练需使用的n个样本用户，进而利用第一表征层110分别处理其中各个样本用户的第一用户特征fA，得到对应的第一用户表征hA。在一个实施例中，利用第一表征层110中的若干神经网络层对第一用户特征fA进行线性变换和/或非线性变换，从而得到第一用户表征hA。
可以理解，n个样本用户对应的n个第一用户特征fA组成上述第一特征部分FA。不防将第一用户表征的维数记作m，由此，可以将n个m维的第一用户表征向量hA按行或按列拼接成表征矩阵，作为上述第一正序表征HA，其中正序是指正确顺序，也是原始顺序。
由上，PA方利用本地表征层处理本地用户特征，可以得到第一正序表征HA。类似地，在步骤S202，PB方利用第二表征层120(其中的模型参数记作θB)处理n个样本用户的第二特征部分FB，得到第二正序表征HB。可以理解，第二正序表征HB中对n个第二用户表征的排序，与第一正序表征HA中对n个第一用户表征的排序一致。
需要说明的是，在一种优选的方式中，第二表征层120中最后一个神经网络层的神经元数量与第一表征层110中最后一个神经网络层的神经元数量设计为相同，均为m，此时，第二正序表征HB的维数与第一正序表征HA的维数相同，均为n*m维或m*n维。通过做出如此设计，可以使得后续两个正序表征能够进行加法式融合，从而使得传播至两个表征层的训练梯度相同，以使拿到梯度明文的一方不会获知额外的信息。
另外，对上述步骤S202的介绍可以参见对步骤S201的描述，不作赘述。
在步骤S203，PB方生成n阶的乱序方阵S(或称变换方阵S)。需要理解，乱序方阵S作用于另一行数为n的矩阵，可以实现对此矩阵中行顺序的打乱，例如，原本的第1行变为第3行；类似地，若作用于另一列数为n的矩阵，可以实现对此矩阵中列顺序的打乱，例如，原本的第5列变为第7列。
在一个实施例中，PB方先生成一个n阶的单位矩阵，再对此单位矩阵按行进行随机乱序处理，或者，按列进行随机乱序处理，从而得到乱序方阵S。在另一个实施例中，PB方随机生成一个n阶乱序方阵，其满足每行和每列中只有一个非零值。此时，乱序方阵作用于其他矩阵时，除了起到乱序作用，还可能起到缩放或取相反数等作用。
在执行步骤S201、S202和S203后，标签持有方PA方持有第一正序表征HA，无标签方PB方持有第二正序表征HB和乱序方阵S。
基于此，可以执行步骤S204，PA方基于第一正序表征HA，与PB方持有的第二正序表征HB和乱序方阵S进行安全多方计算，确定针对两个正序表征的乱序融合表征HS。从字面上可以解读，乱序融合表征是对两个正序表征进行融合和乱序的结果，而融合和乱序的先后顺序并不影响最终结果。在采用明文计算的情况下(实际为保护数据隐私不会这样做，此处的描述是辅助理解)，其中融合处理可以基于加法实现，例如直接相加或求平均等，乱序处理可以利用乱序方阵S实现，示例性地，先对两个正序表征进行融合处理，得到融合表征，再将乱序方阵作用于融合表征，得到乱序融合表征，对此可记作：HS＝S*(HA+HB)，其中HA、HB和HS均为n*m维的矩阵。
可以理解，安全多方计算(Secure Multi-Party Computation，简称MPC)可以实现多个计算方在给自的私有数据不被泄露的情况下，安全计算出一个约定函数。在本步骤中，两方所约定函数的输入包括上述两个正序表征HA、HB和乱序方阵S，输出为上述乱序融合表征HS。
在一种实施方式中，本步骤中的MPC计算可以采用全局设计混淆电路(GarbledCircuits,简称GC)或全局采用同态加密(Homomorphic Encryption，简称HE)的方式实现。然而，考虑到此种方式中加解密操作的通信和计算量很大，发明人进一步提出优化后的另一种实施方式，可以有效降低计算和通信量。
在另一种实施方式中，通过引入利用秘密分享技术实现的安全矩阵乘法，实现低通信和低计算开销。在此种实施方式中，本步骤中包括图3示出的交互步骤S301至步骤S305：
步骤S301，PA方基于第一正序表征HA，与PB方持有的乱序方阵S进行第一安全矩阵乘法，于是，PA方得到HA与S之间乘积结果的两个秘密分享分片之一，记作第一分片<S*HA>1，PB方得到另一秘密分享分片，记作第二分片<S*HB>2。需要理解，第一安全矩阵乘法的实现基于秘密分享(Secret Sharing，简称SS)技术，具体计算方式可以采用已有方式实现，不作赘述；另外，HA与S之间的乘积结果S*HA实质为将乱序方阵S作用于第一正序表征HA而得到的第一乱序表征。
步骤S302，PB方利用乱序矩阵S处理第二正序表征HB，得到第二乱序表征S*HB。
步骤S303，PB方基于第一乱序表征的第二分片<S*HA>1和第二乱序表征S*HB，确定中间值<H>。需理解，确定中间值<H>的方式，与上述第一安全矩阵乘法中采用的SS技术中的分片方式相适应。
在一个例子中，SS技术中对任意数据x进行分片的方式为加法分片，即，x＝<x>1+<x>2，此时，可以采用对第二分片<S*HA>2和第二乱序表征S*HB进行求和的方式确定中间值，即：
<H>＝S*HB+<S*HA>2 (1)
在另一个例子中，SS技术中对任意的数据x进行分片的方式为减法分片，例如，x＝<x>1-<x>2，此时，可以采用对第二分片<S*HA>1和第二乱序表征HB进行求差的方式确定中间值，即：
<H>＝S*HB-<S*HA>2 (2)
之后，在步骤S304，PA方从PB方接收中间值<H>，并在步骤S305，基于第一分片<S*HA>1和中间值<H>，确定乱序融合表征HS。可以理解，乱序融合表征HS的确定方式也与SS中的分片方式相适应。
示例性地，SS中的分片方式为加法分片，此时，可以采用对第一分片<S*HA>1和中间值<H>进行求和的方式确定乱序融合表征HS，即：
HS＝<S*HA>1+<H> (3)
此时，将公式(1)代入公式(3)中等号右侧的算式，可以得到：HS＝<S*HA>1+<H>＝<S*HA>1+S*HB+<S*HA>2＝S*(HA+HB)。
由此，在此种实施方式中，通过设计采用SS技术的安全矩阵乘法实现上述MPC技术，可以高效快速地计算出归PA方持有的乱序融合表征HS。
回到图2示出的流程步骤，由上，PA方通过与PB方进行MPC计算，可以得到乱序融合表征HS。可以理解，乱序融合表征HS中对应n个样本用户的融合表征向量的当前顺序相较原始顺序被打乱，PA方难以通过乱序融合表征HS推断出PB方的明文表征，从而使PB方中的数据隐私得以保护。
接着在步骤S205，PA方利用预测层130处理乱序融合表征HS，得到乱序预测结果
Figure BDA0003918371200000091
可以理解，乱序融合表征HS中包括对应乱序排列的n个样本用户的n个融合表征向量，相应，乱序预测结果
Figure BDA0003918371200000092
中包括乱序排列的n个预测结果。另外，预测层130输出预测结果的可以是针对样本用户的回归值(即连续值，如信用评分)或分类值(即离散值，如风险等级)。
之后，在步骤S206，PA方基于正序用户标签Y，与PB方持有的乱序方阵S进行第二安全矩阵乘法，得到乱序用户标签YS。
在一个实施例中，本步骤的实施包括：PA方先基于正序用户标签Y，与PB方持有的乱序方阵S进行第二安全矩阵乘法，得到正序用户标签Y与乱序方阵S之间乘积结果的两个秘密分享分片之一，称作第一标签分片，并记作<YS>1，其中YS＝S*Y；再从PB方接收其通过进行上述第二安全矩阵乘法而得到的第二标签分片，记作<YS>2；之后，PA方基于第一标签分片<YS>1和第二标签分片<YS>2，构建出乱序用户标签YS。示例性地，对第一标签分片<YS>1和第二标签分片<YS>2进行求和，从而得到乱序用户标签YS，对此可记作：
YS＝<YS>1+<YS>2 (4)
由上，通过采用基于SS技术实现的第二安全矩阵乘法，可以得到乱序用户标签YS。需要说明的是，此时，尽管PA方持有正序用户标签和乱序用户标签YS，其仍然难以推断出乱序矩阵S，因为正序用户标签通常为元素取值为0或1的一维向量，总之为非满秩的方阵，所以不存在逆矩阵，从而无法反推出乱序矩阵S。
在其他实施例中，上述第二安全矩阵乘法还可以基于GC电路或HE加密技术实现，在此不作赘述。
以上，PA方在步骤S205和S206中分别得到了乱序预测结果
Figure BDA0003918371200000101
和乱序用户标签YS，从而在步骤S207中，基于
Figure BDA0003918371200000102
和YS，确定传播至上述两个表征层的乱序梯度GS。
具体地，基于乱序预测结果
Figure BDA0003918371200000103
和乱序用户标签YS，确定训练损失；再基于训练损失，采用反向传播法，确定出传播至预测层130的训练梯度，以及传播至上述两个表征层的乱序梯度GS。在一个实施例中，本步骤中还可以包括：PA方利用第一梯度更新预测层130中的模型参数β。需理解的是，传播至第一表征层110和传播至第二表征层120的梯度是相同的，均为乱序梯度GS，其中包括对应乱序的n个样本用户的n个梯度向量。
之后，在步骤S208，PB方从PA方接收乱序梯度GS，从而在步骤S209，PB方基于乱序梯度GS和乱序方阵S确定目标梯度Gt。
具体地，可以利用乱序矩阵S的逆矩阵S-1对乱序梯度GS进行乘积处理，得到正确排序的梯度矩阵，即正序梯度G。
进一步，在一个实施例中，可以将正序梯度G作为目标梯度Gt。
在另一个实施例中，为了保护乱序矩阵S不被泄露，对正序梯度G进行加密处理。需要理解，通过加密处理而得到的目标梯度Gt不同于正序梯度G，从而防止PA方用其反推出乱序矩阵S，但具有足够高的可用性。
在一个具体的实施例中，可以对正序梯度G进行稀疏化处理，得到目标梯度Gt。可以理解，稀疏化处理是指将正序梯度G中的部分元素进行置0处理。在一个例子中，可以从正序梯度G中随机选取预定占比个数的元素，替换为0值，其中预定占比可以由工作人员预先设定，如设定为5％等。在另一个例子中，可以先确定正序梯度G中绝对值大小排在考前的预定名次数内的元素，再将其替换为0值。由此得到的目标梯度Gt可以有效降低后续的通信量和计算量。
在另一个具体的实施例中，可以对正序梯度G进行池化处理，并保留原始的正负号，从而得到目标梯度Gt。示例性地，其中池化处理可以是平均池化等。由此，可以得到具有足够可用性和混淆性的目标梯度Gt。
在又一个具体的实施例中，可以对正序梯度G同时进行稀疏化处理和池化处理，从而进一步加强对乱序矩阵S的保护，以及进一步降低后续的通信量和计算量。在一个示例中，可以先对正序梯度G进行稀疏化处理，得到稀疏梯度，再对稀疏梯度进行池化处理，并保留原始的正负号，从而得到目标梯度Gt。
由上，可以得到目标梯度Gt。之后，在步骤S210，PB方将目标梯度Gt发送至PA方。
从而在步骤S211，PA方基于目标梯度Gt更新第一表征层110中的模型参数θA。以及，在步骤S212，PB方基于目标梯度Gt更新第二表征层120中的模型参数θB。需要说明，利用梯度更新模型参数的方式可以采用已有技术实现，不作赘述。
如此，两方可以基于各自持有的训练数据，对预测模型进行联合训练。
针对以上步骤，需要说明的是，上述步骤之间的相对执行顺序并不唯一，只需数据流向符合逻辑即可。
综上，采用本说明书实施例披露的保护数据隐私的两方联合训练预测模型的方法，采用了矩阵行变换与安全多方计算结合的方法处理表征数据和标签数据，保护了无标签训练成员表征数据的价值和标签训练成员的标签数据隐私；标签训练成员利用表征明文(乱序表征)对损失函数进行明文计算，极大地节省了计算时间；无标签训练成员采用稀疏化或池化等方式对反向传播的梯度进行加密，保护了乱序矩阵，有效降低了通信量和计算量。
上述训练方法应用于训练用户预测模型的场景，实际上，还可以应用于训练针对其他业务对象的预测模型的场景。在一个实施例中，其他业务对象可以是商品，此时，参与联合训练的两方可以是生产商和电商平台，生产商持有的商品特征部分可以包括商品的生产成本、产地、成分和保质期，电商平台持有的商品特征部分可以包括商品的销量、采购成本、销售价格等，电商平台持有的商品标签可以是商品热门等级(如冷门或热门等)。
在另一个实施例中，其他业务对象还可以是业务事件，如登录事件、访问事件等。
与上述训练方法相对应地，本说明书实施例还披露训练装置。图4示出根据一个实施例的保护数据隐私的两方联合训练预测模型的装置，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第一方。如图4所示，所述装置400包括以下组成单元：
表征单元410，配置为利用所述第一表征层处理n个样本用户的第一特征部分，得到第一正序表征。安全计算单元420，配置为基于所述第一正序表征，与所述第二方持有的第二正序表征和n阶的乱序方阵进行安全多方计算，确定针对两个正序表征的乱序融合表征；所述第二正序表征是利用所述第二表征层处理所述n个样本用户的第二特征部分而得到。乱序梯度确定单元430，配置为基于乱序预测结果和乱序用户标签，确定传播至两个表征层的乱序梯度；所述乱序预测结果是利用所述预测层处理所述乱序融合表征而得到；所述乱序用户标签是基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到。目标梯度接收单元440，配置为从所述第二方接收目标梯度，其基于所述乱序梯度和乱序方阵而确定。
在一个实施例中，所述安全计算单元420具体配置为：基于所述第一正序表征，与所述第二方持有的所述乱序方阵进行安全矩阵乘法，得到第一乱序表征的第一分片，所述第一乱序表征对应所述第一正序表征与所述乱序方阵之间的乘积；从所述第二方接收中间值，其基于所述第一乱序表征的第二分片和第二乱序表征而确定，所述第二乱序表征是利用所述乱序方阵对所述第二正序表征进行乘积处理而得到；基于所述第一分片和中间值，确定所述乱序融合表征。
在一个实施例中，所述装置400还包括乱序标签确定单元450，配置为：基于所述正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法，得到所述针对所述乱序用户标签的第一标签分片；从所述第二方接收针对所述乱序用户标签的第二标签分片；基于所述第一标签分片和第二标签分片，构建所述乱序用户标签。
在一个具体的实施例中，所述装置400还包括表征层训练单元460，配置为利用所述目标梯度更新所述第一表征层中的模型参数。
在一个具体的实施例中，所述装置400还包括：预测层训练单元470，配置为基于所述乱序预测结果和乱序用户标签，确定传播至所述预测层的训练梯度；利用所述训练梯度更新所述预测层中的模型参数。
图5示出根据另一个实施例的保护数据隐私的两方联合训练预测模型的装置，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第二方。如图5所示，所述装置500包括以下组成单元：
表征单元510，配置为利用所述第二表征层处理n个样本用户的第二特征部分，得到第二正序表征；安全计算单元520，配置为基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对两个正序表征的乱序融合表征；乱序梯度接收单元530，配置为从所述第一方接收传播至两个表征层的乱序梯度，所述乱序梯度基于乱序预测结果和乱序用户标签而确定，所述乱序预测结果是所述第一方利用所述预测层处理所述乱序融合表征而得到，所述乱序用户标签是所述第一方基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；目标梯度确定单元540，配置为基于所述乱序梯度和乱序方阵确定目标梯度；目标梯度发送单元550，配置为将所述目标梯度发送至所述第一方。
在一个实施例中，所述装置500还包括乱序方阵确定单元560，配置为：所述第二方对n阶单位矩阵进行列向或行向的随机乱序处理，得到所述乱序方阵。
在一个实施例中，所述安全计算单元520具体配置为：基于所述乱序方阵，与所述第一方持有的第一正序表征进行安全矩阵乘法，得到第一乱序表征的第二分片，所述第一乱序表征对应所述第一正序表征与所述乱序方阵之间的乘积；利用所述乱序方阵对所述第二正序表征进行乘积处理，得到第二乱序表征；基于所述第二乱序表征和第二分片，确定所述中间值，并发送给所述第一方，以使所述第一方基于所述第一乱序表征的第一分片和所述中间值确定乱序融合表征。
在一个更具体的实施例中，所述安全计算单元520配置为基于所述第二乱序表征和第二分片，确定所述中间值，包括：对所述第二乱序表征和第二分片进行求和处理，得到所述中间值。
在一个实施例中，所述装置500还包括标签分片处理单元570，配置为基于所述乱序方阵，与所述第一方持有的所述正序用户标签进行安全矩阵乘法，得到针对所述乱序用户标签的第二标签分片；向所述第一方发送所述第二标签分片，以使所述第一方基于所述第二标签分片和针对所述乱序用户标签的第一标签分片，构建所述乱序用户标签。
在一个实施例中，目标梯度确定单元540包括：正序梯度确定子单元541，利用所述乱序矩阵的逆矩阵对所述乱序梯度进行乘积处理，得到正序梯度；目标梯度确定子单元542，配置为基于所述正序梯度，确定所述目标梯度。
在一个具体的实施例中，目标梯度确定子单元542具体配置为：对所述正序梯度进行稀疏化处理，得到稀疏梯度；基于所述稀疏梯度，确定所述目标梯度。
在一个更具体的实施例中，目标梯度确定子单元542配置为进行所述稀疏化处理，得到稀疏梯度，包括：从所述正序梯度中随机选取预定占比个数的元素，替换为0值。
在一个更具体的实施例中，目标梯度确定子单元542配置为基于所述稀疏梯度确定所述目标梯度，包括：对所述稀疏梯度进行池化处理，并保留原始的正负号，得到所述目标梯度。
在一个实施例中，目标梯度确定子单元542具体配置为：对所述正序梯度进行池化处理，并保留原始的正负号，得到所述目标梯度。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或3所描述的方法。本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (19)

1.一种保护数据隐私的两方联合训练预测模型的方法，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第一方，包括：
利用所述第一表征层处理n个样本用户的第一特征部分，得到第一正序表征；
基于所述第一正序表征，与所述第二方持有的第二正序表征和n阶的乱序方阵进行安全多方计算，确定针对两个正序表征的乱序融合表征；所述第二正序表征是利用所述第二表征层处理所述n个样本用户的第二特征部分而得到；
基于乱序预测结果和乱序用户标签，确定传播至两个表征层的乱序梯度；所述乱序预测结果是利用所述预测层处理所述乱序融合表征而得到；所述乱序用户标签是基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；
从所述第二方接收目标梯度，其基于所述乱序梯度和乱序方阵而确定。
2.根据权利要求1所述的方法，其中，所述乱序融合表征的确定包括：
基于所述第一正序表征，与所述第二方持有的所述乱序方阵进行安全矩阵乘法，得到第一乱序表征的第一分片，所述第一乱序表征对应所述第一正序表征与所述乱序方阵之间的乘积；
从所述第二方接收中间值，其基于所述第一乱序表征的第二分片和第二乱序表征而确定，所述第二乱序表征是利用所述乱序方阵对所述第二正序表征进行乘积处理而得到；
基于所述第一分片和中间值，确定所述乱序融合表征。
3.根据权利要求1所述的方法，其中，所述乱序用户标签的确定包括：
基于所述正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法，得到所述针对所述乱序用户标签的第一标签分片；
从所述第二方接收针对所述乱序用户标签的第二标签分片；
基于所述第一标签分片和第二标签分片，构建所述乱序用户标签。
4.根据权利要求3所述的方法，其中，在从所述第二方接收目标梯度之后，还包括：
利用所述目标梯度更新所述第一表征层中的模型参数。
5.根据权利要求1所述的方法，其中，还包括：
基于所述乱序预测结果和乱序用户标签，确定传播至所述预测层的训练梯度；
利用所述训练梯度更新所述预测层中的模型参数。
6.一种保护数据隐私的两方联合训练预测模型的方法，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第二方，包括：
利用所述第二表征层处理n个样本用户的第二特征部分，得到第二正序表征；
基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对两个正序表征的乱序融合表征；
从所述第一方接收传播至两个表征层的乱序梯度，所述乱序梯度基于乱序预测结果和乱序用户标签而确定，所述乱序预测结果是所述第一方利用所述预测层处理所述乱序融合表征而得到，所述乱序用户标签是所述第一方基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；
基于所述乱序梯度和乱序方阵确定目标梯度，并发送至所述第一方。
7.根据权利要求6所述的方法，其中，所述乱序方阵的确定包括：
所述第二方对n阶单位矩阵进行列向或行向的随机乱序处理，得到所述乱序方阵。
8.根据权利要求6所述的方法，其中，基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对两个正序表征的乱序融合表征，包括：
基于所述乱序方阵，与所述第一方持有的第一正序表征进行安全矩阵乘法，得到第一乱序表征的第二分片，所述第一乱序表征对应所述第一正序表征与所述乱序方阵之间的乘积；
利用所述乱序方阵对所述第二正序表征进行乘积处理，得到第二乱序表征；
基于所述第二乱序表征和第二分片，确定所述中间值，并发送给所述第一方，以使所述第一方基于所述第一乱序表征的第一分片和所述中间值确定乱序融合表征。
9.根据权利要求8所述的方法，其中，基于所述第二乱序表征和第二分片，确定所述中间值，包括：
对所述第二乱序表征和第二分片进行求和处理，得到所述中间值。
10.根据权利要求6所述的方法，其中，在从所述第一方接收传播至两个表征层的乱序梯度之前，所述方法包括：
基于所述乱序方阵，与所述第一方持有的所述正序用户标签进行安全矩阵乘法，得到针对所述乱序用户标签的第二标签分片；
向所述第一方发送所述第二标签分片，以使所述第一方基于所述第二标签分片和针对所述乱序用户标签的第一标签分片，构建所述乱序用户标签。
11.根据权利要求6所述的方法，其中，基于所述乱序梯度和乱序矩阵确定目标梯度，包括：
利用所述乱序矩阵的逆矩阵对所述乱序梯度进行乘积处理，得到正序梯度；
基于所述正序梯度，确定所述目标梯度。
12.根据权利要求11所述的方法，其中，基于所述正序梯度，确定所述目标梯度，包括：
对所述正序梯度进行稀疏化处理，得到稀疏梯度；
基于所述稀疏梯度，确定所述目标梯度。
13.根据权利要求12所述的方法，其中，对所述正序梯度进行稀疏化处理，得到稀疏梯度，包括：
从所述正序梯度中随机选取预定占比个数的元素，替换为0值。
14.根据权利要求12所述的方法，其中，基于所述稀疏梯度，确定所述目标梯度，包括：
对所述稀疏梯度进行池化处理，并保留原始的正负号，得到所述目标梯度。
15.根据权利要求11所述的方法，其中，基于所述正序梯度，确定所述目标梯度，包括：
对所述正序梯度进行池化处理，并保留原始的正负号，得到所述目标梯度。
16.一种保护数据隐私的两方联合训练预测模型的装置，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第一方，包括：
表征单元，配置为利用所述第一表征层处理n个样本用户的第一特征部分，得到第一正序表征；
安全计算单元，配置为基于所述第一正序表征，与所述第二方持有的第二正序表征和n阶的乱序方阵进行安全多方计算，确定针对两个正序表征的乱序融合表征；所述第二正序表征是利用所述第二表征层处理所述n个样本用户的第二特征部分而得到；
乱序梯度确定单元，配置为基于乱序预测结果和乱序用户标签，确定传播至两个表征层的乱序梯度；所述乱序预测结果是利用所述预测层处理所述乱序融合表征而得到；所述乱序用户标签是基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；
目标梯度接收单元，配置为从所述第二方接收目标梯度，其基于所述乱序梯度和乱序方阵而确定。
17.一种保护数据隐私的两方联合训练预测模型的装置，所述预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第二方，包括：
表征单元，配置为利用所述第二表征层处理n个样本用户的第二特征部分，得到第二正序表征；
安全计算单元，配置为基于所述第二正序表征和n阶的乱序方阵，与所述第一方持有的第一正序表征进行安全多方计算，以使所述第一方得到针对两个正序表征的乱序融合表征；
乱序梯度接收单元，配置为从所述第一方接收传播至两个表征层的乱序梯度，所述乱序梯度基于乱序预测结果和乱序用户标签而确定，所述乱序预测结果是所述第一方利用所述预测层处理所述乱序融合表征而得到，所述乱序用户标签是所述第一方基于正序用户标签，与所述第二方持有的所述乱序方阵进行安全矩阵乘法而得到；
目标梯度确定单元，配置为基于所述乱序梯度和乱序方阵确定目标梯度；
目标梯度发送单元，配置为将所述目标梯度发送至所述第一方。
18.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-15中任一项所述的方法。
19.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-15中任一项所述的方法。
CN202211346052.5A 2022-10-31 2022-10-31 保护数据隐私的两方联合训练预测模型的方法及装置 Pending CN115544576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211346052.5A CN115544576A (zh) 2022-10-31 2022-10-31 保护数据隐私的两方联合训练预测模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211346052.5A CN115544576A (zh) 2022-10-31 2022-10-31 保护数据隐私的两方联合训练预测模型的方法及装置

Publications (1)

Publication Number Publication Date
CN115544576A true CN115544576A (zh) 2022-12-30

Family

ID=84719474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211346052.5A Pending CN115544576A (zh) 2022-10-31 2022-10-31 保护数据隐私的两方联合训练预测模型的方法及装置

Country Status (1)

Country Link
CN (1) CN115544576A (zh)

Similar Documents

Publication Publication Date Title
CN110929870B (zh) 图神经网络模型训练方法、装置及系统
CN110751291B (zh) 实现安全防御的多方联合训练神经网络的方法及装置
CN110782044A (zh) 多方联合训练图神经网络的方法及装置
CN111523673B (zh) 模型训练方法、装置及系统
US11341411B2 (en) Method, apparatus, and system for training neural network model
CN111428887B (zh) 一种基于多个计算节点的模型训练控制方法、装置及系统
CN114936650A (zh) 基于隐私保护的联合训练业务模型的方法及装置
CN112989399B (zh) 数据处理系统及方法
CN111738438B (zh) 图神经网络模型训练方法、装置及系统
CN112101531B (zh) 基于隐私保护的神经网络模型训练方法、装置及系统
CN113312644B (zh) 基于隐私保护的跨域推荐模型训练方法及训练系统
CN111523556A (zh) 模型训练方法、装置及系统
CN110929887B (zh) 逻辑回归模型训练方法、装置及系统
CN114186256A (zh) 神经网络模型的训练方法、装置、设备和存储介质
CN111523674A (zh) 模型训练方法、装置及系统
CN116432040B (zh) 基于联邦学习的模型训练方法、装置、介质以及电子设备
CN111523675B (zh) 模型训练方法、装置及系统
CN115186876A (zh) 保护数据隐私的两方联合训练业务预测模型的方法及装置
CN112183759A (zh) 模型训练方法、装置及系统
CN115544576A (zh) 保护数据隐私的两方联合训练预测模型的方法及装置
CN112183757A (zh) 模型训练方法、装置及系统
CN113255928B (zh) 模型的训练方法、装置和服务器
CN114547684A (zh) 一种保护隐私数据的多方联合训练树模型的方法及装置
CN116226672A (zh) 两方联合进行模型训练的方法及装置
CN112183564B (zh) 模型训练方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination