CN114936650A - 基于隐私保护的联合训练业务模型的方法及装置 - Google Patents

基于隐私保护的联合训练业务模型的方法及装置 Download PDF

Info

Publication number
CN114936650A
CN114936650A CN202210742526.1A CN202210742526A CN114936650A CN 114936650 A CN114936650 A CN 114936650A CN 202210742526 A CN202210742526 A CN 202210742526A CN 114936650 A CN114936650 A CN 114936650A
Authority
CN
China
Prior art keywords
disturbance
noise
matrix
gradient
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210742526.1A
Other languages
English (en)
Inventor
熊涛
冯岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210742526.1A priority Critical patent/CN114936650A/zh
Publication of CN114936650A publication Critical patent/CN114936650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置，根据该方法，服务器针对实现业务模型的神经网络中的各个网络层，确定扰动矩阵，并用其对网络层的参数进行扰动加密，得到扰动加密模型，分发给各个终端。终端利用扰动加密的模型处理其本地训练样本，得到扰动梯度。并且，终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布，使得经扰动矩阵进行恢复后得到的噪声符合高斯分布，从而满足差分隐私的要求。于是，服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合，从而更新神经网络模型中的参数。

Description

基于隐私保护的联合训练业务模型的方法及装置
本申请是2020年12月6日递交的、申请号为202011409592.4，名为“基于隐私保护的联合训练业务模型的方法及装置”的发明专利申请的分案申请。
技术领域
本说明书一个或多个实施例涉及机器学习领域，尤其涉及在分布式系统中保护隐私的模型联合训练方法及装置。
背景技术
机器学习的迅猛发展使得各种机器学习的模型在各种各样的业务场景得到应用。由于模型的预测性能依赖于训练样本的丰富程度和可用程度，为了得到性能更加优异的业务预测模型，往往需要综合利用多个平台的训练数据，共同对模型进行训练。
具体的，在数据纵向分布的场景中，多个平台可以各自拥有同一批业务对象的不同特征数据。例如在基于机器学习的商户分类分析场景中，电子支付平台拥有商户的交易流水数据，电子商务平台存储有商户的销售数据，银行机构拥有商户的借贷数据。在数据横向分布的场景中，多个平台可以各自拥有不同业务对象的相同属性特征。例如不同地区的银行机构，各自拥有本地注册商户的借贷数据。当然还存在纵向横向分布相结合的情况。
多个平台本地的训练数据往往包含本地业务对象的隐私，特别是用户隐私。进一步的，根据本地训练数据训练出的本地模型，也会存在泄漏本地数据特点的风险。因此，在多方共同训练模型的场景中，数据安全和数据隐私问题，是极大的一项挑战。
因此，希望提供改进的方案，在多方共同训练业务模型的情况下，保证各方的隐私数据不泄露，确保数据安全。
发明内容
本说明书一个或多个实施例描述了一种联合训练业务模型的方法和装置，通过对模型进行扰动加密，并对梯度添加噪声，保护隐私数据不泄露，确保数据安全。
根据第一方面，提供了一种基于隐私保护的联合训练业务模型的方法，所述业务模型通过神经网络实现，所述方法由服务器执行，包括：
针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵；
利用所述随机扰动矩阵对相应网络层的当前参数矩阵进行扰动处理，得到该网络层的扰动加密参数矩阵；
将扰动加密模型发送给多个终端，其中所述扰动加密模型包括所述多个网络层对应的扰动加密参数矩阵；
从所述多个终端中任意的第一终端接收所述多个网络层分别对应的混淆梯度项，其中所述混淆梯度项是在第一噪声梯度项上叠加第二噪声而得到，其中所述第一噪声梯度项通过利用所述扰动加密模型处理所述第一终端本地的第一样本集而得到，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；
利用所述多个网络层对应的所述随机扰动矩阵，对相应网络层的混淆梯度项进行恢复处理，得到所述多个网络层的梯度恢复结果；
将对应于所述多个终端的梯度恢复结果进行聚合，根据聚合结果，更新所述多个网络层的当前参数矩阵。
根据一种实施方式，针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵，具体包括：针对所述神经网络的各个网络层，确定对应的随机向量，所述随机向量的维度与相应网络层中神经元的数目相同；根据第一网络层的随机向量及其相邻网络层的随机向量，确定该第一网络层对应的随机扰动矩阵，其中所述第一网络层是所述神经网络中的中间层。
在一个实施例中，所述神经网络包括N个待训练的实际网络层，以及插入在相邻的实际网络层之间的N-1个过渡网络层，所述过渡网络层具有固定的单位矩阵作为其参数矩阵；在这样的情况下，上述确定对应的随机向量具体包括：针对实际网络层中的各个中间层，确定第一随机向量；针对各个过渡网络层，确定第二随机向量；其中，所述第一随机向量和第二随机向量中的向量元素，具有不同的数据分布。
进一步的，在一个例子中，上述第一随机向量中的各个向量元素，符合高斯分布的三元分解数据分布；上述第二随机向量中的各个向量元素的倒数，符合高斯分布的三元分解数据分布；所述第一网络层为实际网络层中的中间层；在这样的情况下，确定该第一网络层对应的随机扰动矩阵，具体包括：将该第一网络层对应的第一随机向量中的各个向量元素，和该第一网络层的前一过渡网络层对应的第二随机向量中的各个向量元素的倒数分别进行组合，将组合结果作为该第一网络层对应的随机扰动矩阵中的各个矩阵元素。
在一个实施例中，针对所述神经网络的各个网络层，确定对应的随机向量，还包括：针对实际网络层中的输入层，确定第三随机向量，其中各个向量元素符合高斯分布的二元分解数据分布；并且，确定随机扰动矩阵的步骤还包括：将该输入层对应的第三随机向量中的元素作为矩阵元素，得到该输入层对应的随机扰动矩阵。
在一个实施例中，针对最后一个过渡网络层，确定最后一个第二随机向量，其中各个向量元素的倒数，符合高斯分布的二元分解数据分布；并且，确定对应的随机扰动矩阵的步骤还包括：针对实际网络层中的输出层，将所述最后一个第二随机向量中各个元素的倒数作为矩阵元素，得到该输出层对应的随机扰动矩阵。
根据一个实施例，前述多个网络层为所述N个待训练的实际网络层。
根据一种实施方式，利用所述随机扰动矩阵对相应网络层的当前参数矩阵进行扰动处理，得到该网络层的扰动加密参数矩阵，具体包括：对于所述N个实际网络层中除输出层之外的其他各网络层，将该网络层对应的随机扰动矩阵与其当前参数矩阵进行对应位置元素组合，得到该网络层的扰动加密参数矩阵；对于所述输出层，将该输出层对应的随机扰动矩阵与其当前参数矩阵进行对应位置元素组合，并叠加针对该输出层的附加扰动矩阵，得到该输出层的扰动加密参数矩阵。
在各个实施例中，所述业务模型用于针对业务对象进行预测，所述业务对象包括以下之一：用户、商户、交易、图像、文本、音频。
根据第二方面，提供了一种基于隐私保护的联合训练业务模型的方法，所述业务模型通过神经网络实现，所述方法由第一终端执行，包括：
从服务器接收扰动加密模型，其中包括所述神经网络中多个网络层分别对应的扰动加密参数矩阵，所述扰动加密参数矩阵是利用相应网络层的随机扰动矩阵对该网络层的当前参数矩阵进行扰动处理而得到；
利用所述扰动加密模型处理所述第一终端本地的第一样本集，得到针对所述多个网络层中各网络层的第一噪声梯度项；
在所述第一噪声梯度项上叠加第二噪声，得到针对各网络层的混淆梯度项；其中，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；
将所述混淆梯度项发送给所述服务器，使其利用所述随机扰动矩阵对相应网络层的混淆梯度项进行恢复处理，并将对应于多个终端的恢复梯度进行聚合，从而更新所述多个网络层的当前参数矩阵。
在一个实施例中，所述神经网络包括N个待训练的实际网络层，以及插入在相邻的实际网络层之间的N-1个过渡网络层，所述过渡网络层具有固定的单位矩阵作为其参数矩阵；所述多个网络层为所述N个待训练的实际网络层。
根据一个实施例，通过以下方式得到第一噪声梯度项：将所述第一样本集中各个样本的特征数据输入所述扰动加密模型，得到各网络层的扰动输出；根据各网络层的扰动输出，各个样本的标签数据以及预设损失函数，得到所述第一噪声梯度项。
在一个实施例中，在所述第一噪声梯度项上叠加第二噪声，具体包括：确定各网络层对应的噪声矩阵；将所述噪声矩阵，乘以预设的噪声幅度和方差，作为各网络层对应的第二噪声，叠加到所述第一噪声梯度项上，其中，所述噪声幅度不小于梯度的范数。
进一步的，确定各网络层对应的噪声矩阵可以包括：对于所述多个网络层中的中间层，确定第一噪声矩阵，其中各个矩阵元素满足高斯分布的三元分解数据分布；对于所述多个网络层的输入层和输出层，确定第二噪声矩阵，其中各个矩阵元素满足高斯分布的二元分解数据分布。
根据第三方面，提供了一种基于隐私保护的联合训练业务模型的装置，所述业务模型通过神经网络实现，所述装置部署在服务器中，包括：
扰动矩阵确定单元，配置为针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵；
扰动加密单元，配置为利用所述随机扰动矩阵对相应网络层的当前参数矩阵进行扰动处理，得到该网络层的扰动加密参数矩阵；
发送单元，配置为将扰动加密模型发送给多个终端，其中所述扰动加密模型包括所述多个网络层对应的扰动加密参数矩阵；
接收单元，配置为从所述多个终端中任意的第一终端接收所述多个网络层分别对应的混淆梯度项，其中所述混淆梯度项是在第一噪声梯度项上叠加第二噪声而得到，其中所述第一噪声梯度项通过利用所述扰动加密模型处理所述第一终端本地的第一样本集而得到，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；
扰动恢复单元，配置为利用所述多个网络层对应的所述随机扰动矩阵，对相应网络层的混淆梯度项进行恢复处理，得到所述多个网络层的梯度恢复结果；
聚合更新单元，配置为将对应于所述多个终端的梯度恢复结果进行聚合，根据聚合结果，更新所述多个网络层的当前参数矩阵。
根据第四方面，提供了一种基于隐私保护的联合训练业务模型的装置，所述业务模型通过神经网络实现，所述装置部署在第一终端中，包括：
接收单元，配置为从服务器接收扰动加密模型，其中包括所述神经网络中多个网络层分别对应的扰动加密参数矩阵，所述扰动加密参数矩阵是利用相应网络层的随机扰动矩阵对该网络层的当前参数矩阵进行扰动处理而得到；
梯度获取单元，配置为利用所述扰动加密模型处理所述第一终端本地的第一样本集，得到针对所述多个网络层中各网络层的第一噪声梯度项；
噪声添加单元，配置为在所述第一噪声梯度项上叠加第二噪声，得到针对各网络层的混淆梯度项；其中，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；
发送单元，配置为将所述混淆梯度项发送给所述服务器，使其利用所述随机扰动矩阵对相应网络层的混淆梯度项进行恢复处理，并将对应于多个终端的恢复梯度进行聚合，从而更新所述多个网络层的当前参数矩阵。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
根据本说明书实施例提供的方法和装置，在模型迭代更新过程中，服务器将各个网络层的参数进行扰动加密后，下发给终端。终端可以基于扰动加密的模型，直接进行样本数据的处理，得到扰动梯度。对模型参数的扰动加密，一方面确保模型参数的安全，并且扰动加密的方式使得终端可以无需解密，直接进行样本处理，极大节约了终端的计算资源。此外，终端在得到扰动梯度后，还在其上添加噪声，并使得扰动恢复后最终的噪声符合高斯分布，从而满足差分隐私的要求。于是，服务器和其他各方，也都无从获取到梯度的真实值，进一步保证了隐私数据的安全。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出通过联邦学习进行业务模型训练的一个场景示例；
图2示出根据一个实施例保护隐私的业务模型训练方法的流程图；
图3示出神经网络中的多个网络层的示意图；
图4示出扩展的神经网络的示意图；
图5示出根据一个实施例的部署在服务器中的训练装置示意图；
图6示出根据一个实施例的部署在终端中的训练装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1示出通过联邦学习进行业务模型训练的一个场景示例。在图1的示意场景中，分布式系统包括服务器和N个终端，各个终端拥有用于模型训练的训练样本。上述终端既可以是大型机构的数据平台，例如，银行，医院，支付平台等，也可以是小型设备，例如，个人PC，智能手机，IoT设备，等等。各个终端的设备类型可以相同也可以不同。
待训练的业务模型用于针对业务对象进行预测，业务对象可以是用户、商户、交易、图像、文本、音频等各种对象。为了进行模型训练，各个终端拥有各自的业务对象样本集，其中各个样本包含业务对象的特征信息作为样本特征，还包括与预测目标对应的标签，该标签可以是分类标签或回归值标签。例如，在一个具体例子中，业务对象为账号表示的用户。相应的，样本特征可以包括，例如账号的注册时长、注册信息、最近一段时间的使用频次、发表评论的频次，等等；标签可以是用户分类标签，例如用于示出用户所属的人群，或者示出该账号是否为异常账号(垃圾账号、水军账号、被盗用账号等等)。在另一例子中，业务对象为交易。相应的，样本特征可以包括，例如交易金额、交易时间、支付渠道、交易双方属性信息等等。本说明书对于业务对象不做限制，各种业务对象的情况不再一一赘述。
在一种典型的联邦学习过程中，服务器确定待训练的业务模型的结构和算法，并对其进行初始化，然后通过多次迭代对模型进行更新。在每次迭代中，服务器将模型的当前参数W下发给各个终端。每个终端i基于其本地的训练样本，对具有当前参数W的模型进行训练，得到模型参数的梯度Gi，即参数改变量或更新量。然后，终端i将模型参数的梯度信息发送给服务器。服务器从N个终端分别得到N份梯度信息，对N份梯度信息进行聚合，得到本轮迭代模型参数的综合梯度，并根据该综合梯度，对模型参数进行更新，直到达到训练结束条件。于是，服务器和N个终端协同实现模型的联合训练。
然而，不加保护地实施以上联邦学习过程，存在隐私泄露的风险。一方面，基于本地样本得到的参数梯度，有可能携带有本地样本的信息，而这些本地样本往往是数据平台所需要保护的隐私数据，例如，用户的个人信息，银行流水，就医记录等等。恶意的攻击者有可能从终端与服务器之间交互的梯度信息中获知训练样本的信息。或者，一个终端可能从服务器下发的参数信息中，反推出其他终端的梯度信息，进而推测其训练样本数据。此外，还存在模型输出隐私问题，即，攻击者可能会通过查询训练中或训练后的模型，推测训练样本中是否包含特定的数据记录。
为了在联邦学习过程中保护各个终端的隐私数据，发明人提出，服务器采用扰动加密算法将模型参数进行扰动加密后，再分发给各个终端。终端利用扰动加密的模型处理其本地训练样本，得到扰动梯度。为了避免服务器利用扰动加密算法对应的解密方式恢复出真实梯度，终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布，使得经扰动解密后噪声符合高斯分布，从而满足差分隐私保护的要求。如此，在联邦学习过程中，模型参数和梯度的真实明文值都不会暴露，从而确保隐私数据的安全。
下面描述以上构思的具体实现过程。
图2示出根据一个实施例保护隐私的业务模型训练方法的流程图。该流程图涉及服务器和第一终端，服务器可以通过任何具有计算、处理能力的装置、设备、设备集群来实现。第一终端是参与联邦学习的多个终端中的任意一个终端，可以具有任意的设备类型。该图中出于简单清楚的目的，仅示出了一个终端。然而需要理解，联邦学习过程中的多个终端，均可以按照第一终端的方式实施训练过程。
上述业务模型可以实现为神经网络，例如多层全连接的深度神经网络DNN(或称为多层感知机MLP)，卷积神经网络CNN，等等。下面结合多层感知机MLP的例子进行具体描述。
图3示出神经网络中的多个网络层的示意图。假定神经网络包含L个网络层，其中任意的第l个网络层表示为层l。当l＝1时，表示其为输入层，当l＝L时，表示其为输出层，其余情况下为中间层。在MLP的情况下，除输出层外的每个网络层，其中的每个神经元都与下一网络层中的每个神经元连接。假定层l具有nl个神经元，其前一层l-1具有nl-1个神经元，则从层l-1到层l具有nl-1×nl条连接边，每个连接边具有对应的权重，作为模型中待训练的模型参数。因此，层l具有nl-1×nl个模型参数，构成nl-1×nl维的参数矩阵，表示为W(l)。
对于采用Relu函数作为神经元激活函数的神经网络，各个网络层l的输出可以表示为y(l)，并通过下式计算：
Figure BDA0003718536170000101
在模型训练过程中，需要通过多次迭代对各个层的参数矩阵W(l)进行更新。图2示出其中任意一次迭代更新的过程。下面描述具体实施过程。
首先，在步骤21，服务器针对神经网络中的多个网络层，确定对应的随机扰动矩阵。对于网络层l，服务器确定对应的随机扰动矩阵R(l)，该随机扰动矩阵R(l)作为密钥，用于对对应的参数矩阵W(l)进行扰动加密。一般地，扰动加密是通过扰动变换的方式，掩盖加密对象的真实值。后续可以利用相应的反向变换，消除扰动变换的影响。这里，为了对参数矩阵进行扰动加密，一般地，要求随机扰动矩阵R(l)与参数矩阵W(l)具有相同的维度。
根据扰动变换的具体方式，可以采用不同算法确定出扰动矩阵。在一个实施例中，可以针对各个网络层，分别独立而随机地生成对应的随机扰动矩阵。具体的，针对网络层l，可以根据该层参数矩阵的维度，随机生成相应数量的矩阵元素，作为对应的随机扰动矩阵R(l)。
在另一个实施例中，可以针对神经网络的各个网络层，确定对应的随机向量，并基于各个网络层的随机向量，进一步生成各个网络层的扰动矩阵。具体的，对于网络层l，可以对应生成随机向量r(l)，使得该随机向量r(l)的维度与层l中神经元的数目nl相同。如此，可以通过将相邻网络层的随机向量中的元素进行组合，得到对应的随机扰动矩阵。
例如，假定网络层l具有nl维的随机向量r(l)，其前一网络层l-1具有nl-1维的随机向量r(l-1)，则可以通过组合r(l)和r(l-1)中的元素，得到nl-1×nl维的随机扰动矩阵，作为层l的随机扰动矩阵。对于输入层和输出层，可以进行特殊设置，生成对应的随机扰动矩阵。
在一个具体例子中，对于任意网络层l，通过以下方式，基于随机向量生成随机扰动矩阵R(l)：
Figure BDA0003718536170000111
即，对于输入层l＝1，将对应随机向量r(1)中的元素作为矩阵元素，得到该输入层对应的随机扰动矩阵R(1)；
对于中间层2<＝l<＝L-1，将该中间层l对应的随机向量r(l)中的各个向量元素
Figure BDA0003718536170000112
和前一网络层l-1对应的随机向量r(l-1)中的各个向量元素
Figure BDA0003718536170000113
的倒数，分别进行组合，将组合结果作为网络层l对应的随机扰动矩阵R(l)中的各个矩阵元素
Figure BDA0003718536170000114
对于输出层l＝L，将其前一层L-1对应的随机向量r(L-1)中各个元素的倒数作为矩阵元素，得到该输出层对应的随机扰动矩阵R(L)。
以上举例了一种效果较好的确定随机扰动矩阵的方式。在其他例子中，也可以利用其他随机向量元素组合方式，例如对于中间层，将相邻两层的随机向量中的元素进行相乘组合，得到对应的随机扰动矩阵。
在一个实施例中，还可以针对输出层l＝L，生成特殊的随机向量，从而在以上随机扰动矩阵基础上，构建附加扰动矩阵，用于后续扰动加密。
具体的，对于包含nL个神经元的输出层，可以生成nL维的随机向量γ和ra，其中，ra具有成对不同的元素，γ中的元素可以划分为互不重叠的几个组，每组中的元素相同，用γi表示其中第i个组。如此，可以基于上述随机向量γ和ra，针对输出层构建附加扰动矩阵Ra：
Figure BDA0003718536170000115
需要理解，各个网络层的随机扰动矩阵，可以在每轮迭代之前预先确定好，在多轮迭代中保持不变；也可以在每次迭代中临时生成。为了更好地保证隐私安全效果，优选在每轮迭代中重新生成随机扰动矩阵。
在确定出各个网络层的随机扰动矩阵的基础上，可以将上述随机扰动矩阵作为扰动加密的密钥，对各个网络层的参数矩阵进行扰动加密处理。于是，在步骤22，利用随机扰动矩阵对相应网络层的当前参数矩阵进行扰动处理，得到该网络层的扰动加密参数矩阵。
根据一个实施例，在该步骤中，针对各个网络层l，将该网络层l对应的随机扰动矩阵R(l)与其当前参数矩阵W(l)进行对应位置元素组合，例如，相乘组合，相加组合等，将组合结果矩阵作为该网络层的扰动加密参数矩阵
Figure BDA0003718536170000121
在下文中，用变量上面的“^”符号表示，该变量为扰动后的变量。
在一个实施例中，针对输出层进行特殊设置。对于输出层L，将该输出层对应的随机扰动矩阵R(L)与其当前参数矩阵W(L)进行对应位置元素组合，并叠加针对该输出层的附加扰动矩阵Ra，得到该输出层的扰动加密参数矩阵。
在一个具体例子中，利用随机扰动矩阵对各个层的参数矩阵进行扰动加密处理的过程可以表示为：
Figure BDA0003718536170000122
其中，运算符号
Figure BDA0003718536170000123
为Hadamard运算，表示对应位置元素相乘。
因此，根据公式(4)的例子，对于前L-1个网络层，利用其随机扰动矩阵对其参数矩阵进行按位相乘，作为扰动加密参数矩阵；对于输出层L，在按位相乘组合矩阵基础上叠加附加扰动矩阵Ra，得到其扰动加密参数矩阵。
需要说明的是，公式(4)示出一种效果较好的扰动加密方式。在其他例子中，也可以采用其他扰动加密算法。
如此，通过以上过程，得到了各个网络层的扰动加密参数矩阵
Figure BDA0003718536170000124
从而实现了对神经网络的扰动加密。
于是接着，在步骤23，服务器将扰动加密模型发送给多个终端，其中所述扰动加密模型包括多个网络层对应的扰动加密参数矩阵。该多个终端可以是参与本轮迭代训练的终端，第一终端是其中任意的一个终端。
下面以第一终端为例，描述终端侧接收到扰动加密模型后的处理过程。
如上所述，通过上述步骤23，第一终端接收到上述扰动加密模型。于是，在步骤24，第一终端利用该扰动加密模型，处理其本地的第一样本集，得到针对多个网络层中各网络层的第一噪声梯度项。
具体的，第一终端可以将第一样本集中各个样本的特征数据输入该扰动加密模型，通过正向传播，得到各网络层l的扰动输出
Figure BDA0003718536170000131
延续公式(1)所示的采用Relu函数的MLP例子，则各网络层l的扰动输出
Figure BDA0003718536170000132
可以表示为：
Figure BDA0003718536170000133
在采用公式(4)的方式得到扰动加密参数矩阵的情况下，对比公式(1)中各个网络层的真实输出，和公式(5)中的扰动输出，可以推出，真实输出和扰动扰动输出之间满足以下关系：
Figure BDA0003718536170000134
在公式(6)中，
Figure BDA0003718536170000135
γ和ra是前述公式(3)中所利用到的、针对输出层生成的特殊的随机向量。
在得到扰动输出的基础上，接着，根据各网络层的扰动输出，利用各个样本的标签数据以及预设损失函数进行反向传播，得到各个网络层对应的关于关于梯度的第一噪声梯度项。
在一个实施例中，损失函数采用均方误差MSE(Mean Squared Error)损失函数。此时，扰动损失
Figure BDA0003718536170000136
如下所示：
Figure BDA0003718536170000137
其中，
Figure BDA0003718536170000141
表示标签数据。
由此，可以推导出真实梯度
Figure BDA0003718536170000142
和扰动梯度
Figure BDA0003718536170000143
之间的关系：
Figure BDA0003718536170000144
其中：v＝rTr并且：
Figure BDA0003718536170000145
Figure BDA0003718536170000146
(9)和(10)中的α与公式(6)中定义的相同：
Figure BDA0003718536170000147
因此，在MSE损失函数的情况下，为了使得服务器对梯度进行扰动恢复，第一终端确定出的第一噪声梯度项可以包括，扰动梯度
Figure BDA0003718536170000148
公式(9)示出的扰动项σ(l)，和公式(10)示出的扰动项β(l)。
类似但略有不同的，在损失函数采用交叉熵CE损失形式的情况下，可以证明，真实梯度和扰动梯度之间满足以下关系：
Figure BDA0003718536170000149
其中，
Figure BDA00037185361700001410
β(l)与公式(10)定义的相同，其他参数项与公式(8)定义的对应相同。
因此，在交叉熵CE损失函数的情况下，为了使得服务器对梯度进行扰动恢复，第一终端确定出的第一噪声梯度项可以包括，扰动梯度
Figure BDA00037185361700001411
公式(12)示出的扰动项ψ(l)，和公式(10)示出的扰动项β(l)。
然而，如前所述，为了保护数据隐私，并不希望服务器能够完全恢复得到梯度的真实值。因此，接下来，在步骤25，在以上的第一噪声梯度项上叠加第二噪声，得到针对各网络层的混淆梯度项；其中，为了满足差分隐私的要求，应使得第二噪声与对应网络层的随机扰动矩阵的组合结果满足高斯分布。
这里，简单介绍一下差分隐私的高斯机制。满足差分隐私的高斯噪声算法
Figure BDA0003718536170000151
具有以下形式：
Figure BDA0003718536170000152
其中，f是查询函数，d为输入数据，
Figure BDA0003718536170000153
为添加的高斯噪声，该高斯噪声是以0为均值，以Sfσ为标准方差的正态分布(或称为高斯分布)，其中，Sf为查询函数f的敏感度，被定义为，将相邻数据d和d’输入函数f时可能得到的最大结果差异。
我们以交叉熵CE形式下的第一噪声梯度项为例，说明第二噪声的添加。假定针对层l，依照高斯机制，在第一噪声梯度项，特别是扰动梯度
Figure BDA0003718536170000154
上，添加幅度为Sapp的噪声∈(l)，那么服务器端进行扰动恢复得到的结果将会是：
Figure BDA0003718536170000155
即，将噪声幅度、方差乘以噪声矩阵∈(l)，作为第二噪声添加到第一噪声梯度项上，服务器侧用随机扰动矩阵R(l)进行扰动恢复后会产生最终噪声
Figure BDA0003718536170000156
该最终噪声是第二噪声与对应随机扰动矩阵R(l)的组合。为了使得最终噪声符合高斯分布
Figure BDA0003718536170000157
或提供更强的隐私保护，需要满足以下条件。
首先，敏感度的上界为Sapp，因此，需要使得
Figure BDA00037185361700001510
即噪声幅度不小于梯度的(无穷阶)范数。
另外，还应使得，
Figure BDA0003718536170000158
满足高斯分布，即，随机扰动矩阵R(l)中的矩阵元素，与噪声矩阵∈(l)中的矩阵元素的组合
Figure BDA0003718536170000159
满足高斯分布。为此，需要利用高斯分布的分解原理。
数学上可以证明(例如参见losif Pinelis.2018.The exp-normal distributionis infinitely divisible.CoRR(2018))，假定Z是高斯分布的变量，k为自然数，那么Z可以分解为k个独立同分布的变量W1，...，Wk的乘积：
Figure BDA0003718536170000161
具体的：
Figure BDA0003718536170000162
其中，G1/k，0，G1/k，1...是独立同分布的变量，每一个都具有Gamma分布Gamma(1/k，1),该Gamma分布具有形状参数1/k和尺度参数1。
下文中将高斯分布分解为k个变量的情况，称为k元分解，将其中分解变量的分布，称为高斯分布的k元分解数据分布，记为DN(k)。
可以利用上述原理，解决
Figure BDA0003718536170000163
的高斯分布问题。
在一个实施例中，在前述步骤21，服务器针对各个网络层独立而随机地生成随机扰动矩阵R(l)的各个元素
Figure BDA0003718536170000164
在这样的情况下，可进一步限制生成元素
Figure BDA0003718536170000165
的过程，使得其中各个元素符合高斯分布的二元分解数据分布，即DN(2)；同时，第一终端生成的噪声矩阵∈(l)中的各个元素
Figure BDA0003718536170000166
也应符合DN(2)。如此，其组合
Figure BDA0003718536170000167
可以满足高斯分布。
在另一实施例中，在前述步骤21，服务器基于各个层的随机向量的组合，生成对应的随机扰动矩阵。例如，当服务器采用公式(2)的方式，确定随机扰动矩阵R(l)时，则
Figure BDA0003718536170000168
表示如下：
Figure BDA0003718536170000169
可以看到，由于随机扰动矩阵R(l)中的元素，来源于随机向量中向量元素的不同组合，为了符合高斯分布的要求，可能对随机向量中的向量元素提出矛盾的需求。例如，对于2≤l≤L-1的中间层，
Figure BDA0003718536170000171
分解为3个元素的乘积，每个元素都应符合DN(3)。那么，对于网络层l，当将其作为当前层时，必然要求随机向量中的各个向量元素
Figure BDA0003718536170000172
满足DN(3)；当分析层l+1，将层l作为上一层时，则会要求
Figure BDA0003718536170000173
符合DN(3)。这就对向量元素
Figure BDA0003718536170000174
的数据分布提出了矛盾的要求。
为了解决这样矛盾的需求，在一个实施例中，将原有神经网络进行扩展。图4示出扩展的神经网络的示意图。假定原有神经网络包括N个实际网络层，则在相邻的实际网络层之间插入过渡网络层，形成N-1个过渡网络层。图4中以粗实线框示出实际网络层，以虚线框示出过渡网络层。如此，在扩展的L层神经网络中，奇数层是实际网络层，偶数层是过渡网络层。
实际网络层具有前述待训练的参数矩阵W(l)，而过渡网络层具有单位矩阵I作为其参数矩阵，该参数矩阵固定不变，不需训练，只是起到将上一实际网络层的输出，原样传递到下一实际网络层的作用。因此，过渡网络层对于实际样本数据的处理过程没有影响，只是用于辅助生成所需的随机向量。
如此，基于扩展的神经网络，当服务器采用公式(2)的方式，根据随机向量确定随机扰动矩阵时，层l的随机向量中的元素
Figure BDA0003718536170000175
应遵循以下数据分布：
Figure BDA0003718536170000176
也就是说，如果网络层l是实际网络层中的中间层(奇数层)，其随机向量中的各个向量元素符合高斯分布的三元分解数据分布DN(3)，如果网络层l是过渡网络层(偶数层)中的中间层，其随机向量中各个向量元素的倒数，符合DN(3)。最后一个过渡网络层(L-1层)，其随机向量中的向量元素的倒数，符合DN(2)。此外，对于输入层，其随机向量的向量元素符合高斯分布的二元分解数据分布DN(2)。
当采用扩展的神经网络时，在一个实施例中，服务器针对所有网络层，按照公式(18)所示的数据分布生成随机向量，但是仅针对实际网络层确定随机扰动矩阵R(l)，并相应计算扰动加密参数矩阵
Figure BDA0003718536170000181
相应的，在步骤23，服务器仅将实际网络层的扰动加密参数矩阵发送给第一终端。
在另一实施例中，服务器也可以针对所有网络层确定随机扰动矩阵，计算扰动加密参数矩阵，并将全量网络层的扰动加密参数矩阵作为扰动加密模型发送给第一终端。
相应的，如果第一终端接收的是实际网络层，则其在步骤24进行正常的神经网络正向传播和反向传播。如果第一终端接收的是全量网络层，则在步骤24，可以忽略掉偶数层的网络层，仅针对实际网络层进行正向传播和反向传播。
并且在步骤25确定用于层l的噪声矩阵∈(l)时，使得矩阵元素满足以下约束：
Figure BDA0003718536170000182
即，对于实际网络层(奇数层)中的中间层，使得各个矩阵元素满足高斯分布的三元分解数据分布DN(3)；对于输入层和输出层，使得各个矩阵元素满足高斯分布的二元分解数据分布DN(2)。
综合以上公式(17)，(18)和(19)，可以证明，组合
Figure BDA0003718536170000183
满足高斯分布。
具体的，对于输入层，由于
Figure BDA0003718536170000191
和
Figure BDA0003718536170000192
均满足DN(2)，其乘积符合高斯分布；
对于中间奇数层，即实际网络层中的中间层，
Figure BDA0003718536170000193
和
Figure BDA0003718536170000194
均满足DN(3)，其乘积符合高斯分布；
对于输出层，
Figure BDA0003718536170000195
和
Figure BDA0003718536170000196
均满足DN(2)，其乘积符合高斯分布。
接着，在步骤26，第一终端将叠加有第二噪声的混淆梯度项发送给服务器。例如，在交叉熵损失的情况下，将叠加有噪声的扰动梯度
Figure BDA0003718536170000197
以及扰动项ψ(l)和β(l)，发送给服务器。在MSE损失的情况下，将叠加有噪声的扰动梯度
Figure BDA0003718536170000198
以及扰动项σ(l)和β(l)，发送给服务器。
于是，在步骤27，服务器利用各个网络层对应的随机扰动矩阵R(l)，对相应网络层的混淆梯度项进行恢复处理，得到多个网络层的恢复梯度。
例如，在交叉熵损失的情况下，服务器可以依据公式(14)，利用矩阵R(l)进行恢复处理。在MSE损失的情况下，可以依据公式(8)进行类似的恢复处理。恢复处理得到的结果是在真实梯度上叠加最终噪声
Figure BDA0003718536170000199
的结果。由于已经确保
Figure BDA00037185361700001910
满足高斯分布，使得最终噪声可以满足差分隐私的要求。
于是，在步骤28，服务器可以将从各个终端得到的梯度恢复结果进行聚合，根据聚合结果，更新各个网络层的当前参数矩阵，实现一次模型参数的迭代更新。
回顾以上过程可以看到，在模型迭代更新过程中，服务器将各个网络层的参数进行扰动加密后，下发给终端。终端可以基于扰动加密的模型，直接进行样本数据的处理，得到扰动梯度。对模型参数的扰动加密，一方面确保模型参数的安全，并且扰动加密的方式使得终端可以无需解密，直接进行样本处理，极大节约了终端的计算资源。特别是对于计算能力有限的小型终端来说，这样的方式优势非常明显。此外，终端在得到扰动梯度后，还在其上添加噪声，并使得扰动恢复后最终的噪声符合高斯分布，从而满足差分隐私的要求。于是，服务器和其他各方，也都无从获取到梯度的真实值，进一步保证了隐私数据的安全。
根据另一方面的实施例，还提供一种基于隐私保护的联合训练业务模型的装置，该装置部署在服务器中，服务器可以实现为任何具有计算、处理能力的设备或设备集群。图5示出根据一个实施例的部署在服务器中的训练装置示意图。如图5所示，该训练装置500包括：
扰动矩阵确定单元51，配置为针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵；
扰动加密单元52，配置为利用所述随机扰动矩阵对相应网络层的当前参数矩阵进行扰动处理，得到该网络层的扰动加密参数矩阵；
发送单元53，配置为将扰动加密模型发送给多个终端，其中所述扰动加密模型包括所述多个网络层对应的扰动加密参数矩阵；
接收单元54，配置为从所述多个终端中任意的第一终端接收所述多个网络层分别对应的混淆梯度项，其中所述混淆梯度项是在第一噪声梯度项上叠加第二噪声而得到，其中所述第一噪声梯度项通过利用所述扰动加密模型处理所述第一终端本地的第一样本集而得到，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；
扰动恢复单元55，配置为利用所述多个网络层对应的所述随机扰动矩阵，对相应网络层的混淆梯度项进行恢复处理，得到所述多个网络层的梯度恢复结果；
聚合更新单元56，配置为将对应于所述多个终端的梯度恢复结果进行聚合，根据聚合结果，更新所述多个网络层的当前参数矩阵。
根据一种实施方式，扰动矩阵确定单元51包括(未示出)：随机向量确定模块，配置为针对所述神经网络的各个网络层，确定对应的随机向量，所述随机向量的维度与相应网络层中神经元的数目相同；矩阵确定模块，配置为根据第一网络层的随机向量及其相邻网络层的随机向量，确定该第一网络层对应的随机扰动矩阵，其中所述第一网络层是所述神经网络中的中间层。
在一个实施例中，所述神经网络包括N个待训练的实际网络层，以及插入在相邻的实际网络层之间的N-1个过渡网络层，所述过渡网络层具有固定的单位矩阵作为其参数矩阵；在这样的情况下，上述随机向量确定模块具体配置为：针对实际网络层中的各个中间层，确定第一随机向量；针对各个过渡网络层，确定第二随机向量；其中，所述第一随机向量和第二随机向量中的向量元素，具有不同的数据分布。
进一步的，在一个例子中，上述第一随机向量中的各个向量元素，符合高斯分布的三元分解数据分布；上述第二随机向量中的各个向量元素的倒数，符合高斯分布的三元分解数据分布；所述第一网络层为实际网络层中的中间层；在这样的情况下，上述矩阵确定模块具体配置为：将该第一网络层对应的第一随机向量中的各个向量元素，和该第一网络层的前一过渡网络层对应的第二随机向量中的各个向量元素的倒数分别进行组合，将组合结果作为该第一网络层对应的随机扰动矩阵中的各个矩阵元素。
在一个实施例中，上述随机向量确定模块还配置为：针对实际网络层中的输入层，确定第三随机向量，其中各个向量元素符合高斯分布的二元分解数据分布；并且，矩阵确定模块还配置为：将该输入层对应的第三随机向量中的元素作为矩阵元素，得到该输入层对应的随机扰动矩阵。
在一个实施例中，上述随机向量确定模块还配置为，针对最后一个过渡网络层，确定最后一个第二随机向量，其中各个向量元素的倒数，符合高斯分布的二元分解数据分布；并且，矩阵确定模块还配置为：针对实际网络层中的输出层，将所述最后一个第二随机向量中各个元素的倒数作为矩阵元素，得到该输出层对应的随机扰动矩阵。
根据一个实施例，前述多个网络层为所述N个待训练的实际网络层。
根据一种实施方式，扰动加密单元52具体配置为：对于所述N个实际网络层中除输出层之外的其他各网络层，将该网络层对应的随机扰动矩阵与其当前参数矩阵进行对应位置元素组合，得到该网络层的扰动加密参数矩阵；对于所述输出层，将该输出层对应的随机扰动矩阵与其当前参数矩阵进行对应位置元素组合，并叠加针对该输出层的附加扰动矩阵，得到该输出层的扰动加密参数矩阵。
在各个实施例中，所述业务模型用于针对业务对象进行预测，所述业务对象包括以下之一：用户、商户、交易、图像、文本、音频。
根据又一方面的实施例，还提供一种基于隐私保护的联合训练业务模型的装置，该装置部署在第一终端中，该第一终端可以是任意类型的终端计算设备。图6示出根据一个实施例的部署在终端中的训练装置示意图。如图6所示，该训练装置600包括：
接收单元61，配置为从服务器接收扰动加密模型，其中包括所述神经网络中多个网络层分别对应的扰动加密参数矩阵，所述扰动加密参数矩阵是利用相应网络层的随机扰动矩阵对该网络层的当前参数矩阵进行扰动处理而得到；
梯度获取单元62，配置为利用所述扰动加密模型处理所述第一终端本地的第一样本集，得到针对所述多个网络层中各网络层的第一噪声梯度项；
噪声添加单元63，配置为在所述第一噪声梯度项上叠加第二噪声，得到针对各网络层的混淆梯度项；其中，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；
发送单元64，配置为将所述混淆梯度项发送给所述服务器，使其利用所述随机扰动矩阵对相应网络层的混淆梯度项进行恢复处理，并将对应于多个终端的恢复梯度进行聚合，从而更新所述多个网络层的当前参数矩阵。
在一个实施例中，所述神经网络包括N个待训练的实际网络层，以及插入在相邻的实际网络层之间的N-1个过渡网络层，所述过渡网络层具有固定的单位矩阵作为其参数矩阵；所述多个网络层为所述N个待训练的实际网络层。
根据一个实施例，梯度获取单元62具体配置为：将所述第一样本集中各个样本的特征数据输入所述扰动加密模型，得到各网络层的扰动输出；根据各网络层的扰动输出，各个样本的标签数据以及预设损失函数，得到所述第一噪声梯度项。
在一个实施例中，噪声添加单元63具体配置为：确定各网络层对应的噪声矩阵；将所述噪声矩阵，乘以预设的噪声幅度和方差，作为各网络层对应的第二噪声，叠加到所述第一噪声梯度项上，其中，所述噪声幅度不小于梯度的范数。
进一步的，噪声添加单元63确定各网络层对应的噪声矩阵可以包括：对于所述多个网络层中的中间层，确定第一噪声矩阵，其中各个矩阵元素满足高斯分布的三元分解数据分布；对于所述多个网络层的输入层和输出层，确定第二噪声矩阵，其中各个矩阵元素满足高斯分布的二元分解数据分布。
通过以上的装置，可以利用模型的扰动加密和梯度噪声的差分隐私处理，保护模型参数和梯度数据均不泄密，进而确保隐私数据安全。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种基于隐私保护的联合训练业务模型的方法，包括：
服务器采用扰动加密算法将所述业务模型的模型参数进行扰动加密后，分发给多个终端；
各个终端利用扰动加密的模型处理其本地训练样本，得到扰动梯度；
所述各个终端在所述扰动梯度上叠加噪声，使得经扰动解密后噪声符合高斯分布；
服务器根据扰动解密后的梯度更新所述业务模型。
2.一种基于隐私保护的联合训练业务模型的方法，通过服务器执行，包括：
采用扰动加密算法将所述业务模型的模型参数进行扰动加密后，分发给多个终端；
从各个终端接收叠加噪声后的扰动梯度，所述扰动梯度是对应终端利用扰动加密的模型处理其本地训练样本而得到，叠加噪声后的扰动梯度使得经扰动解密后噪声符合高斯分布；
根据扰动解密后的梯度更新所述业务模型。
3.根据权利要求2所述的方法，其中，所述业务模型通过神经网络实现，采用扰动加密算法将所述业务模型的模型参数进行扰动加密，包括：
针对所述神经网络中的各网络层l，确定对应的随机扰动矩阵；
将该网络层l的原始参数矩阵与对应的随机扰动矩阵进行对应位置元素的相乘，基于相乘结果得到该网络层的扰动加密参数矩阵。
4.根据权利要求3所述的方法，其中，所述网络层l为神经网络的中间层；针对所述神经网络中的各网络层l，确定对应的随机扰动矩阵，包括：
将该中间层对应的随机向量中的各个向量元素，和前一网络层对应的随机向量中的各个向量元素的倒数，分别进行组合，将组合结果作为网络层l对应的随机扰动矩阵中的各个矩阵元素。
5.一种基于隐私保护的联合训练业务模型的方法，通过多个终端中的第一终端执行，包括：
从服务器接收其采用扰动加密算法将所述业务模型的模型参数进行扰动加密后的模型；
利用扰动加密的模型处理本地训练样本，得到扰动梯度；
在所述扰动梯度上叠加噪声，使得经扰动解密后噪声符合高斯分布；
将叠加噪声的扰动梯度发送给服务器，使其根据扰动解密后的梯度更新所述业务模型。
6.根据权利要求5所述的方法，其中，所述业务模型通过神经网络实现，在所述扰动梯度上叠加噪声，包括：
确定各网络层对应的噪声矩阵；
将所述噪声矩阵，乘以预设的噪声幅度和方差，作为各网络层对应的噪声，叠加到所述扰动梯度上。
7.根据权利要求5所述的方法，其中，所述业务模型用于针对用户进行预测，所述本地训练样本包括，样本特征和用户分类标签；所述样本特征包括以下中的至少一项：注册时长、注册信息、最近一段时间的使用频次、发表评论的频次。
8.根据权利要求5所述的方法，其中，所述业务模型用于针对交易进行预测，所述本地训练样本包括，样本特征和交易类别标签；所述样本特征包括以下中的至少一项：交易金额、交易时间、支付渠道、交易双方属性信息。
9.一种基于隐私保护的联合训练业务模型的系统，包括服务器和多个终端，其中：
所述服务器用于，采用扰动加密算法将所述业务模型的模型参数进行扰动加密后，分发给多个终端；
各个终端用于，利用扰动加密的模型处理其本地训练样本，得到扰动梯度；并在所述扰动梯度上叠加噪声，使得经扰动解密后噪声符合高斯分布；
所述服务器还用于，根据扰动解密后的梯度更新所述业务模型。
CN202210742526.1A 2020-12-06 2020-12-06 基于隐私保护的联合训练业务模型的方法及装置 Pending CN114936650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210742526.1A CN114936650A (zh) 2020-12-06 2020-12-06 基于隐私保护的联合训练业务模型的方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210742526.1A CN114936650A (zh) 2020-12-06 2020-12-06 基于隐私保护的联合训练业务模型的方法及装置
CN202011409592.4A CN112541593B (zh) 2020-12-06 2020-12-06 基于隐私保护的联合训练业务模型的方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011409592.4A Division CN112541593B (zh) 2020-12-06 2020-12-06 基于隐私保护的联合训练业务模型的方法及装置

Publications (1)

Publication Number Publication Date
CN114936650A true CN114936650A (zh) 2022-08-23

Family

ID=75015994

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210742526.1A Pending CN114936650A (zh) 2020-12-06 2020-12-06 基于隐私保护的联合训练业务模型的方法及装置
CN202011409592.4A Active CN112541593B (zh) 2020-12-06 2020-12-06 基于隐私保护的联合训练业务模型的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011409592.4A Active CN112541593B (zh) 2020-12-06 2020-12-06 基于隐私保护的联合训练业务模型的方法及装置

Country Status (1)

Country Link
CN (2) CN114936650A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011587B (zh) * 2021-03-24 2022-05-10 支付宝(杭州)信息技术有限公司 一种隐私保护的模型训练方法和系统
CN113157399B (zh) * 2021-05-17 2022-11-11 北京冲量在线科技有限公司 基于arm架构芯片的非监督联合建模方法
CN113435592B (zh) * 2021-05-22 2023-09-22 西安电子科技大学 一种隐私保护的神经网络多方协作无损训练方法及系统
CN113255002B (zh) * 2021-06-09 2022-07-15 北京航空航天大学 一种保护多方隐私的联邦k近邻查询方法
CN113221183B (zh) * 2021-06-11 2022-09-16 支付宝(杭州)信息技术有限公司 实现隐私保护的多方协同更新模型的方法、装置及系统
CN113222480B (zh) * 2021-06-11 2023-05-12 支付宝(杭州)信息技术有限公司 对抗样本生成模型的训练方法及装置
CN113821732B (zh) * 2021-11-24 2022-02-18 阿里巴巴达摩院(杭州)科技有限公司 保护用户隐私的项目推荐方法、设备和学习系统
CN115001748B (zh) * 2022-04-29 2023-11-03 北京奇艺世纪科技有限公司 一种模型处理方法、装置及计算机可读存储介质
CN114782176B (zh) * 2022-06-23 2022-10-25 浙江数秦科技有限公司 一种基于联邦学习的信贷业务推荐方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388662A (zh) * 2017-08-02 2019-02-26 阿里巴巴集团控股有限公司 一种基于共享数据的模型训练方法及装置
US20190130110A1 (en) * 2017-11-01 2019-05-02 International Business Machines Corporation Protecting Cognitive Systems from Gradient Based Attacks through the Use of Deceiving Gradients
US20200104678A1 (en) * 2018-09-27 2020-04-02 Google Llc Training optimizer neural networks
CN111461215A (zh) * 2020-03-31 2020-07-28 支付宝(杭州)信息技术有限公司 业务模型的多方联合训练方法、装置、系统及设备
CN111723404A (zh) * 2020-08-21 2020-09-29 支付宝(杭州)信息技术有限公司 联合训练业务模型的方法及装置
US20200311520A1 (en) * 2019-03-29 2020-10-01 International Business Machines Corporation Training machine learning model

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214404A (zh) * 2017-07-07 2019-01-15 阿里巴巴集团控股有限公司 基于隐私保护的训练样本生成方法和装置
KR102061345B1 (ko) * 2017-12-18 2019-12-31 경희대학교 산학협력단 강화 학습 기반 암호화 및 복호화 수행 방법 및 이를 수행하는 클라이언트, 서버 시스템
CN108520181B (zh) * 2018-03-26 2022-04-22 联想(北京)有限公司 数据模型训练方法和装置
CN109034228B (zh) * 2018-07-17 2021-10-12 陕西师范大学 一种基于差分隐私和层级相关性传播的图像分类方法
CN111788584A (zh) * 2018-08-21 2020-10-16 华为技术有限公司 一种神经网络计算方法和装置
CN109495476B (zh) * 2018-11-19 2020-11-20 中南大学 一种基于边缘计算的数据流差分隐私保护方法及系统
CN111177768A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111177792B (zh) * 2020-04-10 2020-06-30 支付宝(杭州)信息技术有限公司 基于隐私保护确定目标业务模型的方法及装置
CN111324911B (zh) * 2020-05-15 2021-01-01 支付宝(杭州)信息技术有限公司 一种隐私数据保护方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109388662A (zh) * 2017-08-02 2019-02-26 阿里巴巴集团控股有限公司 一种基于共享数据的模型训练方法及装置
US20190130110A1 (en) * 2017-11-01 2019-05-02 International Business Machines Corporation Protecting Cognitive Systems from Gradient Based Attacks through the Use of Deceiving Gradients
US20200104678A1 (en) * 2018-09-27 2020-04-02 Google Llc Training optimizer neural networks
US20200311520A1 (en) * 2019-03-29 2020-10-01 International Business Machines Corporation Training machine learning model
CN111461215A (zh) * 2020-03-31 2020-07-28 支付宝(杭州)信息技术有限公司 业务模型的多方联合训练方法、装置、系统及设备
CN111723404A (zh) * 2020-08-21 2020-09-29 支付宝(杭州)信息技术有限公司 联合训练业务模型的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李英;贺春林;: "面向深度神经网络训练的数据差分隐私保护随机梯度下降算法", 计算机应用与软件, no. 04, 12 April 2020 (2020-04-12) *

Also Published As

Publication number Publication date
CN112541593A (zh) 2021-03-23
CN112541593B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN112541593B (zh) 基于隐私保护的联合训练业务模型的方法及装置
CN111160573B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111177791B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
WO2021197037A1 (zh) 双方联合进行数据处理的方法及装置
CN111178549B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN112989368B (zh) 多方联合进行隐私数据处理的方法及装置
US11222138B2 (en) Privacy-preserving machine learning in the three-server model
Zhang et al. Additively homomorphical encryption based deep neural network for asymmetrically collaborative machine learning
CN112199702A (zh) 一种基于联邦学习的隐私保护方法、存储介质及系统
CN111177768A (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111738361B (zh) 业务模型的联合训练方法及装置
CN111241570A (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN110580409A (zh) 模型参数确定方法、装置和电子设备
CN111291411B (zh) 基于卷积神经网络的安全视频异常检测系统及方法
CN116561787A (zh) 视觉图像分类模型的训练方法、装置及电子设备
CN112101946B (zh) 联合训练业务模型的方法及装置
CN112507372B (zh) 实现隐私保护的多方协同更新模型的方法及装置
Zhang et al. SecureTrain: An approximation-free and computationally efficient framework for privacy-preserved neural network training
CN111859440A (zh) 基于混合协议的分布式隐私保护逻辑回归模型的样本分类方法
CN115186876A (zh) 保护数据隐私的两方联合训练业务预测模型的方法及装置
CN114358323A (zh) 联邦学习环境中基于第三方高效皮尔森系数计算方法
CN114547684A (zh) 一种保护隐私数据的多方联合训练树模型的方法及装置
Wang et al. Multiple Differential Distinguisher of SIMECK32/64 Based on Deep Learning
US20240121080A1 (en) Cryptographic key generation using machine learning
CN108475483B (zh) 隐匿决定树计算系统、装置、方法以及记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination