CN112084520A - 保护数据隐私的双方联合训练业务预测模型的方法及装置 - Google Patents

保护数据隐私的双方联合训练业务预测模型的方法及装置 Download PDF

Info

Publication number
CN112084520A
CN112084520A CN202010989985.0A CN202010989985A CN112084520A CN 112084520 A CN112084520 A CN 112084520A CN 202010989985 A CN202010989985 A CN 202010989985A CN 112084520 A CN112084520 A CN 112084520A
Authority
CN
China
Prior art keywords
party
product
current
matrix
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010989985.0A
Other languages
English (en)
Other versions
CN112084520B (zh
Inventor
邱伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010989985.0A priority Critical patent/CN112084520B/zh
Publication of CN112084520A publication Critical patent/CN112084520A/zh
Application granted granted Critical
Publication of CN112084520B publication Critical patent/CN112084520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioethics (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Computer Security & Cryptography (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种保护数据隐私的双方联合训练业务预测模型的方法及装置，其中第一方和第二方分别拥有一部分特征数据，分别维护第一和第二参数部分，通过模型迭代进行联合训练，每次迭代时，双方各自按照本次各自的正态分布随机生成各自的随机矩阵，并各自计算其特征矩阵与随机矩阵的乘积结果，基于双方得到的乘积结果与第一方拥有的标签，确定当前目标损失。若基于当前目标损失选择拒绝更新，双方各自重新执行随机生成随机矩阵以及之后的步骤。若基于当前目标损失选择接受更新，双方各自利用当前的随机矩阵更新得到本次参数部分。如此确保了隐私数据不被泄露，提高了联合训练过程中隐私数据的安全性。

Description

保护数据隐私的双方联合训练业务预测模型的方法及装置
技术领域
本说明书一个或多个实施例涉及数据安全和机器学习领域，具体地，涉及双方联合训练业务预测模型的方法和装置。
背景技术
机器学习所需要的数据往往会涉及到多个领域。例如在基于机器学习的商户分类分析场景中，电子支付平台拥有商户的交易流水数据，电子商务平台存储有商户的销售数据，银行机构拥有商户的借贷数据。数据往往以孤岛的形式存在。由于行业竞争、数据安全、用户隐私等问题，数据整合面临着很大阻力，将分散在各个平台的数据整合在一起训练机器学习模型难以实现。在保证数据不泄露的前提下，使用多方数据联合训练机器学习模型变成目前的一大挑战。
发明内容
为了解决上述技术问题之一，本说明书一个或多个实施例提供一种保护数据隐私的双方联合训练业务预测模型的方法、装置及电子设备。
根据第一方面，提供一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述方法应用于所述第一方，该方法包括，多次执行目标迭代；其中，每次目标迭代包括：
以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布；
按照所述本次第一正态分布随机生成第一随机矩阵；
计算所述第一特征矩阵与所述第一随机矩阵相乘得到的第一乘积；
从所述第二方接收第二乘积；所述第二乘积为所述第二特征矩阵与第二随机矩阵相乘的乘积；所述第二随机矩阵由所述第二方按照本次第二正态分布随机生成；所述本次第二正态分布的期望为前次迭代得到的前次第二参数部分；
基于所述第一乘积、所述第二乘积和所述标签向量，确定当前目标损失；
基于所述当前目标损失选择拒绝更新或接受更新；
若选择拒绝更新，重新执行所述随机生成第一随机矩阵以及之后的步骤；若选择接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。
可选的，所述本次第一正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和；其中，所述前次协方差矩阵为前次迭代确定的前次第一正态分布的协方差矩阵；所述目标乘积为所述前次第一参数部分与所述前次第一参数部分的转置矩阵相乘得到的乘积。
可选的，所述基于所述当前目标损失选择拒绝更新或接受更新，包括：
确定所述当前目标损失减前次目标损失的差值；其中，所述前次目标损失为前次迭代结果对应的目标损失；
基于所述差值选择拒绝更新或接受更新。
可选的，所述基于所述差值选择拒绝更新或接受更新，包括：
若所述差值小于0，选择接受更新；
若所述差值大于0，计算目标概率作为选中接受更新的概率；所述目标概率与所述差值负相关；
按照所述目标概率随机选择拒绝更新或接受更新。
可选的，所述业务预测模型为线性回归模型；
其中，所述基于所述第一乘积、所述第二乘积和所述标签向量，确定当前目标损失，包括：
计算所述第一乘积与所述第二乘积之和，得到当前预测值；
计算所述当前预测值和所述标签向量的最小平方误差，作为当前目标损失。
可选的，所述业务预测模型为逻辑回归模型；
其中，所述基于所述第一乘积、所述第二乘积和所述标签向量，确定当前目标损失，包括：
对所述第一乘积与所述第二乘积之和进行softmax运算，得到当前结果；
计算所述当前结果和所述标签向量的交叉熵，作为当前目标损失。
可选的，在基于所述当前目标损失选择拒绝更新或接受更新之后，还包括：
向所述第二方发送用于指示拒绝更新或接受更新的指示信息。
可选的，所述业务对象包括以下之一：用户，商户，商品，事件；所述业务预测模型用于预测所述业务对象的分类或回归值。
根据第二方面，提供一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述方法应用于所述第一方，该方法包括，多次执行目标迭代；其中，每次目标迭代包括：
以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布；
按照所述本次第一正态分布随机生成第一随机矩阵；
计算所述第一特征矩阵与所述第一随机矩阵相乘得到的第一乘积；
从所述第二方接收第二加密乘积；所述第二加密乘积为使用中立的第三方的公钥和同态加密算法，对所述第二特征矩阵与第二随机矩阵相乘的第二乘积进行加密得到的；所述第二随机矩阵由所述第二方按照本次第二正态分布随机生成；所述本次第二正态分布的期望为前次迭代得到的前次第二参数部分；
基于所述第一乘积、所述第二加密乘积和所述标签向量进行同态运算，确定当前加密目标损失；
向所述第三方发送所述当前加密目标损失，以使所述第三方使用所述公钥对应的私钥对所述当前加密目标损失进行解密，得到当前目标损失，并基于所述当前目标损失选择拒绝更新或接受更新；
接收所述第三方发送的用于指示拒绝更新或接受更新的指示信息；
若所述指示信息指示拒绝更新，重新执行所述随机生成第一随机矩阵以及之后的步骤；若所述指示信息指示接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。
可选的，所述本次第一正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和；其中，所述前次协方差矩阵为前次迭代确定的前次第一正态分布的协方差矩阵；所述目标乘积为所述前次第一参数部分与所述前次第一参数部分的转置矩阵相乘得到的乘积。
可选的，所述业务预测模型为线性回归模型；
其中，所述基于所述第一乘积、所述第二加密乘积和所述标签向量进行同态运算，确定当前加密目标损失，包括：
利用所述公钥分别对所述第一乘积和所述标签向量进行加密，得到第一加密乘积和加密标签向量；
利用所述同态加密算法将所述第一加密乘积和所述第二加密乘积同态相加，得到当前加密预测值；
计算所述当前加密预测值和所述加密标签向量的同态最小平方误差，作为所述当前加密目标损失。
可选的，所述业务预测模型为逻辑回归模型；
其中，所述基于所述第一乘积、所述第二加密乘积和所述标签向量进行同态运算，确定当前加密目标损失，包括：
利用所述公钥分别对所述第一乘积和所述标签向量进行加密，得到第一加密乘积和加密标签向量；
利用所述同态加密算法对所述第一加密乘积和所述第二加密乘积之和进行同态softmax运算，得到当前结果；
计算所述当前结果和所述加密标签向量的同态交叉熵，作为所述当前加密目标损失。
根据第三方面，提供一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述方法应用于所述第二方，该方法包括，多次执行目标迭代；其中，每次目标迭代包括：
以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布；
按照所述本次第二正态分布随机生成第二随机矩阵；
计算所述第二特征矩阵与所述第二随机矩阵相乘得到的第二乘积；
向所述第一方发送所述第二乘积；以使所述第一方基于所述第二乘积，第一乘积以及所述标签向量，确定当前目标损失；所述第一乘积为所述第一特征矩阵与第一随机矩阵相乘的乘积；所述第一随机矩阵由所述第一方按照本次第一正态分布随机生成；所述本次第一正态分布的期望为前次迭代得到的前次第一参数部分；
接收所述第一方发送的用于指示拒绝更新或接受更新的指示信息；所述指示信息基于所述当前目标损失而确定；
若所述指示信息指示拒绝更新，重新执行所述随机生成第二随机矩阵以及之后的步骤；若所述指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。
可选的，所述本次第二正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和；其中，所述前次协方差矩阵为前次迭代确定的前次第二正态分布的协方差矩阵；所述目标乘积为所述前次第二参数部分与所述前次第二参数部分的转置矩阵相乘得到的乘积。
根据第四方面，提供一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述方法应用于所述第二方，该方法包括，多次执行目标迭代；其中，每次目标迭代包括：
以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布；
按照所述本次第二正态分布随机生成第二随机矩阵；
计算所述第二特征矩阵与所述第二随机矩阵相乘得到的第二乘积；
使用中立的第三方的公钥和同态加密算法，对所述第二乘积进行加密，得到第二加密乘积；
向所述第一方发送所述第二加密乘积；以使所述第一方基于所述第二加密乘积，第一乘积以及所述标签向量，确定当前加密目标损失，并将所述当前加密目标损失发送给所述第三方；所述第一乘积为所述第一特征矩阵与第一随机矩阵相乘的乘积；所述第一随机矩阵由所述第一方按照本次第一正态分布随机生成；所述本次第一正态分布的期望为前次迭代得到的前次第一参数部分；
接收所述第三方用于指示拒绝更新或接受更新的指示信息；所述指示信息基于所述当前加密目标损失而确定；
若所述指示信息指示拒绝更新，重新执行所述随机生成第二随机矩阵以及之后的步骤；若所述指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。
可选的，所述本次第二正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和；其中，所述前次协方差矩阵为前次迭代确定的前次第二正态分布的协方差矩阵；所述目标乘积为所述前次第二参数部分与所述前次第二参数部分的转置矩阵相乘得到的乘积。
根据第五方面，提供一种保护数据隐私的双方联合训练业务预测模型的装置，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述装置多次执行迭代，所述装置部署于所述第一方，包括：
第一确定模块，用于以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布；
生成模块，用于按照所述本次第一正态分布随机生成第一随机矩阵；
计算模块，用于计算所述第一特征矩阵与所述第一随机矩阵相乘得到的第一乘积；
接收模块，用于从所述第二方接收第二乘积；所述第二乘积为所述第二特征矩阵与第二随机矩阵相乘的乘积；所述第二随机矩阵由所述第二方按照本次第二正态分布随机生成；所述本次第二正态分布的期望为前次迭代得到的前次第二参数部分；
第二确定模块，用于基于所述第一乘积、所述第二乘积和所述标签向量，确定当前目标损失；
选择模块，用于基于所述当前目标损失选择拒绝更新或接受更新；
执行模块，用于在选择拒绝更新时，重新返回，以执行所述随机生成第一随机矩阵以及之后的步骤；在选择接受更新时，利用当前的第一随机矩阵更新得到本次第一参数部分。
根据第六方面，提供一种保护数据隐私的双方联合训练业务预测模型的装置，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述装置多次执行迭代，所述装置部署于所述第一方，包括：
第一确定模块，用于以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布；
生成模块，用于按照所述本次第一正态分布随机生成第一随机矩阵；
计算模块，用于计算所述第一特征矩阵与所述第一随机矩阵相乘得到的第一乘积；
第一接收模块，用于从所述第二方接收第二加密乘积；所述第二加密乘积为使用中立的第三方的公钥和同态加密算法，对所述第二特征矩阵与第二随机矩阵相乘的第二乘积进行加密得到的；所述第二随机矩阵由所述第二方按照本次第二正态分布随机生成；所述本次第二正态分布的期望为前次迭代得到的前次第二参数部分；
第二确定模块，用于基于所述第一乘积、所述第二加密乘积和所述标签向量进行同态运算，确定当前加密目标损失；
发送模块，用于向所述第三方发送所述当前加密目标损失，以使所述第三方使用所述公钥对应的私钥对所述当前加密目标损失进行解密，得到当前目标损失，并基于所述当前目标损失选择拒绝更新或接受更新；
第二接收模块，用于接收所述第三方发送的用于指示拒绝更新或接受更新的指示信息；
执行模块，用于在所述指示信息指示拒绝更新时，重新返回，以执行所述随机生成第一随机矩阵以及之后的步骤；在所述指示信息指示接受更新时，利用当前的第一随机矩阵更新得到本次第一参数部分。
根据第七方面，提供一种保护数据隐私的双方联合训练业务预测模型的装置，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述装置多次执行迭代，所述装置部署于所述第二方，包括：
确定模块，用于以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布；
生成模块，用于按照所述本次第二正态分布随机生成第二随机矩阵；
计算模块，用于计算所述第二特征矩阵与所述第二随机矩阵相乘得到的第二乘积；
发送模块，用于向所述第一方发送所述第二乘积；以使所述第一方基于所述第二乘积，第一乘积以及所述标签向量，确定当前目标损失；所述第一乘积为所述第一特征矩阵与第一随机矩阵相乘的乘积；所述第一随机矩阵由所述第一方按照本次第一正态分布随机生成；所述本次第一正态分布的期望为前次迭代得到的前次第一参数部分；
接收模块，用于接收所述第一方发送的用于指示拒绝更新或接受更新的指示信息；所述指示信息基于所述当前目标损失而确定；
执行模块，用于在所述指示信息指示拒绝更新时，重新返回，以执行所述随机生成第二随机矩阵以及之后的步骤；在所述指示信息指示接受更新时，利用当前的第二随机矩阵更新得到本次第二参数部分。
根据第八方面，提供一种保护数据隐私的双方联合训练业务预测模型的装置，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述装置多次执行迭代，所述装置部署于所述第二方，包括：
确定模块，用于以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布；
生成模块，用于按照所述本次第二正态分布随机生成第二随机矩阵；
计算模块，用于计算所述第二特征矩阵与所述第二随机矩阵相乘得到的第二乘积；
加密模块，用于使用中立的第三方的公钥和同态加密算法，对所述第二乘积进行加密，得到第二加密乘积；
发送模块，用于向所述第一方发送所述第二加密乘积；以使所述第一方基于所述第二加密乘积，第一乘积以及所述标签向量，确定当前加密目标损失，并将所述当前加密目标损失发送给所述第三方；所述第一乘积为所述第一特征矩阵与第一随机矩阵相乘的乘积；所述第一随机矩阵由所述第一方按照本次第一正态分布随机生成；所述本次第一正态分布的期望为前次迭代得到的前次第一参数部分；
接收模块，用于接收所述第三方用于指示拒绝更新或接受更新的指示信息；所述指示信息基于所述当前加密目标损失而确定；
执行模块，用于在所述指示信息指示拒绝更新时，重新返回，以执行所述随机生成第二随机矩阵以及之后的步骤；在所述指示信息指示接受更新时，利用当前的第二随机矩阵更新得到本次第二参数部分。
根据第九方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面至第四方面中任一项所述的方法。
根据第十方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面至第四方面中任一项所述的方法。
本说明书的实施例提供的技术方案可以包括以下有益效果：
本说明书的实施例提供的保护数据隐私的双方联合训练业务预测模型的方法和装置，通过多次执行目标迭代，每次目标迭代包括以下步骤：以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布，按照本次第一正态分布随机生成第一随机矩阵，计算第一特征矩阵与第一随机矩阵相乘的第一乘积，从第二方接收第二乘积，基于第一乘积、第二乘积和标签向量，确定当前目标损失。并基于当前目标损失选择拒绝更新或接受更新。若选择拒绝更新，重新执行生成第一随机矩阵及之后的步骤。若选择接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。由于本实施例在联合训练业务预测模型的过程中，无需通过梯度进行参数的更新，因此，双方之间交换的数据不涉及特征信息、标签信息以及梯度信息，确保了隐私数据不被泄露，提高了联合训练过程中隐私数据的安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本说明书根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的场景示意图；
图2是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的场景示意图；
图3是本说明书根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的方法的流程图；
图4是本说明书根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的方法的流程图；
图5是本说明书根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的方法的流程图；
图6是本说明书根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的方法的流程图；
图7是本说明书根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的方法的流程图；
图8是本说明书根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的装置框图；
图9是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的装置框图；
图10是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的装置框图；
图11是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的装置框图；
图12是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的装置框图；
图13是本说明根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了便于本领域技术人员更好地理解本说明书实施例的技术方案，首先，对本说明书实施例的背景以及基本思想进行简要说明，说明如下：典型的机器学习线性模型的训练过程包括几项核心的运算，计算样本特征与模型参数的乘积，该乘积用于确定预测值。通过预测值和标签得到预测误差，然后根据预测误差与样本特征的乘积，得到梯度，进而根据梯度调整模型参数。
在单方独立训练线性模型的情况下，可以容易地进行上述的运算。但是在多方联合训练机器学习线性模型的情况下，同一样本的特征可能分布在不同参与方中，每个参与方维护模型的一部分参数，如果实施上述各项运算，即使在加密的情况下也容易泄露各方数据。
针对上述问题，发明人提出，在双方联合训练机器学习线性模型的场景下，各方基于各自维护的本地数据生成各自对应的正态分布，并各自利用对应的正态分布生成随机矩阵，从而利用生成的随机矩阵更新各自的模型参数，实现线性模型的训练。因此，本说明书实施例的技术方案在双方联合训练机器学习线性模型时，无需在双方之间交换梯度信息，可以避免信息的泄露。
如图1所示，是根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的场景示意图：在图1示出的双方联合训练的场景中，涉及第一方A和第二方B两个参与方。第一方A和第二方B各自具有一部分训练数据，想要共同联合训练一个业务预测模型。需要理解，参与方A和B，均可以实现为任何具有计算、处理能力的设备、平台、服务器或设备集群。
具体地，第一方A存储有训练样本集中n个业务对象的一部分特征，称为第一特征部分。假定每个业务对象的第一特征部分为d1维向量，那么n个业务对象的第一特征部分构成一个n*d1维的第一特征矩阵XA。假定第一方中还存储有n个业务对象的标签值，n个标签值构成一个标签向量Y。第二方B存储有该n个业务对象的第二特征部分。假定每个业务对象的第二特征部分为d2维向量，那么n个业务对象的第二特征部分构成一个n*d2维的第二特征矩阵XB。
例如，在一个示例性场景中，上述第一方A和第二方B为银行机构和电子支付平台，双方需要联合训练一个业务预测模型，来评估用户的信用等级。此时，业务对象即为用户。双方可以各自维护用户的一部分特征数据，例如，银行机构维护用户的信贷记录方面的相关特征，构成上述的第一特征矩阵；电子支付平台维护用户的电子支付和转账相关特征，构成上述的第二特征矩阵。此外，银行机构还具有用户信用等级的标签Y。
在另一个示例中，上述第一方A和第二方B为电子支付平台和电子商务平台，双方需要联合训练一个业务预测模型，来评估商户的欺诈风险。此时，业务对象即为商户。双方可以各自维护商户的一部分特征数据，例如，电子支付平台维护商户的交易流水数据作为一部分样本特征，该部分样本特征构成第一特征矩阵；电子商务平台存储样本商户的销售数据作为另一部分样本特征，构成第二特征矩阵。电子支付平台还维护样本商户的标签(是或不是欺诈商户的标记)，构成标签向量Y。
在其他场景示例中，业务对象还可以是待评估的其他对象，比如商品，交互事件(例如交易事件，登录事件，点击事件，购买事件)，等等。相应的，参与方A和B可以是维护有上述业务对象的不同特征部分的不同业务方。业务预测模型可以是针对相应业务对象进行分类预测或回归预测的线性模型(如，线性回归模型，或者逻辑回归模型等)。
需要理解，双方各自维护的业务对象特征属于隐私数据，在联合训练过程中，不可以进行特征数据的交换，以保护隐私数据安全。并且，最终，第一方A希望训练得到用于处理第一特征部分的模型参数部分，称为第一参数部分WA；第二方希望训练得到用于处理第二特征部分的第二参数部分WB，这两部分参数共同构成业务预测模型。
为了在不泄露隐私数据的情况下，进行模型的联合训练，根据本说明书的实施例，如图1所示，首先，第一方A初始化得到ΔL0，μA 0，ΣA 0，第二方B初始化得到μB 0，ΣB 0。接着，在每次迭代训练模型的过程中，一方面，第一方A确定正态分布N(μA t,ΣA t)，其中，t≥1时，期望μA t＝WA t-1，协方差矩阵ΣA t＝αΣA t-1+βWA t-1·(WA t-1)T。然后，按照正态分布N(μA t,ΣA t)随机生成随机矩阵WA*。另一方面，第二方B确定正态分布N(μB t,ΣB t)，其中，t≥1时，期望μB t＝WB t-1，协方差矩阵ΣB t＝αΣB t-1+βWB t-1·(WB t-1)T。然后，按照正态分布N(μB t,ΣB t)随机生成随机矩阵WB*。
接着，第一方A本地计算其特征矩阵XA与随机矩阵WA*的乘积，得到Rt＝WA*·XA，第二方B本地计算其特征矩阵XB与随机矩阵WB*的乘积，得到St＝WB*·XB。第二方B将St发送给第一方A，第一方A根据Rt与St之和以及标签Y，计算得到当前损失Lt。第一方A进一步计算当前损失Lt与上次迭代的结果对应的前次损失Lt-1之差，得到差值ΔLt。
最后，第一方A基于差值ΔLt确定是否更新，如果确定不更新，则重新跳回执行按照正态分布N(μA t,ΣA t)随机生成随机矩阵WA*，以及之后的步骤。如果确定更新，则利用WA*更新WA t，使WA t＝WA*，并进行下一次迭代。并且，第一方A向第二方B发送用于指示是否更新的指示信息，第二方B根据该指示信息确定是否更新，如果确定不更新，则重新跳回执行按照正态分布N(μB t,ΣB t)随机生成随机矩阵WB*，以及之后的步骤。如果确定更新，则利用WB*更新WB t，使WB t＝WB*，并进行下一次迭代。直至迭代结束，完成训练。
在整个训练过程中，各方无需进行特征数据和参数数据的交换，也无需进行梯度信息的交换，因此，确保联合训练过程中隐私数据不会泄露，增强了数据的安全性。
如图2所示，是根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的场景示意图。图2场景中的第一方A和第二方B的数据持有状况与图1相同，不再赘述。另一参与方第三方C为中立方，不与任何一方进行联合。第一方A和第二方B可以借助于中立的第三方C，实现模型的联合训练。需要理解，第三方C可以实现为任何具有计算、处理能力的设备、平台、服务器或设备集群。
根据本说明书的实施例，如图2所示，首先，第一方A初始化得到μA 0，ΣA 0，第二方B初始化得到μB 0，ΣB 0，第三方C初始化得到ΔL0。接着，在每次迭代训练模型的过程中，一方面，第一方A确定正态分布N(μA t,ΣA t)，其中，t≥1时，期望μA t＝WA t-1，协方差矩阵ΣA t＝αΣA t-1+βWA t-1·(WA t-1)T。然后，按照正态分布N(μA t,ΣA t)随机生成随机矩阵WA*。另一方面，第二方B确定正态分布N(μB t,ΣB t)，其中，t≥1时，期望μB t＝WB t-1，协方差矩阵ΣB t＝αΣB t-1+βWB t-1·(WB t-1)T。然后，按照正态分布N(μB t,ΣB t)随机生成随机矩阵WB*。
接着，第一方A本地计算其特征矩阵XA与随机矩阵WA*的乘积，得到Rt＝WA*·XA，第二方B本地计算其特征矩阵XB与随机矩阵WB*的乘积，得到St＝WB*·XB。并且，第一方A和第二方B均从第三方C获取公钥PK-c，利用公钥PK-c分别对Rt、Y和St进行加密，得到[Rt]c、[Y]c和[St]c。第二方B将[St]c发送给第一方A，由第一方A根据[Rt]c+[St]c和[Y]c，得到当前加密损失[Lt]c，并将当前加密损失[Lt]c发送给第三方C。
然后，第三方C利用私钥SK-c解密[Lt]c得到当前加密损失Lt。第三方C进一步计算当前损失Lt与上次迭代的结果对应的前次损失Lt-1之差，得到差值ΔLt。第三方C基于差值ΔLt确定是否更新，并向第一方A和第二方B发送用于指示是否更新的指示信息。
最后，第一方A和第二方B根据该指示信息确定是否更新。如果确定不更新，则第一方A重新跳回执行按照正态分布N(μA t,ΣA t)随机生成随机矩阵WA*，以及之后的步骤；第二方B重新跳回执行按照正态分布N(μB t,ΣB t)随机生成随机矩阵WB*，以及之后的步骤。如果确定更新，则第一方A利用WA*更新WA t，使WA t＝WA*，并进行下一次迭代；第二方B利用WB*更新WB t，使WB t＝WB*，并进行下一次迭代。直至迭代结束，完成训练。
在整个训练过程中，各方无需进行特征数据和参数数据的交换，也无需进行梯度的交换，因此，确保联合训练过程中隐私数据不会泄露，增强了数据的安全性。
下面将结合具体的实施例对本说明书提供的方案进行详细描述。
如图3所示，图3是根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的方法的流程图。该双方可以包括第一方和第二方，该第一方和该第二方均可以是任何具有计算、处理能力的设备、平台、服务器或设备集群。其中，第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由多个业务对象的标签值构成的标签向量，并维护第一特征部分对应的第一参数部分。该第二方存储有由多个业务对象的第二特征部分构成的第二特征矩阵，并维护第二特征部分对应的第二参数部分。该方法应用于第一方，该方法包括，多次执行目标迭代；每次目标迭代包括以下步骤：
在步骤301中，以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布。
在本实施例中，所涉及的业务对象可以包括但不限于用户，商户，商品，事件等。业务预测模型为线性模型，可以用于预测业务对象的分类或回归值。例如，业务预测模型可以是线性回归模型，也可以是逻辑回归模型等。
在本实施例中，首先确定本次迭代中用于生成第一随机矩阵的本次第一正态分布，由于随机变量为矩阵，因此本次第一正态分布为一个多元正态分布。其中，期望和协方差矩阵为决定多元正态分布的两个参数。具体来说，可以以前次迭代更新得到的前次第一参数部分为期望，以任意合理的矩阵为协方差矩阵，得到本次第一正态分布。例如，可以将一个预设的矩阵作为该协方差矩阵，也可以将基于前次第一参数部分得到矩阵作为该协方差矩阵，可以理解，本实施例对该协方差矩阵的具体设定方面不限定。
在步骤302中，按照本次第一正态分布随机生成第一随机矩阵。
在步骤303中，计算第一特征矩阵与第一随机矩阵相乘的第一乘积。
在步骤304中，从第二方接收第二乘积。
在本实施例中，该第二乘积为第二特征矩阵与第二随机矩阵相乘的乘积，该第二随机矩阵由第二方按照本次第二正态分布随机生成，本次第二正态分布的期望为前次迭代得到的前次第二参数部分。
在步骤305中，基于第一乘积、第二乘积和标签向量，确定当前目标损失。
在步骤306中，基于当前目标损失选择拒绝更新或接受更新。
在本实施例中，可以按照本次第一正态分布随机生成一个随机矩阵，作为第一随机矩阵。将第一随机矩阵作为用于更新本次第一参数部分的备选矩阵，计算第一特征矩阵与该第一随机矩阵相乘得到的第一乘积。并且，获取来着第二方的第二乘积，根据第一乘积、第二乘积和标签向量，确定当前目标损失。可以基于当前目标损失，选择拒绝利用第一随机矩阵更新本次第一参数部分，或选择接受利用第一随机矩阵更新本次第一参数部分。
在步骤307中，若选择拒绝更新，重新执行步骤302-步骤306。若选择接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分
在本实施例中，若选择拒绝更新，说明当前得到的第一随机矩阵不够优化，需要重新执行步骤302-步骤306。
在本实施例中，若选择接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。然后进行下一次迭代，直至迭代结束。
需要说明的是，在本实施例中，在开始训练业务预测模型后，可以先进行初始化，然后直接执行目标迭代。也可以在初始化之后，执行目标迭代之前，执行预设次数的预迭代，每次预迭代可以包括以下操作：以前次第一参数部分为期望，确定本次第一正态分布，按照本次第一正态分布随机生成第一随机矩阵，并利用该第一随机矩阵更新得到本次第一参数部分。可以理解，本实施例对执行目标迭代之前的具体操作步骤方面不限定。
本说明书的上述实施例提供的保护数据隐私的双方联合训练业务预测模型的方法，通过多次执行目标迭代，每次目标迭代包括以下步骤：以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布，按照本次第一正态分布随机生成第一随机矩阵，计算第一特征矩阵与第一随机矩阵相乘的第一乘积，从第二方接收第二乘积，基于第一乘积、第二乘积和标签向量，确定当前目标损失。并基于当前目标损失选择拒绝更新或接受更新。若选择拒绝更新，重新执行生成第一随机矩阵及之后的步骤。若选择接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。由于本实施例在联合训练业务预测模型的过程中，无需通过梯度进行参数的更新，因此，双方之间交换的数据不涉及特征信息、标签信息以及梯度信息，确保了隐私数据不被泄露，提高了联合训练过程中隐私数据的安全性。
在一些可选实施方式中，将前次迭代得到的前次第一参数部分作为本次第一正态分布的期望，将前次协方差矩阵与目标乘积的加权和作为本次第一正态分布的协方差矩阵，得到本次第一正态分布。其中，前次协方差矩阵为前次迭代确定的前次第一正态分布的协方差矩阵，目标乘积为前次第一参数部分与前次第一参数部分的转置矩阵相乘得到的乘积。
具体来说，可以参考图1实施例，若本次第一正态分布用N(μA t,ΣA t)来表示，其中，μA t表示本次第一正态分布的期望，ΣA t表示本次第一正态分布的协方差矩阵。那么，μA t＝WA t-1，ΣA t＝αΣA t-1+βWA t-1·(WA t-1)T。其中，WA t-1表示前次迭代得到的前次第一参数部分，(WA t-1)T表示前次第一参数部分的转置矩阵，ΣA t-1表示前次迭代确定的前次第一正态分布的前次协方差矩阵，α2+β2＝1。
由于本实施例基于前次第一参数部分以及前次协方差矩阵确定本次第一正态分布，并按照本次第一正态分布随机生成第一随机矩阵作为备选的第一参数部分，因此，使得随机生成的第一随机矩阵更具合理性，从而能够加快第一参数部分的更新，提高了联合训练的效率。
如图4所示，图4根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的方法的流程图，该实施例描述了基于当前目标损失选择拒绝更新或接受更新的过程，该方法可以应用于第一方中，包括以下步骤：
在步骤401中，确定当前目标损失减前次目标损失的差值。
在步骤402中，基于该差值选择拒绝更新或接受更新。
在本实施例中，前次目标损失为前次迭代结果对应的目标损失。具体来说，可以首先计算当前目标损失减前次目标损失得到的差值，然后，基于该差值选择拒绝更新或接受更新。
在一种实现方式中，如果该差值小于0，则直接选择接受更新。如果该差值大于0，则进一步计算目标概率作为选中接受更新的概率，该目标概率与该差值负相关。然后，按照该目标概率随机从拒绝更新和接受更新中选择。因此，该差值越大该目标概率的值就越小，选中接受更新的可能性就越小。具体地，可以通过如下公式计算目标概率：P＝e-ΔL/T，其中，P表示目标概率，ΔL表示当前目标损失减去前次目标损失得到的差值，T表示一个预设常数。其中，T可以始终是一个固定常数，也可以在前预设次数的迭代中，将T设置为较大的数值，之后再更换到较小的数值。
在另一种实现方式中，如果该差值大于0，则选择拒绝更新。如果该差值小于等于0，则选择接受更新。
由于本实施例通过当前目标损失减前次目标损失的差值，选择拒绝或接受利用当前的第一随机矩阵对本次第一参数部分进行更新，因此，能够进一步筛选出更优化的第一随机矩阵对本次第一参数部分进行更新，为第一参数部分的更新指引了更合理的方向，从而有助于提高联合训练的效率。
在另一些可选实施方式中，业务预测模型可以为线性回归模型。可以通过如下方式基于第一乘积、第二乘积和标签向量，确定当前目标损失：计算第一乘积与第二乘积之和，得到当前预测值，计算当前预测值和标签向量的最小平方误差，作为当前目标损失。
一般来说，线性回归预测模型的预测值y’可表示为：y’＝WX；其中，W为线性回归预测模型的参数，X为预测对象的特征。在本实施例中，业务预测模型为线性回归模型，第一方存储的第一特征矩阵为XA，维护的第一参数部分为WA。第二方存储的第二特征矩阵为XB，维护的第二参数部分为WB。因此，业务对象的完整的特征矩阵X为X＝(XA，XB)，业务预测模型的完整的参数W为W＝(WA，WB)。可见，业务预测模型的预测值y’可表示为：y’＝WX＝WA·XA+WB·XB。其中，WA·XA表示第一乘积，WB·XB表示第二乘积。因此，计算第一乘积与第二乘积之和，可以得到当前预测值。再计算当前预测值和标签向量的最小平方误差，可以作为当前目标损失。
在另一些可选实施方式中，业务预测模型可以为逻辑回归模型。可以通过如下方式基于第一乘积、第二乘积和标签向量，确定当前目标损失：对第一乘积与第二乘积之和进行softmax运算，得到当前结果，计算当前结果和标签向量的交叉熵，可以作为当前目标损失。
一般来说，逻辑回归预测模型的预测值y’可表示为：y’＝1/(1+e-WX)；其中，W为逻辑回归预测模型的参数，X为预测对象的特征。在本实施例中，业务预测模型为逻辑回归模型，第一方存储的第一特征矩阵为XA，维护的第一参数部分为WA。第二方存储的第二特征矩阵为XB，维护的第二参数部分为WB。因此，业务对象的完整的特征矩阵X为X＝(XA，XB)，业务预测模型的完整的参数W为W＝(WA，WB)。可见，业务预测模型的预测值y’可表示为：y’＝1/(1+e-WX)＝1/(1+e-M)，M＝WA·XA+WB·XB，WA·XA表示第一乘积，WB·XB表示第二乘积。因此，计算第一乘积与第二乘积之和，并对第一乘积与第二乘积之和进行softmax运算，得到当前结果。其中，该当前结果从一定程度上能够体现出预测值y’的概率分布，再计算该当前结果和标签向量的交叉熵，可以作为当前目标损失。
在另一些可选实施方式中，在基于当前目标损失选择拒绝更新或接受更新之后，第一方还可以向第二方发送用于指示拒绝更新或接受更新的指示信息。使得第二方能够在指示信息的指示下执行相应的操作。
如图5所示，图5是根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的方法的流程图。该双方可以包括第一方和第二方，该第一方和该第二方均可以是任何具有计算、处理能力的设备、平台、服务器或设备集群。其中，第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由多个业务对象的标签值构成的标签向量，并维护第一特征部分对应的第一参数部分。该第二方存储有由多个业务对象的第二特征部分构成的第二特征矩阵，并维护第二特征部分对应的第二参数部分。该方法应用于第一方，该方法包括，多次执行目标迭代；每次目标迭代包括以下步骤：
在步骤501中，以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布。
在步骤502中，按照本次第一正态分布随机生成第一随机矩阵。
在步骤503中，计算第一特征矩阵与第一随机矩阵相乘的第一乘积。
在步骤504中，从第二方接收第二加密乘积。
在本实施例中，该第二加密乘积为使用中立的第三方的公钥和同态加密算法，对第二特征矩阵与第二随机矩阵相乘的第二乘积进行加密得到的。该第二随机矩阵由第二方按照本次第二正态分布随机生成，本次第二正态分布的期望为前次迭代得到的前次第二参数部分。
在步骤505中，基于第一乘积、第二加密乘积和标签向量进行同态运算，确定当前加密目标损失。
在步骤506中，向第三方发送当前加密目标损失。
在本实施例中，向第三方发送当前加密目标损失，使第三方使用公钥对应的私钥对当前加密目标损失进行解密，得到当前目标损失，并基于当前目标损失选择拒绝更新或接受更新(具体可参考图4实施例)。
在步骤507中，接收第三方发送的用于指示拒绝更新或接受更新的指示信息。
在步骤508中，若指示信息指示拒绝更新，重新执行步骤502-步骤507。若指示信息指示接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。
在本实施例中，若指示信息指示拒绝更新，说明当前得到的第一随机矩阵不够优化，需要重新执行步骤502-步骤507。
在本实施例中，若指示信息指示接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。然后进行下一次迭代，直至迭代结束。
需要说明的是，在本实施例中，在开始训练业务预测模型后，可以先进行初始化，然后直接执行目标迭代。也可以在初始化之后，执行目标迭代之前，执行预设次数的预迭代，每次预迭代可以包括以下操作：以前次第一参数部分为期望，确定本次第一正态分布，按照本次第一正态分布随机生成第一随机矩阵，并利用该第一随机矩阵更新得到本次第一参数部分。可以理解，本实施例对执行目标迭代之前的具体操作步骤方面不限定。
需要说明的是，对于与图3实施例中相同的步骤，在上述图5实施例中不再进行赘述，相关内容可参见图3实施例。
本说明书的上述实施例提供的保护数据隐私的双方联合训练业务预测模型的方法，通过多次执行目标迭代，每次目标迭代包括以下步骤：以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布，按照本次第一正态分布随机生成第一随机矩阵，计算第一特征矩阵与第一随机矩阵相乘的第一乘积，从第二方接收第二加密乘积，基于第一乘积、第二加密乘积和标签向量进行同态运算，确定当前加密目标损失，向第三方发送当前加密目标损失。接收第三方发送的用于指示拒绝更新或接受更新的指示信息，若指示信息指示拒绝更新，重新执行生成第一随机矩阵及之后的步骤。若指示信息指示接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。由于本实施例在联合训练业务预测模型的过程中，无需通过梯度进行参数的更新，因此，双方之间交换的数据不涉及特征信息、标签信息以及梯度信息。并且，采用第三方对需要交换的数据进行加密，进一步确保了隐私数据不被泄露，提高了联合训练过程中隐私数据的安全性。
在一些可选实施方式中，将前次迭代得到的前次第一参数部分作为本次第一正态分布的期望，将前次协方差矩阵与目标乘积的加权和作为本次第一正态分布的协方差矩阵，得到本次第一正态分布。其中，前次协方差矩阵为前次迭代确定的前次第一正态分布的协方差矩阵，目标乘积为前次第一参数部分与前次第一参数部分的转置矩阵相乘得到的乘积。
由于本实施例基于前次第一参数部分以及前次协方差矩阵确定本次第一正态分布，并按照本次第一正态分布随机生成第一随机矩阵作为备选的第一参数部分，因此，使得随机生成的第一随机矩阵更具合理性，从而能够加快第一参数部分的更新，提高了联合训练的效率。
在另一些可选实施方式中，业务预测模型可以为线性回归模型。可以通过如下方式基于第一乘积、第二加密乘积和标签向量进行同态运算，确定当前加密目标损失：利用公钥分别对第一乘积和标签向量进行加密，得到第一加密乘积和加密标签向量。利用同态加密算法将第一加密乘积和第二加密乘积同态相加，得到当前加密预测值，并计算当前加密预测值和加密标签向量的同态最小平方误差，作为当前加密目标损失。
在本实施例中，利用了同态加密算法的同态性，即，对明文进行运算后再加密，与加密后对密文进行相应的运算，结果是等价的。例如，用同样的公钥PK加密v1和v2得到[v1]和[v2]，如果满足：[v1+v2]＝[v1]⊕[v2]，则认为该加密算法满足加法同态，其中⊕为对应的同态加操作。实践中，⊕操作可以对应于常规的加法，乘法等。例如，在Paillier算法中，⊕对应于常规乘法。以上同态加操作，为密文之间的同态加操作。
一般来说，线性回归预测模型的预测值y’可表示为：y’＝WX；其中，W为线性回归预测模型的参数，X为预测对象的特征。在本实施例中，业务预测模型为线性回归模型，第一方存储的第一特征矩阵为XA，维护的第一参数部分为WA。第二方存储的第二特征矩阵为XB，维护的第二参数部分为WB。因此，业务对象的完整的特征矩阵X为X＝(XA，XB)，业务预测模型的完整的参数W为W＝(WA，WB)。可见，业务预测模型的预测值y’可表示为：y’＝WX＝WA·XA+WB·XB。其中，WA·XA表示第一乘积，WB·XB表示第二乘积。
在本实施例中，可以利用公钥分别对第一乘积WA·XA和标签向量Y进行加密，得到第一加密乘积[WA·XA]c和加密标签向量[Y]c。再利用同态加密算法将第一加密乘积[WA·XA]c和第二加密乘积[WB·XB]c同态相加，即[WA·XA]c+[WB·XB]c＝[WA·XA+WB·XB]c＝[y’]c，得到当前加密预测值[y’]c。最后，计算当前加密预测值[y’]c和加密标签向量[Y]c的同态最小平方误差，作为当前加密目标损失。
在另一些可选实施方式中，业务预测模型可以为逻辑回归模型。可以通过如下方式基于第一乘积、第二乘积和标签向量进行同态运算，确定当前加密目标损失：利用公钥分别对第一乘积和标签向量进行加密，得到第一加密乘积和加密标签向量。利用同态加密算法对第一加密乘积和第二加密乘积之和进行同态softmax运算，得到当前结果，并计算当前结果和加密标签向量的同态交叉熵，作为当前加密目标损失。
一般来说，逻辑回归预测模型的预测值y’可表示为：y’＝1/(1+e-WX)；其中，W为逻辑回归预测模型的参数，X为预测对象的特征。在本实施例中，业务预测模型为逻辑回归模型，第一方存储的第一特征矩阵为XA，维护的第一参数部分为WA。第二方存储的第二特征矩阵为XB，维护的第二参数部分为WB。因此，业务对象的完整的特征矩阵X为X＝(XA，XB)，业务预测模型的完整的参数W为W＝(WA，WB)。可见，业务预测模型的预测值y’可表示为：y’＝1/(1+e-WX)＝1/(1+e-M)，M＝WA·XA+WB·XB，WA·XA表示第一乘积，WB·XB表示第二乘积。
在本实施例中，可以利用公钥分别对第一乘积WA·XA和标签向量Y进行加密，得到第一加密乘积[WA·XA]c和加密标签向量[Y]c。再利用同态加密算法计算第一加密乘积[WA·XA]c和第二加密乘积[WB·XB]c之和，得到结果[WA·XA]c+[WB·XB]c＝[WA·XA+WB·XB]c，并对[WA·XA+WB·XB]c进行同态softmax运算，得到当前结果。其中，该当前结果从一定程度上能够体现出预测值y’的概率分布，再计算该当前结果和加密标签向量[Y]c的交叉熵，可以作为当前目标损失。
如图6所示，图6是根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的方法的流程图。该双方可以包括第一方和第二方，该第一方和该第二方均可以是任何具有计算、处理能力的设备、平台、服务器或设备集群。其中，第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由多个业务对象的标签值构成的标签向量，并维护第一特征部分对应的第一参数部分。该第二方存储有由多个业务对象的第二特征部分构成的第二特征矩阵，并维护第二特征部分对应的第二参数部分。该方法应用于第二方，该方法包括，多次执行目标迭代；每次目标迭代包括以下步骤：
在步骤601中，以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布。
在本实施例中，首先确定本次迭代中用于生成第二随机矩阵的本次第二正态分布，由于随机变量为矩阵，因此本次第二正态分布为一个多元正态分布。其中，期望和协方差矩阵为决定多元正态分布的两个参数。具体来说，可以以前次迭代更新得到的前次第二参数部分为期望，以任意合理的矩阵为协方差矩阵，得到本次第二正态分布。例如，可以将一个预设的矩阵作为该协方差矩阵，也可以将基于前次第二参数部分得到矩阵作为该协方差矩阵，可以理解，本实施例对该协方差矩阵的具体设定方面不限定。
可选的，本次第二正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和。其中，前次协方差矩阵为前次迭代确定的前次第二正态分布的协方差矩阵，目标乘积为前次第二参数部分与前次第二参数部分的转置矩阵相乘得到的乘积。
在步骤602中，按照本次第二正态分布随机生成第二随机矩阵。
在步骤603中，计算第二特征矩阵与第二随机矩阵相乘的第二乘积。
在步骤604中，向第一方发送第二乘积。
在本实施例中，使第一方基于第二乘积，第一乘积以及标签向量，确定当前目标损失。其中，第一乘积为第一特征矩阵与第一随机矩阵相乘的乘积，第一随机矩阵由第一方按照本次第一正态分布随机生成，本次第一正态分布的期望为前次迭代得到的前次第一参数部分。
在步骤605中，接收第一方发送的用于指示拒绝更新或接受更新的指示信息，该指示信息基于当前目标损失而确定。
在步骤606中，若指示信息指示拒绝更新，重新执行步骤602-步骤605。若指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。
在本实施例中，若选择拒绝更新，说明当前得到的第一随机矩阵不够优化，需要重新执行步骤602-步骤605。
在本实施例中，若指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。然后进行下一次迭代，直至迭代结束。
本说明书的上述实施例提供的保护数据隐私的双方联合训练业务预测模型的方法，通过多次执行目标迭代，每次目标迭代包括以下步骤：以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布，按照本次第二正态分布随机生成第二随机矩阵，计算第二特征矩阵与第二随机矩阵相乘的第二乘积，向第一方发送第二乘积，接收第一方发送的用于指示拒绝更新或接受更新的指示信息，该指示信息基于当前目标损失而确定。若指示信息指示拒绝更新，重新执行生成第二随机矩阵及之后的步骤。若指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。由于本实施例在联合训练业务预测模型的过程中，无需通过梯度进行参数的更新，因此，双方之间交换的数据不涉及特征信息、标签信息以及梯度信息，确保了隐私数据不被泄露，提高了联合训练过程中隐私数据的安全性。
如图7所示，图7是根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的方法的流程图。该双方可以包括第一方和第二方，该第一方和该第二方均可以是任何具有计算、处理能力的设备、平台、服务器或设备集群。其中，第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由多个业务对象的标签值构成的标签向量，并维护第一特征部分对应的第一参数部分。该第二方存储有由多个业务对象的第二特征部分构成的第二特征矩阵，并维护第二特征部分对应的第二参数部分。该方法应用于第二方，该方法包括，多次执行目标迭代；每次目标迭代包括以下步骤：
在步骤701中，以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布。
在步骤702中，按照本次第二正态分布随机生成第二随机矩阵。
在步骤703中，计算第二特征矩阵与第二随机矩阵相乘的第二乘积。
在步骤704中，使用中立的第三方的公钥和同态加密算法，对第二乘积进行加密，得到第二加密乘积。
在步骤705中，向第一方发送第二加密乘积。
在本实施例中，使第一方基于第二加密乘积，第一乘积以及标签向量，确定当前加密目标损失，并将当前加密目标损失发送给第三方。第一乘积为第一特征矩阵与第一随机矩阵相乘的乘积，第一随机矩阵由第一方按照本次第一正态分布随机生成，本次第一正态分布的期望为前次迭代得到的前次第一参数部分。
在步骤706中，接收第三方发送的用于指示拒绝更新或接受更新的指示信息，该指示信息基于当前目标损失而确定。
在步骤707中，若指示信息指示拒绝更新，重新执行步骤702-步骤706。若指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。
在本实施例中，若选择拒绝更新，说明当前得到的第一随机矩阵不够优化，需要重新执行步骤702-步骤706。
在本实施例中，若指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。然后进行下一次迭代，直至迭代结束。
本说明书的上述实施例提供的保护数据隐私的双方联合训练业务预测模型的方法，通过多次执行目标迭代，每次目标迭代包括以下步骤：以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布，按照本次第二正态分布随机生成第二随机矩阵，计算第二特征矩阵与第二随机矩阵相乘的第二乘积，使用中立的第三方的公钥和同态加密算法，对第二乘积进行加密，得到第二加密乘积，向第一方发送第二加密乘积。接收第三方发送的用于指示拒绝更新或接受更新的指示信息，该指示信息基于当前目标损失而确定。若指示信息指示拒绝更新，重新执行生成第二随机矩阵及之后的步骤。若指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。由于本实施例在联合训练业务预测模型的过程中，无需通过梯度进行参数的更新，因此，双方之间交换的数据不涉及特征信息、标签信息以及梯度信息。并且，采用第三方对需要交换的数据进行加密，进一步确保了隐私数据不被泄露，提高了联合训练过程中隐私数据的安全性。
应当注意，尽管在上述实施例中，以特定顺序描述了本说明书实施例的方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
与前述保护数据隐私的双方联合训练业务预测模型的方法实施例相对应，本说明书还提供了保护数据隐私的双方联合训练业务预测模型的装置的实施例。
如图8所示，图8是本说明书根据一示例性实施例示出的一种保护数据隐私的双方联合训练业务预测模型的装置框图，该双方包括第一方和第二方，第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由多个业务对象的标签值构成的标签向量，并维护第一特征部分对应的第一参数部分；第二方存储有由多个业务对象的第二特征部分构成的第二特征矩阵，并维护第二特征部分对应的第二参数部分；该装置多次执行迭代，该装置部署于第一方，该装置可以包括：第一确定模块801，生成模块802，计算模块803，接收模块804，第二确定模块805，选择模块806和执行模块807。
其中，第一确定模块801，用于以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布。
生成模块802，用于按照本次第一正态分布随机生成第一随机矩阵。
计算模块803，用于计算第一特征矩阵与第一随机矩阵相乘得到的第一乘积。
接收模块804，用于从第二方接收第二乘积，第二乘积为第二特征矩阵与第二随机矩阵相乘的乘积，第二随机矩阵由第二方按照本次第二正态分布随机生成。本次第二正态分布的期望为前次迭代得到的前次第二参数部分。
第二确定模块805，用于基于第一乘积、第二乘积和标签向量，确定当前目标损失。
选择模块806，用于基于当前目标损失选择拒绝更新或接受更新。
执行模块807，用于在选择拒绝更新时，重新返回，以执行随机生成第一随机矩阵以及之后的步骤，在选择接受更新时，利用当前的第一随机矩阵更新得到本次第一参数部分。
在一些可选实施方式中，本次第一正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和。其中，前次协方差矩阵为前次迭代确定的前次第一正态分布的协方差矩阵，目标乘积为前次第一参数部分与前次第一参数部分的转置矩阵相乘得到的乘积。
如图9所示，图9是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的装置框图，该实施例在前述图8所示实施例的基础上，选择模块806可以包括：确定子模块901和选择子模块902。
其中，确定子模块901，用于确定当前目标损失减前次目标损失的差值。其中，前次目标损失为前次迭代结果对应的目标损失。
选择子模块902，用于基于上述差值选择拒绝更新或接受更新。
在另一些可选实施方式中，选择子模块902被配置用于：若上述差值小于0，选择接受更新。若上述差值大于0，计算目标概率作为选中接受更新的概率。该目标概率与所述差值负相关，按照目标概率随机选择拒绝更新或接受更新。
在另一些可选实施方式中，业务预测模型为线性回归模型。其中，第二确定模块805被配置用于：计算第一乘积与所述第二乘积之和，得到当前预测值，计算当前预测值和标签向量的最小平方误差，作为当前目标损失。
在另一些可选实施方式中，业务预测模型为逻辑回归模型。其中，第二确定模块805被配置用于：对第一乘积与第二乘积之和进行softmax运算，得到当前结果，计算当前结果和标签向量的交叉熵，作为当前目标损失。
在另一些可选实施方式中，该装置还可以包括发送模块(图中未示出)：发送模块，用于向第二方发送用于指示拒绝更新或接受更新的指示信息。
在另一些可选实施方式中，上述业务对象包括以下之一：用户，商户，商品，事件，业务预测模型用于预测业务对象的分类或回归值。
应当理解，上述装置可以预先设置在终端设备或服务器中，也可以通过下载等方式而加载到终端设备或服务器中。上述装置中的相应模块可以与终端设备或服务器中的模块相互配合以实现保护数据隐私的双方联合训练业务预测模型的方案。
如图10所示，图10是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的装置框图，该双方包括第一方和第二方，第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由多个业务对象的标签值构成的标签向量，并维护第一特征部分对应的第一参数部分；第二方存储有由多个业务对象的第二特征部分构成的第二特征矩阵，并维护第二特征部分对应的第二参数部分；该装置多次执行迭代，该装置部署于第一方，该装置可以包括：第一确定模块1001，生成模块1002，计算模块1003，第一接收模块1004，第二确定模块1005，发送模块1006，第二接收模块1007和执行模块1008。
其中，第一确定模块1001，用于以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布。
生成模块1002，用于按照本次第一正态分布随机生成第一随机矩阵。
计算模块1003，用于计算第一特征矩阵与第一随机矩阵相乘得到的第一乘积。
第一接收模块1004，用于从第二方接收第二加密乘积，第二加密乘积为使用中立的第三方的公钥和同态加密算法，对第二特征矩阵与第二随机矩阵相乘的第二乘积进行加密得到的。第二随机矩阵由第二方按照本次第二正态分布随机生成，本次第二正态分布的期望为前次迭代得到的前次第二参数部分。
第二确定模块1005，用于基于第一乘积、第二加密乘积和标签向量进行同态运算，确定当前加密目标损失。
发送模块1006，用于向第三方发送当前加密目标损失，以使第三方使用公钥对应的私钥对当前加密目标损失进行解密，得到当前目标损失，并基于当前目标损失选择拒绝更新或接受更新。
第二接收模块1007，用于接收第三方发送的用于指示拒绝更新或接受更新的指示信息。
执行模块1008，用于在该指示信息指示拒绝更新时，重新返回，以执行随机生成第一随机矩阵以及之后的步骤。在该指示信息指示接受更新时，利用当前的第一随机矩阵更新得到本次第一参数部分。
在一些可选实施方式中，本次第一正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和。其中，前次协方差矩阵为前次迭代确定的前次第一正态分布的协方差矩阵，目标乘积为前次第一参数部分与前次第一参数部分的转置矩阵相乘得到的乘积。
在另一些可选实施方式中，业务预测模型为线性回归模型。其中，第二确定模块1005被配置用于：利用公钥分别对第一乘积和标签向量进行加密，得到第一加密乘积和加密标签向量。利用同态加密算法将第一加密乘积和第二加密乘积同态相加，得到当前加密预测值，计算当前加密预测值和加密标签向量的同态最小平方误差，作为当前加密目标损失。
在另一些可选实施方式中，业务预测模型为逻辑回归模型。其中，第二确定模块1005被配置用于：利用公钥分别对第一乘积和标签向量进行加密，得到第一加密乘积和加密标签向量。利用同态加密算法对第一加密乘积和第二加密乘积之和进行同态softmax运算，得到当前结果，计算当前结果和加密标签向量的同态交叉熵，作为当前加密目标损失。
应当理解，上述装置可以预先设置在终端设备或服务器中，也可以通过下载等方式而加载到终端设备或服务器中。上述装置中的相应模块可以与终端设备或服务器中的模块相互配合以实现保护数据隐私的双方联合训练业务预测模型的方案。
如图11所示，图11是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的装置框图，该双方包括第一方和第二方，第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由多个业务对象的标签值构成的标签向量，并维护第一特征部分对应的第一参数部分；第二方存储有由多个业务对象的第二特征部分构成的第二特征矩阵，并维护第二特征部分对应的第二参数部分；该装置多次执行迭代，该装置部署于第二方，该装置可以包括：确定模块1101，生成模块1102，计算模块1103，发送模块1104，接收模块1105和执行模块1106。
其中，确定模块1101，用于以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布。
生成模块1102，用于按照本次第二正态分布随机生成第二随机矩阵。
计算模块1103，用于计算第二特征矩阵与第二随机矩阵相乘得到的第二乘积。
发送模块1104，用于向第一方发送第二乘积，以使第一方基于第二乘积，第一乘积以及标签向量，确定当前目标损失。第一乘积为第一特征矩阵与第一随机矩阵相乘的乘积，第一随机矩阵由第一方按照本次第一正态分布随机生成，本次第一正态分布的期望为前次迭代得到的前次第一参数部分。
接收模块1105，用于接收第一方发送的用于指示拒绝更新或接受更新的指示信息，该指示信息基于当前目标损失而确定。
执行模块1106，用于在该指示信息指示拒绝更新时，重新返回，以执行随机生成第二随机矩阵以及之后的步骤，在该指示信息指示接受更新时，利用当前的第二随机矩阵更新得到本次第二参数部分。
在另一些可选实施方式中，本次第二正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和。其中，前次协方差矩阵为前次迭代确定的前次第二正态分布的协方差矩阵，目标乘积为前次第二参数部分与所述前次第二参数部分的转置矩阵相乘得到的乘积。
应当理解，上述装置可以预先设置在终端设备或服务器中，也可以通过下载等方式而加载到终端设备或服务器中。上述装置中的相应模块可以与终端设备或服务器中的模块相互配合以实现保护数据隐私的双方联合训练业务预测模型的方案。
如图12所示，图12是本说明书根据一示例性实施例示出的另一种保护数据隐私的双方联合训练业务预测模型的装置框图，该双方包括第一方和第二方，第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由多个业务对象的标签值构成的标签向量，并维护第一特征部分对应的第一参数部分；第二方存储有由多个业务对象的第二特征部分构成的第二特征矩阵，并维护第二特征部分对应的第二参数部分；该装置多次执行迭代，该装置部署于第二方，该装置可以包括：确定模块1201，生成模块1202，计算模块1203，加密模块1204，发送模块1205，接收模块1206和执行模块1207。
其中，确定模块1201，用于以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布。
生成模块1202，用于按照本次第二正态分布随机生成第二随机矩阵。
计算模块1203，用于计算第二特征矩阵与第二随机矩阵相乘得到的第二乘积。
加密模块1204，用于使用中立的第三方的公钥和同态加密算法，对第二乘积进行加密，得到第二加密乘积。
发送模块1205，用于向第一方发送第二加密乘积，以使第一方基于第二加密乘积，第一乘积以及标签向量，确定当前加密目标损失，并将当前加密目标损失发送给第三方。第一乘积为第一特征矩阵与第一随机矩阵相乘的乘积，第一随机矩阵由第一方按照本次第一正态分布随机生成，本次第一正态分布的期望为前次迭代得到的前次第一参数部分。
接收模块1206，用于接收第三方用于指示拒绝更新或接受更新的指示信息，该指示信息基于当前加密目标损失而确定。
执行模块1207，用于在该指示信息指示拒绝更新时，重新返回，以执行随机生成第二随机矩阵以及之后的步骤，在该指示信息指示接受更新时，利用当前的第二随机矩阵更新得到本次第二参数部分。
在另一些可选实施方式中，本次第二正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和。其中，前次协方差矩阵为前次迭代确定的前次第二正态分布的协方差矩阵，目标乘积为前次第二参数部分与所述前次第二参数部分的转置矩阵相乘得到的乘积。
应当理解，上述装置可以预先设置在终端设备或服务器中，也可以通过下载等方式而加载到终端设备或服务器中。上述装置中的相应模块可以与终端设备或服务器中的模块相互配合以实现保护数据隐私的双方联合训练业务预测模型的方案。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书一个或多个实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本说明书一个或多个实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图3至图7任一实施例提供的保护数据隐私的双方联合训练业务预测模型的方法。
对应于上述的保护数据隐私的双方联合训练业务预测模型的方法，本说明书一个或多个实施例还提出了图13所示的根据本说明书的一示例性实施例的电子设备的示意结构图。请参考图13，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成保护数据隐私的双方联合训练业务预测模型的装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (22)

1.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述方法应用于所述第一方，该方法包括，多次执行目标迭代；其中，每次目标迭代包括：
以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布；
按照所述本次第一正态分布随机生成第一随机矩阵；
计算所述第一特征矩阵与所述第一随机矩阵相乘得到的第一乘积；
从所述第二方接收第二乘积；所述第二乘积为所述第二特征矩阵与第二随机矩阵相乘的乘积；所述第二随机矩阵由所述第二方按照本次第二正态分布随机生成；所述本次第二正态分布的期望为前次迭代得到的前次第二参数部分；
基于所述第一乘积、所述第二乘积和所述标签向量，确定当前目标损失；
基于所述当前目标损失选择拒绝更新或接受更新；
若选择拒绝更新，重新执行所述随机生成第一随机矩阵以及之后的步骤；若选择接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。
2.根据权利要求1所述的方法，其中，所述本次第一正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和；其中，所述前次协方差矩阵为前次迭代确定的前次第一正态分布的协方差矩阵；所述目标乘积为所述前次第一参数部分与所述前次第一参数部分的转置矩阵相乘得到的乘积。
3.根据权利要求1所述的方法，其中，所述基于所述当前目标损失选择拒绝更新或接受更新，包括：
确定所述当前目标损失减前次目标损失的差值；其中，所述前次目标损失为前次迭代结果对应的目标损失；
基于所述差值选择拒绝更新或接受更新。
4.根据权利要求3所述的方法，其中，所述基于所述差值选择拒绝更新或接受更新，包括：
若所述差值小于0，选择接受更新；
若所述差值大于0，计算目标概率作为选中接受更新的概率；所述目标概率与所述差值负相关；
按照所述目标概率随机选择拒绝更新或接受更新。
5.根据权利要求1所述的方法，其中，所述业务预测模型为线性回归模型；
其中，所述基于所述第一乘积、所述第二乘积和所述标签向量，确定当前目标损失，包括：
计算所述第一乘积与所述第二乘积之和，得到当前预测值；
计算所述当前预测值和所述标签向量的最小平方误差，作为当前目标损失。
6.根据权利要求1所述的方法，其中，所述业务预测模型为逻辑回归模型；
其中，所述基于所述第一乘积、所述第二乘积和所述标签向量，确定当前目标损失，包括：
对所述第一乘积与所述第二乘积之和进行softmax运算，得到当前结果；
计算所述当前结果和所述标签向量的交叉熵，作为当前目标损失。
7.根据权利要求1所述的方法，其中，在基于所述当前目标损失选择拒绝更新或接受更新之后，还包括：
向所述第二方发送用于指示拒绝更新或接受更新的指示信息。
8.根据权利要求1所述的方法，其中，所述业务对象包括以下之一：用户，商户，商品，事件；所述业务预测模型用于预测所述业务对象的分类或回归值。
9.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述方法应用于所述第一方，该方法包括，多次执行目标迭代；其中，每次目标迭代包括：
以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布；
按照所述本次第一正态分布随机生成第一随机矩阵；
计算所述第一特征矩阵与所述第一随机矩阵相乘得到的第一乘积；
从所述第二方接收第二加密乘积；所述第二加密乘积为使用中立的第三方的公钥和同态加密算法，对所述第二特征矩阵与第二随机矩阵相乘的第二乘积进行加密得到的；所述第二随机矩阵由所述第二方按照本次第二正态分布随机生成；所述本次第二正态分布的期望为前次迭代得到的前次第二参数部分；
基于所述第一乘积、所述第二加密乘积和所述标签向量进行同态运算，确定当前加密目标损失；
向所述第三方发送所述当前加密目标损失，以使所述第三方使用所述公钥对应的私钥对所述当前加密目标损失进行解密，得到当前目标损失，并基于所述当前目标损失选择拒绝更新或接受更新；
接收所述第三方发送的用于指示拒绝更新或接受更新的指示信息；
若所述指示信息指示拒绝更新，重新执行所述随机生成第一随机矩阵以及之后的步骤；若所述指示信息指示接受更新，利用当前的第一随机矩阵更新得到本次第一参数部分。
10.根据权利要求9所述的方法，其中，所述本次第一正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和；其中，所述前次协方差矩阵为前次迭代确定的前次第一正态分布的协方差矩阵；所述目标乘积为所述前次第一参数部分与所述前次第一参数部分的转置矩阵相乘得到的乘积。
11.根据权利要求9所述的方法，其中，所述业务预测模型为线性回归模型；
其中，所述基于所述第一乘积、所述第二加密乘积和所述标签向量进行同态运算，确定当前加密目标损失，包括：
利用所述公钥分别对所述第一乘积和所述标签向量进行加密，得到第一加密乘积和加密标签向量；
利用所述同态加密算法将所述第一加密乘积和所述第二加密乘积同态相加，得到当前加密预测值；
计算所述当前加密预测值和所述加密标签向量的同态最小平方误差，作为所述当前加密目标损失。
12.根据权利要求9所述的方法，其中，所述业务预测模型为逻辑回归模型；
其中，所述基于所述第一乘积、所述第二加密乘积和所述标签向量进行同态运算，确定当前加密目标损失，包括：
利用所述公钥分别对所述第一乘积和所述标签向量进行加密，得到第一加密乘积和加密标签向量；
利用所述同态加密算法对所述第一加密乘积和所述第二加密乘积之和进行同态softmax运算，得到当前结果；
计算所述当前结果和所述加密标签向量的同态交叉熵，作为所述当前加密目标损失。
13.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述方法应用于所述第二方，该方法包括，多次执行目标迭代；其中，每次目标迭代包括：
以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布；
按照所述本次第二正态分布随机生成第二随机矩阵；
计算所述第二特征矩阵与所述第二随机矩阵相乘得到的第二乘积；
向所述第一方发送所述第二乘积；以使所述第一方基于所述第二乘积，第一乘积以及所述标签向量，确定当前目标损失；所述第一乘积为所述第一特征矩阵与第一随机矩阵相乘的乘积；所述第一随机矩阵由所述第一方按照本次第一正态分布随机生成；所述本次第一正态分布的期望为前次迭代得到的前次第一参数部分；
接收所述第一方发送的用于指示拒绝更新或接受更新的指示信息；所述指示信息基于所述当前目标损失而确定；
若所述指示信息指示拒绝更新，重新执行所述随机生成第二随机矩阵以及之后的步骤；若所述指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。
14.根据权利要求13所述的方法，其中，所述本次第二正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和；其中，所述前次协方差矩阵为前次迭代确定的前次第二正态分布的协方差矩阵；所述目标乘积为所述前次第二参数部分与所述前次第二参数部分的转置矩阵相乘得到的乘积。
15.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述方法应用于所述第二方，该方法包括，多次执行目标迭代；其中，每次目标迭代包括：
以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布；
按照所述本次第二正态分布随机生成第二随机矩阵；
计算所述第二特征矩阵与所述第二随机矩阵相乘得到的第二乘积；
使用中立的第三方的公钥和同态加密算法，对所述第二乘积进行加密，得到第二加密乘积；
向所述第一方发送所述第二加密乘积；以使所述第一方基于所述第二加密乘积，第一乘积以及所述标签向量，确定当前加密目标损失，并将所述当前加密目标损失发送给所述第三方；所述第一乘积为所述第一特征矩阵与第一随机矩阵相乘的乘积；所述第一随机矩阵由所述第一方按照本次第一正态分布随机生成；所述本次第一正态分布的期望为前次迭代得到的前次第一参数部分；
接收所述第三方用于指示拒绝更新或接受更新的指示信息；所述指示信息基于所述当前加密目标损失而确定；
若所述指示信息指示拒绝更新，重新执行所述随机生成第二随机矩阵以及之后的步骤；若所述指示信息指示接受更新，利用当前的第二随机矩阵更新得到本次第二参数部分。
16.根据权利要求15所述的方法，其中，所述本次第二正态分布的协方差矩阵为前次协方差矩阵与目标乘积的加权和；其中，所述前次协方差矩阵为前次迭代确定的前次第二正态分布的协方差矩阵；所述目标乘积为所述前次第二参数部分与所述前次第二参数部分的转置矩阵相乘得到的乘积。
17.一种保护数据隐私的双方联合训练业务预测模型的装置，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述装置多次执行迭代，所述装置部署于所述第一方，包括：
第一确定模块，用于以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布；
生成模块，用于按照所述本次第一正态分布随机生成第一随机矩阵；
计算模块，用于计算所述第一特征矩阵与所述第一随机矩阵相乘得到的第一乘积；
接收模块，用于从所述第二方接收第二乘积；所述第二乘积为所述第二特征矩阵与第二随机矩阵相乘的乘积；所述第二随机矩阵由所述第二方按照本次第二正态分布随机生成；所述本次第二正态分布的期望为前次迭代得到的前次第二参数部分；
第二确定模块，用于基于所述第一乘积、所述第二乘积和所述标签向量，确定当前目标损失；
选择模块，用于基于所述当前目标损失选择拒绝更新或接受更新；
执行模块，用于在选择拒绝更新时，重新返回，以执行所述随机生成第一随机矩阵以及之后的步骤；在选择接受更新时，利用当前的第一随机矩阵更新得到本次第一参数部分。
18.一种保护数据隐私的双方联合训练业务预测模型的装置，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述装置多次执行迭代，所述装置部署于所述第一方，包括：
第一确定模块，用于以前次迭代得到的前次第一参数部分为期望，确定本次第一正态分布；
生成模块，用于按照所述本次第一正态分布随机生成第一随机矩阵；
计算模块，用于计算所述第一特征矩阵与所述第一随机矩阵相乘得到的第一乘积；
第一接收模块，用于从所述第二方接收第二加密乘积；所述第二加密乘积为使用中立的第三方的公钥和同态加密算法，对所述第二特征矩阵与第二随机矩阵相乘的第二乘积进行加密得到的；所述第二随机矩阵由所述第二方按照本次第二正态分布随机生成；所述本次第二正态分布的期望为前次迭代得到的前次第二参数部分；
第二确定模块，用于基于所述第一乘积、所述第二加密乘积和所述标签向量进行同态运算，确定当前加密目标损失；
发送模块，用于向所述第三方发送所述当前加密目标损失，以使所述第三方使用所述公钥对应的私钥对所述当前加密目标损失进行解密，得到当前目标损失，并基于所述当前目标损失选择拒绝更新或接受更新；
第二接收模块，用于接收所述第三方发送的用于指示拒绝更新或接受更新的指示信息；
执行模块，用于在所述指示信息指示拒绝更新时，重新返回，以执行所述随机生成第一随机矩阵以及之后的步骤；在所述指示信息指示接受更新时，利用当前的第一随机矩阵更新得到本次第一参数部分。
19.一种保护数据隐私的双方联合训练业务预测模型的方法，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述装置多次执行迭代，所述装置部署于所述第二方，包括：
确定模块，用于以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布；
生成模块，用于按照所述本次第二正态分布随机生成第二随机矩阵；
计算模块，用于计算所述第二特征矩阵与所述第二随机矩阵相乘得到的第二乘积；
发送模块，用于向所述第一方发送所述第二乘积；以使所述第一方基于所述第二乘积，第一乘积以及所述标签向量，确定当前目标损失；所述第一乘积为所述第一特征矩阵与第一随机矩阵相乘的乘积；所述第一随机矩阵由所述第一方按照本次第一正态分布随机生成；所述本次第一正态分布的期望为前次迭代得到的前次第一参数部分；
接收模块，用于接收所述第一方发送的用于指示拒绝更新或接受更新的指示信息；所述指示信息基于所述当前目标损失而确定；
执行模块，用于在所述指示信息指示拒绝更新时，重新返回，以执行所述随机生成第二随机矩阵以及之后的步骤；在所述指示信息指示接受更新时，利用当前的第二随机矩阵更新得到本次第二参数部分。
20.一种保护数据隐私的双方联合训练业务预测模型的装置，所述双方包括第一方和第二方，所述第一方存储有由多个业务对象的第一特征部分构成的第一特征矩阵，以及由所述多个业务对象的标签值构成的标签向量，并维护所述第一特征部分对应的第一参数部分；所述第二方存储有由所述多个业务对象的第二特征部分构成的第二特征矩阵，并维护所述第二特征部分对应的第二参数部分；所述装置多次执行迭代，所述装置部署于所述第二方，包括：
确定模块，用于以前次迭代得到的前次第二参数部分为期望，确定本次第二正态分布；
生成模块，用于按照所述本次第二正态分布随机生成第二随机矩阵；
计算模块，用于计算所述第二特征矩阵与所述第二随机矩阵相乘得到的第二乘积；
加密模块，用于使用中立的第三方的公钥和同态加密算法，对所述第二乘积进行加密，得到第二加密乘积；
发送模块，用于向所述第一方发送所述第二加密乘积；以使所述第一方基于所述第二加密乘积，第一乘积以及所述标签向量，确定当前加密目标损失，并将所述当前加密目标损失发送给所述第三方；所述第一乘积为所述第一特征矩阵与第一随机矩阵相乘的乘积；所述第一随机矩阵由所述第一方按照本次第一正态分布随机生成；所述本次第一正态分布的期望为前次迭代得到的前次第一参数部分；
接收模块，用于接收所述第三方用于指示拒绝更新或接受更新的指示信息；所述指示信息基于所述当前加密目标损失而确定；
执行模块，用于在所述指示信息指示拒绝更新时，重新返回，以执行所述随机生成第二随机矩阵以及之后的步骤；在所述指示信息指示接受更新时，利用当前的第二随机矩阵更新得到本次第二参数部分。
21.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-16中任一项所述的方法。
22.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-16中任一项所述的方法。
CN202010989985.0A 2020-09-18 2020-09-18 保护数据隐私的双方联合训练业务预测模型的方法及装置 Active CN112084520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010989985.0A CN112084520B (zh) 2020-09-18 2020-09-18 保护数据隐私的双方联合训练业务预测模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010989985.0A CN112084520B (zh) 2020-09-18 2020-09-18 保护数据隐私的双方联合训练业务预测模型的方法及装置

Publications (2)

Publication Number Publication Date
CN112084520A true CN112084520A (zh) 2020-12-15
CN112084520B CN112084520B (zh) 2021-03-23

Family

ID=73738526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010989985.0A Active CN112084520B (zh) 2020-09-18 2020-09-18 保护数据隐私的双方联合训练业务预测模型的方法及装置

Country Status (1)

Country Link
CN (1) CN112084520B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949778A (zh) * 2021-04-17 2021-06-11 深圳前海移联科技有限公司 基于局部敏感哈希的智能合约分类方法、系统及电子设备
CN113240505A (zh) * 2021-05-10 2021-08-10 深圳前海微众银行股份有限公司 图数据的处理方法、装置、设备、存储介质及程序产品
CN113377625A (zh) * 2021-07-22 2021-09-10 支付宝(杭州)信息技术有限公司 针对多方联合业务预测进行数据监控的方法及装置
CN115544580A (zh) * 2022-11-29 2022-12-30 支付宝(杭州)信息技术有限公司 保护数据隐私的两方联合训练预测模型的方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165515A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的模型参数获取方法、系统及可读存储介质
CN109241749A (zh) * 2017-07-04 2019-01-18 阿里巴巴集团控股有限公司 数据加密、机器学习模型训练方法、装置以及电子设备
CN110209994A (zh) * 2019-04-25 2019-09-06 广西师范大学 基于同态加密的矩阵分解推荐方法
CN110321492A (zh) * 2019-06-13 2019-10-11 华中科技大学 一种基于社区信息的项目推荐方法及系统
CN110728375A (zh) * 2019-10-16 2020-01-24 支付宝(杭州)信息技术有限公司 多个计算单元联合训练逻辑回归模型的方法和装置
CN110889139A (zh) * 2019-11-26 2020-03-17 支付宝(杭州)信息技术有限公司 针对用户隐私数据进行多方联合降维处理的方法及装置
CN111062492A (zh) * 2019-12-20 2020-04-24 支付宝(杭州)信息技术有限公司 一种基于可选隐私数据进行模型训练的方法及系统
CN111079947A (zh) * 2019-12-20 2020-04-28 支付宝(杭州)信息技术有限公司 一种基于可选隐私数据进行模型训练的方法及系统
CN111177768A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111177791A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
US20200160975A1 (en) * 2018-11-21 2020-05-21 Enlitic, Inc. Multi-label heat map generating system
CN111523556A (zh) * 2019-02-01 2020-08-11 阿里巴巴集团控股有限公司 模型训练方法、装置及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241749A (zh) * 2017-07-04 2019-01-18 阿里巴巴集团控股有限公司 数据加密、机器学习模型训练方法、装置以及电子设备
CN109165515A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的模型参数获取方法、系统及可读存储介质
US20200160975A1 (en) * 2018-11-21 2020-05-21 Enlitic, Inc. Multi-label heat map generating system
CN111523556A (zh) * 2019-02-01 2020-08-11 阿里巴巴集团控股有限公司 模型训练方法、装置及系统
CN110209994A (zh) * 2019-04-25 2019-09-06 广西师范大学 基于同态加密的矩阵分解推荐方法
CN110321492A (zh) * 2019-06-13 2019-10-11 华中科技大学 一种基于社区信息的项目推荐方法及系统
CN110728375A (zh) * 2019-10-16 2020-01-24 支付宝(杭州)信息技术有限公司 多个计算单元联合训练逻辑回归模型的方法和装置
CN110889139A (zh) * 2019-11-26 2020-03-17 支付宝(杭州)信息技术有限公司 针对用户隐私数据进行多方联合降维处理的方法及装置
CN111062492A (zh) * 2019-12-20 2020-04-24 支付宝(杭州)信息技术有限公司 一种基于可选隐私数据进行模型训练的方法及系统
CN111079947A (zh) * 2019-12-20 2020-04-28 支付宝(杭州)信息技术有限公司 一种基于可选隐私数据进行模型训练的方法及系统
CN111177768A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111177791A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949778A (zh) * 2021-04-17 2021-06-11 深圳前海移联科技有限公司 基于局部敏感哈希的智能合约分类方法、系统及电子设备
CN113240505A (zh) * 2021-05-10 2021-08-10 深圳前海微众银行股份有限公司 图数据的处理方法、装置、设备、存储介质及程序产品
CN113240505B (zh) * 2021-05-10 2024-05-24 深圳前海微众银行股份有限公司 图数据的处理方法、装置、设备、存储介质及程序产品
CN113377625A (zh) * 2021-07-22 2021-09-10 支付宝(杭州)信息技术有限公司 针对多方联合业务预测进行数据监控的方法及装置
CN113377625B (zh) * 2021-07-22 2022-05-17 支付宝(杭州)信息技术有限公司 针对多方联合业务预测进行数据监控的方法及装置
CN115544580A (zh) * 2022-11-29 2022-12-30 支付宝(杭州)信息技术有限公司 保护数据隐私的两方联合训练预测模型的方法及装置
CN115544580B (zh) * 2022-11-29 2023-04-07 支付宝(杭州)信息技术有限公司 保护数据隐私的两方联合训练预测模型的方法及装置

Also Published As

Publication number Publication date
CN112084520B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN112084520B (zh) 保护数据隐私的双方联合训练业务预测模型的方法及装置
CN111160573B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111460511B (zh) 基于隐私保护的联邦学习、虚拟对象分配方法和装置
EP4221077B1 (en) Computer-implemented system and method for exchange of data
CN111178549B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
US20230078061A1 (en) Model training method and apparatus for federated learning, device, and storage medium
CN111177791B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111400766B (zh) 针对隐私数据进行多方联合降维处理的方法及装置
CN107704930B (zh) 基于共享数据的建模方法、装置、系统及电子设备
CN111818095B (zh) 基于区块链的退税方法、装置及电子设备
CN111177768A (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN112039702B (zh) 基于联邦学习和相互学习的模型参数训练方法及装置
CN114936650A (zh) 基于隐私保护的联合训练业务模型的方法及装置
CN111738361A (zh) 业务模型的联合训练方法及装置
Balagolla et al. Credit card fraud prevention using blockchain
CN113591097A (zh) 业务数据处理方法、装置、电子设备及存储介质
CN112200382A (zh) 一种风险预测模型的训练方法和装置
Lai et al. Statistical models and stochastic optimization in financial technology and investment science
CN110851482B (zh) 为多个数据方提供数据模型的方法及装置
CN110874481B (zh) 一种基于gbdt模型的预测方法和装置
CN112507372B (zh) 实现隐私保护的多方协同更新模型的方法及装置
CN112101609B (zh) 关于用户还款及时性的预测系统、方法、装置及电子设备
EP4283917A1 (en) Privacy-preserving clustering methods and apparatuses
CN112200234B (zh) 模型分类的过程中防止模型窃取的方法及装置
CN114547684A (zh) 一种保护隐私数据的多方联合训练树模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant