CN115186876A - 保护数据隐私的两方联合训练业务预测模型的方法及装置 - Google Patents

保护数据隐私的两方联合训练业务预测模型的方法及装置 Download PDF

Info

Publication number
CN115186876A
CN115186876A CN202210711306.2A CN202210711306A CN115186876A CN 115186876 A CN115186876 A CN 115186876A CN 202210711306 A CN202210711306 A CN 202210711306A CN 115186876 A CN115186876 A CN 115186876A
Authority
CN
China
Prior art keywords
characterization
party
gradient
layer
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210711306.2A
Other languages
English (en)
Inventor
郑龙飞
王磊
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210711306.2A priority Critical patent/CN115186876A/zh
Publication of CN115186876A publication Critical patent/CN115186876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种保护数据隐私的两方联合训练业务预测模型的方法及装置。该方法包括：两方各自利用本地部署的表征层处理本方的训练样本的特征部分，得到对应的表征；第二方对两方表征进行融合处理，并利用随机生成的可逆函数处理融合表征，得到混淆表征，以使第一方利用预测层处理此混淆表征，得到混淆预测结果；第二方利用可逆函数的反函数处理混淆预测结果，得到真实预测结果，以使第一方利用此真实预测结果和样本标签计算预测层的梯度和传播至表征层的目标梯度；第二方根据上述反函数以及上述融合处理的对应方式，处理目标梯度，从而确定传播至第一表征层的第一梯度和第二表征层的第二梯度，进而各方根据梯度完成本地模型参数的更新。

Description

保护数据隐私的两方联合训练业务预测模型的方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种保护数据隐私的两方联合训练业务预测模型的方法及装置，以及一种保护数据隐私的多方联合训练业务预测模型的方法及装置。
背景技术
随着人工智能技术(Artificial Intelligence，简称AI)的发展，深度神经网络(Deep Neural Networks，简称DNN)已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等多个领域。不同应用场景下的DNN网络结构相对固定，为实现更好的模型性能，就需要更多的训练数据。
在医疗、金融等许多领域，不同的企业或机构拥有不同的数据样本，一旦将这些数据进行联合训练，将极大提升模型精度，从而有效提高业务质量，提升用户满意度。然而这些原始的训练数据包含大量的用户隐私和商业机密，一旦信息泄露，将造成难以挽回的负面影响。因此，在多方联合训练解决数据孤岛问题的同时，保护数据隐私和数据价值成为近年来研究的重点。
如果参与联合训练的训练成员分处在不同行业并具有相同的用户群体，例如支付平台和社交平台之间，支付平台多持有支付数据，社交平台多持有娱乐社交数据，那么他们所收集数据的特征空间不同，样本空间相同，对此可称之为垂直切分的数据场景。
然而，目前应用在数据垂直切分场景的联合训练方式有限，难以满足实际应用中的更高需求。因此，需要一种联合训练方案，可以更好地满足实际应用需求，例如，更好地保护数据隐私、数据价值等。
发明内容
本说明书一个或多个实施例描述了一种保护数据隐私的两方联合训练业务预测模型的方法，利用可逆函数对隐层的样本空间进行打乱重排(shuffle)，从而保护数据价值。
根据第一方面，提供一种保护数据隐私的两方联合训练业务预测模型的方法，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第二方，包括：利用所述第二表征层处理本方持有的训练样本的第二特征部分，得到第二表征，并对所述第二表征和第一表征进行融合处理，得到融合表征；其中第一表征由所述第一方利用所述第一表征层处理其持有的所述训练样本的第一特征部分而得到；利用随机生成的可逆函数处理所述融合表征，得到混淆表征；利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度，并将所述第一梯度发送至所述第一方，其中目标梯度由所述第一方基于所述真实预测结果和样本标签得到。
在一个实施例中，根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度，包括：利用所述反函数处理传播至表征层的与所述混淆表征对应的目标梯度，得到所述还原梯度；根据所述融合处理的对应方式，基于所述还原梯度确定所述第一梯度和第二梯度。
在一个实施例中，所述第二方中还部署可信执行环境TEE；其中，在对所述第二表征和第一表征进行融合处理，得到融合表征之前，所述方法还包括：从所述第一方接收第一加密表征，其通过利用所述TEE环境提供的公钥加密所述第一表征而得到；其中，对所述第二表征和第一表征进行融合处理，得到融合表征，包括：在所述TEE环境中，利用与所述公钥对应的私钥解密所述第一加密表征，得到所述第一表征，并对所述第一表征和加载到所述TEE环境中的第二表征进行所述融合处理，得到所述融合表征。
在一个具体的实施例中，所述得到混淆表征、得到真实预测结果和得到所述还原梯度均在所述TEE环境中执行。
在一个具体的实施例中，其中，对所述第二表征和第一表征进行融合处理，得到融合表征，包括：对所述第二表征和第一表征进行求平均处理，得到所述融合表征；其中，根据所述融合处理的对应方式，基于所述还原梯度确定所述第一梯度和第二梯度，包括：将所述还原梯度的一半分别确定为所述第一梯度和第二梯度。
在一个具体的实施例中，对所述第二表征和第一表征进行融合处理，得到融合表征，包括：对所述第二表征和第一表征进行求和，得到所述融合表征；其中，根据所述融合处理的对应方式，基于所述还原梯度确定所述第一梯度和第二梯度，包括：将所述还原梯度分别确定为所述第一梯度和第二梯度。
在一个具体的实施例中，利用随机生成的可逆函数处理所述融合表征，得到混淆表征，包括：随机生成满秩矩阵；利用随机生成的满秩矩阵对所述融合表征进行乘积处理，得到所述混淆表征；其中，利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，包括：利用所述满秩矩阵的逆矩阵对所述混淆预测结果进行乘积处理，得到所述真实预测结果；其中，利用所述反函数处理传播至表征层的与所述混淆表征对应的目标梯度，得到所述还原梯度，包括：利用所述逆矩阵对所述目标梯度进行乘积处理，得到所述还原梯度。
在一个更具体的实施例中，所述融合表征为n*m维矩阵；其中，随机生成满秩矩阵，包括：对n阶单位矩阵和随机生成的(N-n)*n维矩阵进行拼接，得到N*n维的拼接矩阵；对所述拼接矩阵按照行的方向打乱重组，得到所述满秩矩阵。
在一个实施例中，在确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度之后，所述方法还包括：利用所述第二梯度更新所述第二表征层中的模型参数。
在一个实施例中，利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，包括：利用所述反函数处理所述混淆预测结果，得到真实的原始预测结果；在所述原始预测结果中添加符合差分隐私机制的噪声，得到所述真实预测结果。
在一个具体的实施例中，将所述第一梯度发送至所述第一方，包括：将所述第一梯度更新为在其基础上添加有符合差分隐私机制的噪声的梯度；将更新后的第一梯度发生至所述第一方。
根据第二方面，提供一种保护数据隐私的两方联合训练业务预测模型的方法，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第一方，包括：利用所述第一表征层处理本方持有的训练样本的第一特征部分，得到第一表征；利用所述预测层处理从所述第二方接收的混淆表征，得到混淆预测结果；其中混淆表征由所述第二方利用随机生成的可逆函数处理融合表征而得到，所述融合表征是对第一表征和第二表征进行融合处理而得到，所述第二表征是利用所述第二表征层处理所述训练样本的第二特征部分而到；利用真实预测结果和所述训练样本的样本标签计算传播至表征层的目标梯度；所述真实预测结果由所述第二方利用所述可逆函数的反函数处理所述混淆预测结果而得到；利用从所述第二方接收第一梯度，更新所述第一表征层中的模型参数；所述第一梯度由所述第二方根据所述反函数以及所述融合处理的对应方式处理所述目标梯度而得到。
在一个实施例中，所述方法还包括：利用所述真实预测结果和所述样本标签计算所述预测层的训练梯度；利用所述训练梯度更新所述预测层中的模型参数。
根据第三方面，提供一种保护数据隐私的多方联合训练业务预测模型的方法，所述业务预测模型包括部署在第一方中的第一特征表征层和预测层，以及部署在第二方中的第二特征表征层；所述方法应用于所述多方中的可信第三方，包括：从所述第一方接收利用第一表征层处理训练样本的第一特征部分而得到的第一表征，以及，从所述第二方接收利用第二表征层处理训练样本的第二特征部分而得到的第二表征；对所述第一表征和第二表征进行融合处理，得到融合表征，并利用随机生成的可逆函数处理所述融合表征，得到混淆表征；利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度，并将所述第一梯度和第二梯度对应发送至所述第一方和第二方；其中目标梯度由第一方基于所述真实预测结果和样本标签得到。
在一个实施例中，所述可信第三方中部署有可信执行环境TEE，其中，所述得到混淆表征和得到真实预测结果均在所述TEE环境中执行。
根据第四方面，提供一种保护数据隐私的两方联合训练业务预测模型的装置，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第二方，包括：表征单元，配置为利用所述第二表征层处理本方持有的训练样本的第二特征部分，得到第二表征；融合单元，配置为对所述第二表征和第一表征进行融合处理，得到融合表征；其中第一表征由所述第一方利用所述第一表征层处理其持有的所述训练样本的第一特征部分而得到；加密单元，配置为利用随机生成的可逆函数处理所述融合表征，得到混淆表征；解密单元，配置为利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；梯度处理单元，配置为根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度；梯度发送单元，配置为将所述第一梯度发送至所述第一方，其中目标梯度由所述第一方基于所述真实预测结果和样本标签得到。
根据第五方面，提供一种保护数据隐私的两方联合训练业务预测模型的装置，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第一方，包括：表征单元，配置为利用所述第一表征层处理本方持有的训练样本的第一特征部分，得到第一表征；预测单元，配置为利用所述预测层处理从所述第二方接收的混淆表征，得到混淆预测结果；其中混淆表征由所述第二方利用随机生成的可逆函数处理融合表征而得到，所述融合表征是对第一表征和第二表征进行融合处理而得到，所述第二表征是利用所述第二表征层处理所述训练样本的第二特征部分而到；梯度计算单元，配置为利用真实预测结果和所述训练样本的样本标签计算传播至表征层的目标梯度；所述真实预测结果由所述第二方利用所述可逆函数的反函数处理所述混淆预测结果而得到；更新单元，配置为利用从所述第二方接收第一梯度，更新所述第一表征层中的模型参数；所述第一梯度由所述第二方根据所述反函数以及所述融合处理的对应方式处理所述目标梯度而得到。
根据第六方面，提供一种保护数据隐私的多方联合训练业务预测模型的装置，所述业务预测模型包括部署在第一方中的第一特征表征层和预测层，以及部署在第二方中的第二特征表征层；所述装置应用于所述多方中的可信第三方，包括：表征接收单元，配置为从所述第一方接收利用第一表征层处理训练样本的第一特征部分而得到的第一表征，以及，从所述第二方接收利用第二表征层处理训练样本的第二特征部分而得到的第二表征；融合单元，配置为对所述第一表征和第二表征进行融合处理，得到融合表征；加密单元，配置为利用随机生成的可逆函数处理所述融合表征，得到混淆表征；解密单元，配置为利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；梯度处理单元，配置为根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度；梯度发送单元，配置为将所述第一梯度和第二梯度对应发送至所述第一方和第二方；其中目标梯度由第一方基于所述真实预测结果和样本标签得到。
根据第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面、第二方面或第三方面的方法。
根据第八方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，该处理器执行所述可执行代码时，实现第一方面、第二方面或第三方面的方法。
采用本说明书实施例提供的方法和装置，采用本说明书实施例披露的联合训练业务预测模型的方法，利用可逆矩阵转换等可逆函数对隐层的样本空间进行混淆、乱序重排，从而实现对数据隐私和数据价值的保护。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的业务预测模型的部署场景示意图；
图2示出根据一个实施例的两方联合训练业务预测模型的交互过程示意图；
图3示出根据一个实施例的多方联合训练业务预测模型的交互过程示意图；
图4示出根据一个实施例的两方联合训练业务预测模型的装置结构示意图；
图5示出根据另一个实施例的两方联合训练业务预测模型的装置结构示意图；
图6示出根据一个实施例的多方联合训练业务预测模型的装置结构示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
本说明书实施例披露一种联合训练方案，可以更好地保护训练成员中私有数据的价值，在保证其向其他参与方发送的数据可用的同时，防止被重复利用，导致数据价值的额外流失。
图1示出根据一个实施例的业务预测模型的部署场景示意图，其中业务预测模型部署在参与联合训练的两方中，为简洁描述，将两方中持有标签的一方称为第一方，将另一方称为第二方。需理解，两方均可以实现为任何具有计算、处理能力的装置、平台或设备集群。如图1所示，在第一方中部署业务预测模型的第一表征层和预测层，在第二方中部署业务预测模型的第二表征层。需说明，第一表征层、第二表征层和预测层都可以实现为神经网络层，神经网络层的网络结构、层数等可以根据实际需要设定。示例性地，第一表征层或第二表征层可以实现为多组交替排列的全连接层-激活层，预测层可以实现为若干(若干指代一个或多个)全连接层，以及sigmoid层或softmax层，等。
为便于理解，对上述两方中的数据分布情况进行介绍。第一方和第二方各自持有相同训练样本(或者说业务对象)的不同特征部分，其中第一方持有训练样本的样本标签(或者说业务对象的业务标签)。为区分描述，将第一方持有的训练样本的私有特征记作第一特征部分，将第二方持有的训练样本的私有特征记作第二特征部分。
在一个实施例中，上述业务对象为用户，进一步，在一个具体的实施例中，第一方为支付平台，第二方为社交平台，此时，第一特征部分可以包括用户交易特征或支付特征，如支付时刻、支付频次、支付金额、支付渠道等，第二特征部分可以包括用户社交特征，如用户好友数量、社交活跃度等，第一方持有的用户类别标签可以为消费人群类别标签(高消费人群、低消费人群等)，又如，性格类别标签(如外向或内向等)，又如，风险类别标签(如高风险用户或低风险用户)。在另一个具体的实施例中，第一方为银行，第二方为征信结构，此时，第一特征部分可以包括用户的银行流水(如工资、支出等)，第二特征部分可以包括用户的征信记录(如借贷记录、信用卡的开通记录等)，此时，第一方持有的用户类别标签可以为风险类别标签(如有风险或无风险等)。
在另一个实施例中，上述业务对象为商品，进一步，在一个具体的实施例中，第一方为商品的生产商，第二方为电商平台，此时，第一特征部分可以包括商品的生产成本、产地、成分和保质期，第二特征部分可以包括商品的销量、采购成本、销售价格等，第一方持有的商品标签可以是商品热门等级(如冷门或热门等)。
以上，对两方中的特征、标签等数据的分布情况进行介绍。下面，对两方联合训练上述业务模型的方法进行介绍。图2示出根据一个实施例的两方联合训练业务预测模型的交互过程示意图，如图2所示，所示交互过程包括以下步骤：
步骤S201，第一方利用第一表征层处理第一特征部分，得到第一表征。需理解，第一表征层中的一个或多个神经网络对第一特征部分依次进行线性变换和/或非线性变换，从而得到第一表征。另外，若当前次(或称本次)训练为首次，本步骤还可以实施为：第一方对第一表征层中的模型参数进初始化，再利用初始化后的第一表征层处理第一特征部分，得到第一表征。
单次训练中通常用到一批次训练样本，将当前批次训练样本的个数记作m，其中m＝1，或者更典型地，m为大于1的正整数。将第一表征层中最后一个网络层的输出维度记作n，此时，第一方将其持有的针对m个训练样本中各个训练样本的特征部分，分别输入第一表征层，可以得到m个n维第一表征向量，形成n*m维矩阵，作为上述第一表征Z1。
如此，第一方处理一批次训练样本的本地私有特征可以得到第一表征Z1。从而在步骤S202，第一方将第一表征发送给第二方。在一个实施例中，第二方中还部署有可信执行环境(Trusted Execution Environment，简称TEE)，此时，本步骤还可以包括：第一方利用TEE环境提供的公钥加密第一表征，得到第一加密表征，再将第一加密表征发送给第二方。
另一方面，步骤S203，第二方利用第二表征层处理第二特征部分，得到第二表征。需理解，第二表征层中的一个或多个神经网络层对第二特征部分依次进行线性变换和/或非线性变换，从而得到第二表征。另外，若当前次训练为首次，本步骤还可以实施为：第二方对第二表征层中的模型参数进初始化，再利用初始化后的第二表征层处理第二特征部分，得到第二表征。
单次训练中，第二方处理的特征数据与第一方处理的特征数据对应相同的训练样本，例如，对应同一批用户。另外，可以将第二表征层中最后一个网络层的输出维度设计为与第一表征层中最后一个网络层的输出维度相同，以便于后续进行特征融合时能够采用安全性更强的方式。由此，第二方可以将其持有的针对上述m个训练样本中各个训练样本的特征部分，分别输入第二表征层，得到m个n维的第二表征向量，形成n*m维矩阵，作为上述第二表征Z2。
如此，第二方处理训练样本的本地私有特征可以得到第二表征Z2。
由上，第二方持有第一方发送的第一表征Z1和本地处理得到的第二表征Z2。从而，在步骤S204，第二方对第一表征和第二表征进行融合处理，得到融合表征，从而利用随机生成的可逆函数处理融合表征，得到混淆表征。
对于上述融合处理，为加强安全性，提升相关的破解难度，此处基于加和处理进行融合。在一个实施例中，将第一表征Z1和第二表征Z2的和，作为融合表征。在另一个实施例中，将求和结果的一半，作为融合表征，或者说，将对第一表征Z1和第二表征Z2进行求平均的结果，作为融合表征。在还一个实施例中，还可以将求和结果的其他倍数的乘积结果，作为融合表征。如此，可以得到强安全性的融合表征。
对于上述可逆函数的随机生成，在一个实施例中，可逆函数的函数形式是预先设定的，此时，只需对其中的参数进行随机生成，在另一个实施例中，可以预定义可逆函数的函数形式集合，然后，先从中随机选取一种函数形式，再对其中的函数参数进行随机生成。在一个具体的实施例中，可逆函数的函数形式可以包括：f(x)＝Sx，S为满秩矩阵，其中的矩阵元素有待随机生成；还可以包括：f(x)＝a/x，其中a的取值可以随机生成。
根据一个具体的实施例，可逆函数的随机生成包括：随机生成满秩矩阵S，可将其维数记作N*n维，需要理解的是，若N＞n时，此满秩矩阵也可被称为列满秩矩阵。进一步，在一个例子中，可以先生成一个(N-n)*n维的随机矩阵，然后对此随机矩阵和n阶单位矩阵按行进行拼接，得到N*n维的拼接矩阵，再对此拼接矩阵按照行的方向进行打乱重组，从而得到满秩矩阵S。如此，可以实现更加简单、高效地生成满秩矩阵。
进一步，利用随机生成的可逆函数f(x)处理融合表征Zr得到混淆表征Zs。具体，利用融合表征Zr为可逆函数f(x)中的自变量赋值，得到因变量的值，作为混淆表征Zf。根据一个具体的实施例，随机生成的可逆函数记作f(x)＝Sx，其中S为随机生成的满秩矩阵，由此，可以计算Zs＝S*Zr。需说明，利用满秩矩阵S对融合表征Zr进行变换，可以实现对m个n维向量进行乱序重排(shuffle)的效果。如此，采用矩阵变换的方法打乱样本ID与模型隐层的对应关系，一方面保证了模型训练的顺利进行，另外一方面拥有标签的第一方无法重复利用第二方的表征数据，达到保护数据价值的效果。根据另一个具体的实施例，随机生成的可逆函数为f(x)＝1/x，此时，可以将融合表征Zr中的各个矩阵元素分别作为可逆函数的输入，得到对应后的变换值，从而形成混淆表征Zs。
另一方面，在一个实施例中，第二方中还部署有TEE环境，相应，本步骤可以实施为：将第二表征以及从第一方接收的第一加密表征加载到TEE环境中，在TEE环境中，利用与上述公钥对应的私钥解密该第一加密表征，得到第一表征，再对第一表征和第二表征进行融合处理，进而利用随机生成的可逆函数处理融合表征，得到混淆表征。之后，此混淆表征可以输出到第二方的非TEE环境。如此，使得第二方难以获知第一表征的明文，从而加强针对第一方的数据隐私保护。
以上，第二方基于第一表征和第二表征，可以得到m个训练样本的混淆表征Zs。于是，在步骤S205，第二方将混淆表征发送给第一方。
之后，在步骤S206，第一方利用预测层处理混淆表征，得到混淆预测结果。具体，可以将混淆表征中包括的m个表征向量，例如，m个N维表征向量分别输入预测层，从而得到m个预测结果，形成上述混淆预测结果。需理解，m个预测结果中的各个预测结果可以包括各个类别对应的预测概率。另外，若当前次训练为首次，本步骤还可以实施为：第一方对预测层中的模型参数进初始化，再利用参数初始化后的预测层处理混淆表征，得到混淆预测结果。
如此，第一方可以得到针对当前批次训练样本的混淆预测结果。然后，在步骤S207，第一方将混淆预测结果发送给第二方。
之后，在步骤S208，第二方利用可逆函数的反函数处理混淆预测结果，得到真实预测结果。需理解，可逆函数的反函数是唯一的，在可逆函数f(x)确定后，其反函数f-1(x)随之确定。在一个典型的实施例中，上述可逆函数为：f(x)＝Sx，相应其反函数为f-1(x)＝S-1x，其中S-1为满秩矩阵S的逆矩阵，此时，将逆矩阵与混淆预测结果进行乘积处理，可以得到真实预测结果。需说明，在此实施例中，混淆预测结果和真实预测结果的区别主要在于，真实预测结果中的m个预测结果与m个训练样本的ID是正确对应的，而混淆预测结果中的m个预测结果是乱序的。另一方面，在一个实施例中，本步骤可以实施为：将混淆预测结果加载到部署在第二方中的TEE环境中，从而在TEE环境中利用上述反函数处理混淆预测结果，得到上述真实预测结果。还一方面，在一个实施例中，本步骤可以实施为：利用反函数处理混淆预测结果，得到真实的原始预测结果；进而在原始预测结果中添加符合差分隐私机制的噪声，得到真实预测结果。如此，可以进一步加强数据的隐私保护。
由上，第二方可以将混淆预测结果还原为真实预测结果。从而在步骤S209，第二方向第一方发送该真实预测结果。
之后，在步骤S210，第一方利用真实预测结果和样本标签，计算目标梯度。需理解，其中样本标签是指当前一批次训练样本的样本标签，真实预测结果中包括的m个预测结果与第一方持有的一批次样本标签具有一一对应的关系。
具体，根据真实预测结果、样本标签和选定的损失函数，采用反向传播法，从后往前对预测层中各个神经网络层的训练梯度进行逐层计算，相应，可以利用计算出的梯度，对相对应的网络层中的权重参数进行更新。
由此，可以计算出传播到表征层(或者说第一表征层和第二表征层)的与混淆表征对应的目标梯度。从而在步骤S211，第一方向第二方发送目标梯度。
然后，在步骤S212，第二方利用可逆函数的反函数以及上述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度。
具体，先利用上述反函数处理目标梯度，得到还原梯度。在一个典型的实施例中，反函数为f-1(x)＝S-1x，此时，将逆矩阵S-1与目标梯度进行乘积处理，可以得到还原梯度。
进一步，根据所述融合处理的对应方式，基于还原梯度确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度。需理解，其中对应方式，是指将还原梯度拆解为第一梯度和第二梯度的拆解方式与融合处理的处理方式相适应。在一个实施例中，上述融合处理的方式为求平均，相应，可以将还原梯度的一半分别确定为所述第一梯度和第二梯度，也就是第一梯度与第二梯度相等，且等于还原梯度的一半。在另一个实施例中，上述融合处理的方式为求和，相应，可以直接将还原梯度分别确定为第一梯度和第二梯度。
如此，可以确定第一表征层的第一梯度和第二表征层的第二梯度。进一步，第二方可以利用第二梯度调整第二表征层中的模型参数。另外，在步骤S213，第二方将第一梯度发送给第一方，以使得第一方可以利用第一梯度更新第一表征层中的模型参数。在一个实施例中，第二方可以先将第一梯度更新为在其基础上添加有符合差分隐私机制的噪声的梯度；再将更新后的第一梯度发生至所述第一方。如此，可以进一步加强数据的隐私保护。
根据另一方面的实施例，上述第一表征层、第二表征层、预测层、第一表征、第二表征、融合表征和混淆表征等用语因均与业务对象对应，还可以被换称为第一对象表征层、第二对象表征层、第一对象表征、第二对象表征、对象预测层、第一对象表征、第二对象表征、融合对象表征、混淆对象表征。进一步，还可以将用语中的对象替换为具体的对象类别，例如用户或商品等。
综上，采用本说明书实施例披露的保护数据隐私的两方联合训练业务预测模型的方法，利用可逆矩阵转换等可逆函数对隐层的样本空间进行混淆、乱序重排，从而实现对数据隐私和数据价值的保护。
根据另一方面的实施例，上述两方联合训练业务预测模型的方法，还可以拓展到有更多参与方的情景。在一种实施方式中，参与联合训练的还有其他数据方，与第一方、第二方持有相同训练样本的其他特征数据，此时，业务预测模型还可以包括部署在该其他数据方中的表征层，相应，其他数据方可以利用本地部署的表征层处理本地特征数据，得到本地表征，从而将之发送给第二方，以使得第二方对所有参与方的表征进行融合，得到融合表征，之后，其他数据方可以根据从第二方接收的梯度，更新本地表征层中的模型参数。
在另一种实施方式中，还可以引入可信第三方。此可信第三方可以是属于权威机构的计算平台、设备集群等，或者，可以为中立服务器。图3示出根据一个实施例的多方联合训练业务预测模型的交互过程示意图，其中多方包括第一方、第二方和可信第三方，如图3所示，所述交互过程包括以下步骤：
步骤S301，第一方利用第一表征层处理训练样本的第一特征部分，得到第一表征。
步骤S302，第一方将第一表征发送给可信第三方。
步骤S303，第二方利用第二表征层处理训练样本的第二特征部分，得到第二表征。
步骤S304，第二方将第二表征发送给可信第三方。
步骤S305，可信第三方对第一表征和第二表征进行融合处理，得到融合表征，并利用随机生成的可逆函数处理所述融合表征，得到混淆表征。
步骤S306，可信第三方将混淆表征发送给第一方。
步骤S307，第一方利用预测层处理混淆表征，得到混淆预测结果。
步骤S308，第一方将混淆预测结果发送给可信第三方。
步骤S309，可信第三方利用可逆函数的反函数处理混淆预测结果，得到真实预测结果。
步骤S310，可信第三方将真实预测结果发送给第一方。
步骤S311，第一方根据真实预测结果和样本标签计算预测层的训练梯度和传输至表征层的与混淆表征对应的目标梯度，并利用训练梯度更新预测层中的模型参数。
步骤S312，第一方将目标梯度发送给可信第三方。
步骤S313，可信第三方根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度。
步骤S314，可信第三方将第一梯度发送给第一方。
步骤S315，第一方利用第一梯度更新第一表征层中的模型参数。
步骤S316，可信第三方将第二梯度发送给第二方。
步骤S317，第二方利用第二梯度更新第二表征层中的模型参数。
在一个实施例中，可信第三方中部署有TEE环境，此时，上述步骤S302还可以实施为：第一方发送利用TEE环境提供的公钥对第一表征加密后得到的第一加密表征；步骤S304还可以实施为：第二方发送利用所述公钥对第二表征加密后得到的第二加密表征；步骤S305还可以包括：在TEE环境中，利用私钥分别解密第一加密表征和第二加密表征，得到第一表征和第二表征，以及，将得到的混淆表征输出到可信第三方中的TEE环境外；步骤S309和步骤S313也可以在TEE环境中执行。
需说明，对图3中步骤的描述还可以参见对图2中步骤的描述。
综上，采用本说明书实施例披露的保护数据隐私的多方联合训练业务预测模型的方法，利用可逆矩阵转换等可逆函数对隐层的样本空间进行混淆、乱序重排，并且，引入可信第三方进行数据处理，从而实现对数据隐私和数据价值的有效保护。
与上述训练方法相对应的，本说明书实施例还披露训练装置。图4示出根据一个实施例的两方联合训练业务预测模型的装置结构示意图，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第二方。如图4所示，所述装置400包括以下单元：
表征单元410，配置为利用所述第二表征层处理本方持有的训练样本的第二特征部分，得到第二表征。融合单元420，配置为对所述第二表征和第一表征进行融合处理，得到融合表征；其中第一表征由所述第一方利用所述第一表征层处理其持有的所述训练样本的第一特征部分而得到。加密单元430，配置为利用随机生成的可逆函数处理所述融合表征，得到混淆表征。解密单元440，配置为利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到。梯度处理单元450，配置为根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度。梯度发送单元460，配置为将所述第一梯度发送至所述第一方，其中目标梯度由所述第一方基于所述真实预测结果和样本标签得到。
图5示出根据另一个实施例的两方联合训练业务预测模型的装置结构示意图，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第一方。如图5所示，所述装置500包括以下单元：
表征单元510，配置为利用所述第一表征层处理本方持有的训练样本的第一特征部分，得到第一表征；预测单元520，配置为利用所述预测层处理从所述第二方接收的混淆表征，得到混淆预测结果；其中混淆表征由所述第二方利用随机生成的可逆函数处理融合表征而得到，所述融合表征是对第一表征和第二表征进行融合处理而得到，所述第二表征是利用所述第二表征层处理所述训练样本的第二特征部分而到；梯度计算单元530，配置为利用真实预测结果和所述训练样本的样本标签计算传播至表征层的目标梯度；所述真实预测结果由所述第二方利用所述可逆函数的反函数处理所述混淆预测结果而得到；更新单元540，配置为利用从所述第二方接收第一梯度，更新所述第一表征层中的模型参数；所述第一梯度由所述第二方根据所述反函数以及所述融合处理的对应方式处理所述目标梯度而得到。
图6示出根据一个实施例的多方联合训练业务预测模型的装置结构示意图，所述业务预测模型包括部署在第一方中的第一特征表征层和预测层，以及部署在第二方中的第二特征表征层；所述装置应用于所述多方中的可信第三方。如图6所示，所述装置600包括以下单元：
表征接收单元610，配置为从所述第一方接收利用第一表征层处理训练样本的第一特征部分而得到的第一表征，以及，从所述第二方接收利用第二表征层处理训练样本的第二特征部分而得到的第二表征；融合单元620，配置为对所述第一表征和第二表征进行融合处理，得到融合表征；加密单元630，配置为利用随机生成的可逆函数处理所述融合表征，得到混淆表征；解密单元640，配置为利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；梯度处理单元650，配置为根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度；梯度发送单元660，配置为将所述第一梯度和第二梯度对应发送至所述第一方和第二方；其中目标梯度由第一方基于所述真实预测结果和样本标签得到。
需说明，对训练装置的介绍可以参见前述对训练方法的描述。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图3所描述的方法。本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (20)

1.一种保护数据隐私的两方联合训练业务预测模型的方法，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第二方，包括：
利用所述第二表征层处理本方持有的训练样本的第二特征部分，得到第二表征，并对所述第二表征和第一表征进行融合处理，得到融合表征；其中第一表征由所述第一方利用所述第一表征层处理其持有的所述训练样本的第一特征部分而得到；
利用随机生成的可逆函数处理所述融合表征，得到混淆表征；
利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；
根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度，并将所述第一梯度发送至所述第一方，其中目标梯度由所述第一方基于所述真实预测结果和样本标签得到。
2.根据权利要求1所述的方法，其中，根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度，包括：
利用所述反函数处理传播至表征层的与所述混淆表征对应的目标梯度，得到所述还原梯度；
根据所述融合处理的对应方式，基于所述还原梯度确定所述第一梯度和第二梯度。
3.根据权利要求1或2所述的方法，其中，所述第二方中还部署可信执行环境TEE；
其中，在对所述第二表征和第一表征进行融合处理，得到融合表征之前，所述方法还包括：从所述第一方接收第一加密表征，其通过利用所述TEE环境提供的公钥加密所述第一表征而得到；
其中，对所述第二表征和第一表征进行融合处理，得到融合表征，包括：在所述TEE环境中，利用与所述公钥对应的私钥解密所述第一加密表征，得到所述第一表征，并对所述第一表征和加载到所述TEE环境中的第二表征进行所述融合处理，得到所述融合表征。
4.根据权利要去3所述的方法，其中，所述得到混淆表征、得到真实预测结果和得到所述还原梯度均在所述TEE环境中执行。
5.根据权利要求2所述的方法，
其中，对所述第二表征和第一表征进行融合处理，得到融合表征，包括：对所述第二表征和第一表征进行求平均处理，得到所述融合表征；
其中，根据所述融合处理的对应方式，基于所述还原梯度确定所述第一梯度和第二梯度，包括：
将所述还原梯度的一半分别确定为所述第一梯度和第二梯度。
6.根据权利要求2所述的方法，
其中，对所述第二表征和第一表征进行融合处理，得到融合表征，包括：对所述第二表征和第一表征进行求和，得到所述融合表征；
其中，根据所述融合处理的对应方式，基于所述还原梯度确定所述第一梯度和第二梯度，包括：
将所述还原梯度分别确定为所述第一梯度和第二梯度。
7.根据权利要求2所述的方法，
其中，利用随机生成的可逆函数处理所述融合表征，得到混淆表征，包括：随机生成满秩矩阵；利用随机生成的满秩矩阵对所述融合表征进行乘积处理，得到所述混淆表征；
其中，利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，包括：利用所述满秩矩阵的逆矩阵对所述混淆预测结果进行乘积处理，得到所述真实预测结果；
其中，利用所述反函数处理传播至表征层的与所述混淆表征对应的目标梯度，得到所述还原梯度，包括：利用所述逆矩阵对所述目标梯度进行乘积处理，得到所述还原梯度。
8.根据权利要求7所述的方法，其中，所述融合表征为n*m维矩阵；其中，随机生成满秩矩阵，包括：
对n阶单位矩阵和随机生成的(N-n)*n维矩阵进行拼接，得到N*n维的拼接矩阵；
对所述拼接矩阵按照行的方向打乱重组，得到所述满秩矩阵。
9.根据权利要求1所述的方法，其中，在确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度之后，所述方法还包括：
利用所述第二梯度更新所述第二表征层中的模型参数。
10.根据权利要求1所述的方法，其中，利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，包括：
利用所述反函数处理所述混淆预测结果，得到真实的原始预测结果；
在所述原始预测结果中添加符合差分隐私机制的噪声，得到所述真实预测结果。
11.根据权利要求10所述的方法，其中，将所述第一梯度发送至所述第一方，包括：
将所述第一梯度更新为在其基础上添加有符合差分隐私机制的噪声的梯度；
将更新后的第一梯度发生至所述第一方。
12.一种保护数据隐私的两方联合训练业务预测模型的方法，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述方法应用于所述第一方，包括：
利用所述第一表征层处理本方持有的训练样本的第一特征部分，得到第一表征；
利用所述预测层处理从所述第二方接收的混淆表征，得到混淆预测结果；其中混淆表征由所述第二方利用随机生成的可逆函数处理融合表征而得到，所述融合表征是对第一表征和第二表征进行融合处理而得到，所述第二表征是利用所述第二表征层处理所述训练样本的第二特征部分而到；
利用真实预测结果和所述训练样本的样本标签计算传播至表征层的目标梯度；所述真实预测结果由所述第二方利用所述可逆函数的反函数处理所述混淆预测结果而得到；
利用从所述第二方接收第一梯度，更新所述第一表征层中的模型参数；所述第一梯度由所述第二方根据所述反函数以及所述融合处理的对应方式处理所述目标梯度而得到。
13.根据权利要求11所述的方法，其中，还包括：
利用所述真实预测结果和所述样本标签计算所述预测层的训练梯度；
利用所述训练梯度更新所述预测层中的模型参数。
14.一种保护数据隐私的多方联合训练业务预测模型的方法，所述业务预测模型包括部署在第一方中的第一特征表征层和预测层，以及部署在第二方中的第二特征表征层；所述方法应用于所述多方中的可信第三方，包括：
从所述第一方接收利用第一表征层处理训练样本的第一特征部分而得到的第一表征，以及，从所述第二方接收利用第二表征层处理训练样本的第二特征部分而得到的第二表征；
对所述第一表征和第二表征进行融合处理，得到融合表征，并利用随机生成的可逆函数处理所述融合表征，得到混淆表征；
利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；
根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度，并将所述第一梯度和第二梯度对应发送至所述第一方和第二方；其中目标梯度由第一方基于所述真实预测结果和样本标签得到。
15.根据权利要求14所述的方法，所述可信第三方中部署有可信执行环境TEE，其中，所述得到混淆表征和得到真实预测结果均在所述TEE环境中执行。
16.一种保护数据隐私的两方联合训练业务预测模型的装置，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第二方，包括：
表征单元，配置为利用所述第二表征层处理本方持有的训练样本的第二特征部分，得到第二表征；
融合单元，配置为对所述第二表征和第一表征进行融合处理，得到融合表征；其中第一表征由所述第一方利用所述第一表征层处理其持有的所述训练样本的第一特征部分而得到；
加密单元，配置为利用随机生成的可逆函数处理所述融合表征，得到混淆表征；
解密单元，配置为利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；
梯度处理单元，配置为根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度；
梯度发送单元，配置为将所述第一梯度发送至所述第一方，其中目标梯度由所述第一方基于所述真实预测结果和样本标签得到。
17.一种保护数据隐私的两方联合训练业务预测模型的装置，所述业务预测模型包括部署在第一方中的第一表征层和预测层，以及部署在第二方中的第二表征层；所述装置集成于所述第一方，包括：
表征单元，配置为利用所述第一表征层处理本方持有的训练样本的第一特征部分，得到第一表征；
预测单元，配置为利用所述预测层处理从所述第二方接收的混淆表征，得到混淆预测结果；其中混淆表征由所述第二方利用随机生成的可逆函数处理融合表征而得到，所述融合表征是对第一表征和第二表征进行融合处理而得到，所述第二表征是利用所述第二表征层处理所述训练样本的第二特征部分而到；
梯度计算单元，配置为利用真实预测结果和所述训练样本的样本标签计算传播至表征层的目标梯度；所述真实预测结果由所述第二方利用所述可逆函数的反函数处理所述混淆预测结果而得到；
更新单元，配置为利用从所述第二方接收第一梯度，更新所述第一表征层中的模型参数；所述第一梯度由所述第二方根据所述反函数以及所述融合处理的对应方式处理所述目标梯度而得到。
18.一种保护数据隐私的多方联合训练业务预测模型的装置，所述业务预测模型包括部署在第一方中的第一特征表征层和预测层，以及部署在第二方中的第二特征表征层；所述装置应用于所述多方中的可信第三方，包括：
表征接收单元，配置为从所述第一方接收利用第一表征层处理训练样本的第一特征部分而得到的第一表征，以及，从所述第二方接收利用第二表征层处理训练样本的第二特征部分而得到的第二表征；
融合单元，配置为对所述第一表征和第二表征进行融合处理，得到融合表征；
加密单元，配置为利用随机生成的可逆函数处理所述融合表征，得到混淆表征；
解密单元，配置为利用所述可逆函数的反函数处理混淆预测结果，得到真实预测结果，所述混淆预测结果由所述第一方利用所述预测层处理所述混淆表征而得到；
梯度处理单元，配置为根据所述反函数以及所述融合处理的对应方式，处理目标梯度，从而确定传播至所述第一表征层的第一梯度和第二表征层的第二梯度；
梯度发送单元，配置为将所述第一梯度和第二梯度对应发送至所述第一方和第二方；其中目标梯度由第一方基于所述真实预测结果和样本标签得到。
19.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-15中任一项所述的方法。
20.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-15中任一项所述的方法。
CN202210711306.2A 2022-06-22 2022-06-22 保护数据隐私的两方联合训练业务预测模型的方法及装置 Pending CN115186876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210711306.2A CN115186876A (zh) 2022-06-22 2022-06-22 保护数据隐私的两方联合训练业务预测模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210711306.2A CN115186876A (zh) 2022-06-22 2022-06-22 保护数据隐私的两方联合训练业务预测模型的方法及装置

Publications (1)

Publication Number Publication Date
CN115186876A true CN115186876A (zh) 2022-10-14

Family

ID=83515817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210711306.2A Pending CN115186876A (zh) 2022-06-22 2022-06-22 保护数据隐私的两方联合训练业务预测模型的方法及装置

Country Status (1)

Country Link
CN (1) CN115186876A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432039A (zh) * 2023-06-13 2023-07-14 支付宝(杭州)信息技术有限公司 协同训练方法及装置、业务预测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432039A (zh) * 2023-06-13 2023-07-14 支付宝(杭州)信息技术有限公司 协同训练方法及装置、业务预测方法及装置
CN116432039B (zh) * 2023-06-13 2023-09-05 支付宝(杭州)信息技术有限公司 协同训练方法及装置、业务预测方法及装置

Similar Documents

Publication Publication Date Title
KR102348768B1 (ko) 동형 암호화를 이용한 블록체인 데이터 보호
US11301547B1 (en) Methods, systems, and devices for an encrypted and obfuscated algorithm in a computing environment
CN111160573B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
EP3769467B1 (en) Computer-implemented system and method for exchange of data
RU2727161C1 (ru) Защита данных цепочек блоков с использованием гомоморфного шифрования
CN112149171B (zh) 联邦神经网络模型的训练方法、装置、设备及存储介质
CN111177791B (zh) 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN107704930B (zh) 基于共享数据的建模方法、装置、系统及电子设备
CN112541593B (zh) 基于隐私保护的联合训练业务模型的方法及装置
CN111428887B (zh) 一种基于多个计算节点的模型训练控制方法、装置及系统
CN112347500B (zh) 分布式系统的机器学习方法、装置、系统、设备及存储介质
CN113239404A (zh) 一种基于差分隐私和混沌加密的联邦学习方法
Petrlic et al. A privacy-friendly architecture for future cloud computing
CN113239391B (zh) 一种无第三方的逻辑回归联邦学习模型训练系统及方法
CN115186876A (zh) 保护数据隐私的两方联合训练业务预测模型的方法及装置
Upadhyay et al. Auditing metaverse requires multimodal deep learning
CN115952529B (zh) 一种用户数据处理方法、计算设备及存储介质
CN114547684A (zh) 一种保护隐私数据的多方联合训练树模型的方法及装置
Mahmood et al. A survey on privacy and policy aspects of blockchain technology
Qiu et al. Efficient Vertical Federated Learning with Secure Aggregation
Xu Functional encryption based approaches for practical privacy-preserving machine learning
Garg et al. ANN based security in mobile cloud computing
US12001525B1 (en) Methods, systems, and devices for an encrypted and obfuscated algorithm in a computing environment
Asad et al. Edge Computing for the Metaverse: Balancing Security and Privacy Concerns
US20230370275A1 (en) Verification system for proving authenticity and ownership of digital assets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination