CN111800411B - 保护隐私的业务预测模型联合更新方法及装置 - Google Patents

保护隐私的业务预测模型联合更新方法及装置 Download PDF

Info

Publication number
CN111800411B
CN111800411B CN202010626342.XA CN202010626342A CN111800411B CN 111800411 B CN111800411 B CN 111800411B CN 202010626342 A CN202010626342 A CN 202010626342A CN 111800411 B CN111800411 B CN 111800411B
Authority
CN
China
Prior art keywords
matrix
gradient
elements
dispersion
matrix elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010626342.XA
Other languages
English (en)
Other versions
CN111800411A (zh
Inventor
陈超超
周俊
王力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010626342.XA priority Critical patent/CN111800411B/zh
Publication of CN111800411A publication Critical patent/CN111800411A/zh
Application granted granted Critical
Publication of CN111800411B publication Critical patent/CN111800411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种保护隐私的业务预测模型联合更新方法及装置，在更新方法中，服务器接收若干客户端在基于各自维护的私有样本，在本地训练业务预测模型后发送的加密梯度矩阵。将若干客户端的加密梯度矩阵加载到TEE中，在TEE中对其进行解密，得到若干原始梯度矩阵。对若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵。该融合矩阵用于反映若干原始梯度矩阵中的矩阵元素取值的总体趋势。基于融合矩阵，计算若干原始梯度矩阵各自的离散度。该离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度。基于若干原始梯度矩阵各自的离散度，选取各目标矩阵，并基于各目标矩阵，更新服务器维护的业务预测模型的模型参数。

Description

保护隐私的业务预测模型联合更新方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种保护隐私的业务预测模型联合更新方法及装置。
背景技术
联邦学习(Federated Learning)，也称联合学习，是一种新兴的人工智能基础技术。其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方之间开展高效率的机器学习。
然而在多参与方联合学习的过程中，比如，在多参与方联合更新业务预测模型的过程中，可能会存在其中的某一方为恶意攻击者，这就会使得模型联合更新过程被攻击。
因此，需要提供一种方案，以便可以从多个参与方中识别出恶意攻击者，进而确保模型联合更新的安全性。
发明内容
本说明书一个或多个实施例描述了一种保护隐私的业务预测模型联合更新方法及装置，可以有效抵御恶意攻击者的攻击。
第一方面，提供了一种保护隐私的业务预测模型联合更新方法，包括：
接收若干客户端在基于各自维护的私有样本，在本地训练业务预测模型后发送的加密梯度矩阵；
将所述若干客户端的加密梯度矩阵加载到所述TEE中，在所述TEE中对其进行解密，得到若干原始梯度矩阵；
对所述若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵；所述融合矩阵用于反映所述若干原始梯度矩阵中的矩阵元素取值的总体趋势；
基于所述融合矩阵，计算所述若干原始梯度矩阵各自的离散度；所述离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度；
基于所述若干原始梯度矩阵各自的离散度，从所述若干原始梯度矩阵中选取各目标矩阵；
基于所述各目标矩阵，更新所述服务器维护的业务预测模型的模型参数。
第二方面，提供了一种保护隐私的业务预测模型联合更新装置，包括：
接收单元，用于接收若干客户端在基于各自维护的私有样本，在本地训练业务预测模型后发送的加密梯度矩阵；
解密单元，用于将所述若干客户端的加密梯度矩阵加载到所述TEE中，在所述TEE中对其进行解密，得到若干原始梯度矩阵；
融合单元，用于对所述若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵；所述融合矩阵用于反映所述若干原始梯度矩阵中的矩阵元素取值的总体趋势；
计算单元，用于基于所述融合矩阵，计算所述若干原始梯度矩阵各自的离散度；所述离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度；
选取单元，用于基于所述若干原始梯度矩阵各自的离散度，从所述若干原始梯度矩阵中选取各目标矩阵；
更新单元，用于基于所述各目标矩阵，更新所述服务器维护的业务预测模型的模型参数。
第三方面，提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
本说明书一个或多个实施例提供的保护隐私的业务预测模型联合更新方法及装置，服务器在接收到若干客户端发送的加密梯度矩阵，并在对其解密得到原始梯度矩阵之后，先确定若干原始梯度矩阵中的矩阵元素取值的总体趋势。之后，基于确定的总体趋势，分析各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度，并基于各原始梯度矩阵的偏离程度筛选目标矩阵。之后基于筛选的目标矩阵，更新服务器维护的业务预测模型。由于恶意攻击者模拟的数据与正常的数据之间往往存在较大的差异，因此，本方案基于各原始梯度矩阵的偏离程度来筛选目标矩阵，可以有效地剔除异常矩阵，进而可以有效抵御恶意攻击者的攻击。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的保护隐私的业务预测模型联合更新方法通信架构图；
图2为本说明书一个实施例提供的保护隐私的业务预测模型联合更新方法流程图；
图3为本说明书一个实施例提供的保护隐私的业务预测模型联合更新装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
在描述本说明书实施例提供的方案之前，先对本方案的发明构思作以下说明。
如前所述，在多参与方联合更新业务预测模型的过程中，可能会存在其中的某一方为恶意攻击者。为了能够确保模型联合更新的安全性，就需要从多参与方中识别出该恶意攻击者。
本申请的发明人考虑到，恶意攻击者模拟的数据与正常的数据之间往往存在较大的差异。基于此，本申请的发明人提出如下的业务预测模型联合更新方法：
服务器接收若干客户端在基于各自维护的私有样本，在本地训练业务预测模型后发送的加密梯度矩阵。将若干客户端的加密梯度矩阵加载到可信执行环境(TrustedExecution Environment，TEE)中，在TEE中对其进行解密，得到若干原始梯度矩阵。对若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵。该融合矩阵用于反映若干原始梯度矩阵中的矩阵元素取值的总体趋势。基于融合矩阵，计算若干原始梯度矩阵各自的离散度，该离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度。基于若干原始梯度矩阵各自的离散度，从若干原始梯度矩阵中选取各目标矩阵。基于各目标矩阵，更新服务器维护的业务预测模型的模型参数。
也即本方案中，服务器在接收到若干客户端发送的加密梯度矩阵，并在对其解密得到原始梯度矩阵之后，先确定若干原始梯度矩阵中的矩阵元素取值的总体趋势。之后，基于确定的总体趋势，分析各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度，并基于各原始梯度矩阵的偏离程度筛选目标矩阵。之后基于筛选的目标矩阵，更新服务器维护的业务预测模型。由于恶意攻击者模拟的数据与正常的数据之间往往相差比较大，因此，本方案基于各原始梯度矩阵的偏离程度来筛选目标矩阵，可以有效地剔除异常矩阵，进而可以有效抵御恶意攻击者的攻击。
以上就是本说明书提供的发明构思，基于该发明构思就可以得到本方案，以下对本方案进行详细阐述。
图1为本说明书提供的保护隐私的业务预测模型联合更新方法通信架构图。图1中，服务器可以包括可信执行环境TEE。TEE是进行安全计算的有力工具，可在一个安全域内进行外包计算或多方安全计算。TEE最主要的两个特性是隔离性和验证：隔离性保证安全域外无法访问安全域内的数据，验证用于用户确认安全域的安全性、完整性而后与安全域协商秘钥。
具体地，服务器可以在其TEE中，对从若干客户端接收的加密梯度矩阵进行解密，并基于解密得到的原始梯度矩阵，确定融合矩阵。此外，还可以基于融合矩阵，确定各原始梯度矩阵的离散度，以及基于离散度筛选目标矩阵，并基于目标矩阵，对业务预测模型进行更新。该业务预测模型是用于执行针对业务对象的预测任务的机器学习模型。
以下对上述方法的实际应用场景进行介绍。在不同应用场景下，以下方面的内容或多或少存在差异：若干客户端所对应的实体设备、客户端中存储的本地业务数据、业务对象、预测任务、用于执行针对业务对象的预测任务的业务预测模型。
在一个示例性场景中，上述若干客户端为具有人脸识别功能的若干IoT机具，其中每个IoT机具中存储在历史刷脸业务中采集的人脸数据，该人脸数据包括拍摄的人脸图片和对应用户的身份标识(如手机号或系统分配的唯一编号)。在此场景下，上述业务对象和预测任务可以分别为用户和人脸识别，相应地，用于对用户进行人脸识别的业务预测模型可称为人脸识别模型。
在另一个示例性场景中，上述若干客户端为若干用户终端，其中每个用户终端(如智能手机或平板电脑等)存储用户对网站或应用App的操作行为数据。进一步地，在一个更具体的场景中，其中网站或应用App可以包括电商网站或购物App，相应的操作行为数据可以包括浏览、点击或关闭等，在此场景下，上述业务对象可以包括用户和商品，上述预测任务可以为商品推荐，也就是判断是否向某用户推荐某商品，相应地，用于进行商品推荐的业务预测模型可以称为商品推荐模型。在另一个更具体的场景中，其中操作行为数据可以包括登录行为数据，如登录时刻、登录耗时、是否登录成功等，并且，每个用户终端存储的本地业务数据还可以包括操作环境数据，如用户终端的MAC地址，网络IP地址等，在此场景下，上述业务对象可以包括登录事件，上述预测任务可以为事件风险识别，也就是判断某个登录事件是否存在风险，相应地，用于识别事件风险的业务预测模型可以称为事件风险识别模型。
在又一个示例性场景中，上述若干客户端为若干工业设备，其中每个工业设备可以存储通过其传感器采集的传感器数据以及因发生异常而产生的告警数据，其中传感器可以包括温度传感器、湿度传感器、或压力传感器等，相应采集的传感器数据可以包括温度、湿度或压力，在此场景下，上述业务对象和预测任务可以分别为工业设备和异常检测，相应地，用于识别设备异常的业务预测模型可以称为异常检测模型。
在还一个示例性场景中，上述若干客户端为若干商户收款机具，其中每个收款机具中可以记录交易信息，包括交易方、交易时间、交易金额、交易网络环境、交易商品信息等，在此场景下，上述业务对象和预测任务可以分别为商户和商户经营风险评估，相应地，用于评估商户经营风险的业务预测模型可以称为商户风险评估模型。
在以上示例性场景中，若干客户端对应的实体设备可以包括IoT机具、用户终端、工业设备和商户收款机具，客户端中存储的本地业务数据(即私有样本)可以包括：人脸数据、用户操作行为数据、设备传感器数据和交易数据，业务对象可以包括用户、商品、工业设备、登录事件和商户，预测任务可以包括人脸识别、商品推荐、异常检测、风险评估，业务预测模型可以为人脸识别模型、商品推荐模型、事件风险识别模型、异常检测模型和商户风险评估模型。需要理解，以上场景仅作为示例，实际上，上述若干客户端还可以实现为其他任何具有计算、处理能力的平台或设备集群或服务器，上述业务对象还可以包括访问事件等其他业务事件。总的来说，上述业务预测模型可以分类模型或回归模型，用于预测上述业务对象的分类或回归值。在一个实施例中，上述业务预测模型可以基于决策树算法、贝叶斯算法等实现，在另一个实施例中，上述业务预测模型可以基于神经网络实现。
以上对上述方法的实际应用场景进行了介绍，以下对上述方法的具体实施过程进行说明。
图2为本说明书一个实施例提供的保护隐私的业务预测模型联合更新方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者系统或者装置，如，可以为图1中的服务器。如图2所示，所述方法具体可以包括：
步骤202，接收若干客户端在基于各自维护的私有样本，在本地训练业务预测模型后发送的加密梯度矩阵。
如前所述，若干客户端中的每个客户端所维护的私有样本可以为人脸数据、用户操作行为数据、设备传感器数据或者交易数据。相应地，各客户端在本地训练的业务预测模型可以为人脸识别模型、商品推荐模型、事件风险识别模型、异常检测模型或者商户风险评估模型。
以若干客户端中任意的第一客户端为例来说，该第一客户端发送的加密梯度矩阵可以通过对对应的原始梯度矩阵加密得到，该原始梯度矩阵通过以下步骤获得：第一客户端将其本地的私有样本，输入业务预测模型。根据业务预测模型的输出与各私有样本的标签，确定原始梯度矩阵。需要说明的是，这里的原始梯度矩阵可以包含n*m个矩阵元素，其中的每个矩阵元素代表一个梯度值，且对应于业务预测模型的一个模型参数。这里，n，m为正整数。
与第一客户端的原始梯度矩阵的获取方法类似地，其它客户端也可以获取到各自的原始梯度矩阵。在本说明书中，若干客户端各自获取的原始梯度矩阵的大小可以相同。比如，均可以包含n*m个矩阵元素，其中的每个矩阵元素代表一个梯度值，且对应于业务预测模型的一个模型参数。
此外，第一客户端在获得对应的原始梯度矩阵之后，可以采用与服务器预先协商的加密秘钥，对该原始梯度矩阵进行加密，得到对应的加密梯度矩阵。类似地，其它客户端也可以采用与服务器预先协商的加密秘钥，对各自的原始梯度矩阵进行加密，得到各自的加密梯度矩阵。
步骤204，将若干客户端的加密梯度矩阵加载到TEE中，在TEE中对其进行解密，得到若干原始梯度矩阵。
如，服务器可以采用与若干客户端预先协商的解密秘钥，对各客户端的加密梯度矩阵进行解密，得到若干客户端各自的原始梯度矩阵。
需要说明的是，由于TEE技术可以确保数据的安全性，因此在TEE中对各客户端的原始梯度矩阵进行解密，可以避免各客户端的隐私数据泄露的问题。
步骤206，对若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵。
这里的融合矩阵可以用于反映若干原始梯度矩阵中的矩阵元素取值的总体趋势。
具体地，上述融合矩阵的获取方法可以包括：对若干原始梯度矩阵中相同位置的矩阵元素进行求平均或者求加权平均，得到融合矩阵。
现举例如下：假设若干客户端包括客户端x和客户端y，且客户端x的原始梯度矩阵如下：
Figure BDA0002566635790000081
即客户端x的原始梯度矩阵中包含n*m个矩阵元素。
此外，客户端y的原始梯度矩阵如下：
Figure BDA0002566635790000091
也即客户端y的原始梯度矩阵中也包含n*m个矩阵元素。
那么在通过对若干原始梯度矩阵中相同位置的矩阵元素进行求平均，来获取融合矩阵A时，融合矩阵A中的矩阵元素aij可以表示如下：
aij＝(xij+yij)/2 (公式1)
其中，1≤i≤n，1≤j≤m。
应理解，作为一种示例，上述只是以两个客户端为例，对融合矩阵中各矩阵元素的确定方法所进行的说明。在实际应用中，客户端的个数可以为多个。此外，上述公式1中的求平均运算也可以替换为求加权平均、求和或者加权求和等等，本说明书对此不作限定。
步骤208，基于融合矩阵，计算若干原始梯度矩阵各自的离散度。
这里的离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度。
具体地，可以首先从第一矩阵中选取至少部分矩阵元素。之后，对于至少部分矩阵元素中任意的第一矩阵元素，从融合矩阵中选取相同位置的矩阵元素作为对应矩阵元素。基于至少部分矩阵元素与对应矩阵元素的差值，计算第一矩阵的离散度。
在一个例子中，上述至少部分矩阵元素可以是从第一矩阵的各矩阵元素中随机选取而得到。该部分矩阵元素的数目可以满足预定数目(比如，50个)；或者，该部分矩阵元素的占比满足预定比例(比如，10％)。
以前述例子中客户端x对应的原始梯度矩阵X为例来说，其中的矩阵元素xij在融合矩阵A中的对应矩阵元素为aij。
需要说明的是，在一种实现方式中，上述基于至少部分矩阵元素与对应矩阵元素的差值，计算第一矩阵的离散度可以包括：基于至少部分矩阵元素与对应矩阵元素的差值，计算第一均方差。将计算得到的第一均方差作为第一矩阵的离散度。
还以客户端x对应的原始梯度矩阵X为例来说，假设从中选取的至少部分矩阵元素分别为：x11，x22以及x33，由于该三个矩阵元素在融合矩阵中的对应矩阵元素分别为：a11，a22以及a33，那么第一矩阵的离散度的计算公式可以如下：
Figure BDA0002566635790000101
其中，σ为第一矩阵的离散度，也称为第一均方差。
需要说明的是，因为上述从第一矩阵中选取的部分矩阵元素的个数为3个，所以上述公式中的分母为3。应理解，当部分矩阵元素的个数为N个时，那么分母可以替换为N。
在另一种实现方式中，上述基于至少部分矩阵元素与对应矩阵元素的差值，计算第一矩阵的离散度可以包括：对至少部分矩阵元素与对应矩阵元素的差值进行求绝对值，对各求绝对值结果进行求和或者加权求和，将求和结果或者加权求和结果作为第一矩阵的离散度。
还以客户端x对应的原始梯度矩阵X为例来说，假设从中选取的至少部分矩阵元素分别为：x11，x22以及x33，由于该三个矩阵元素在融合矩阵中的对应矩阵元素分别为：a11，a22以及a33，那么第一矩阵的离散度的计算公式可以如下：
v＝|x11-a11|+|x22-a22|+|x33-a33| (公式3)
其中，v为第一矩阵的离散度。
当然，在实际应用中，也可以对上述各差值的绝对值进行加权求和等，本说明书对此不作限定。
需要说明的是，本说明书实施例只基于第一矩阵中的部分矩阵元素与对应矩阵元素的差值，计算第一矩阵的离散度的方法，可以大大提升离散度的计算效率。
步骤210，基于若干原始梯度矩阵各自的离散度，从若干原始梯度矩阵中选取各目标矩阵。
与第一矩阵的离散度的计算方法类似地，可以计算得到若干原始梯度矩阵中其它矩阵的离散度。之后，对于若干原始梯度矩阵中的每个矩阵，可以判断该矩阵的离散度是否超过阈值，如果否，则将该矩阵作为各目标矩阵中的一个目标矩阵。如果是，则剔除该矩阵。
需要说明的是，这里之所以将对应离散度超过阈值的原始梯度矩阵剔除，是因为离散度大于阈值的原始梯度矩阵可能为异常矩阵。或者说，该原始梯度矩阵可能为恶意攻击者模拟生成的数据。因此，本说明书实施例通过剔除离散度大于阈值的原始梯度矩阵，可以有效抵御恶意攻击者的攻击，这可以确保模型联合更新的稳定性，进而可以提升业务预测模型的精度。
步骤212，基于各目标矩阵，更新服务器维护的业务预测模型的模型参数。
具体地，可以对各目标矩阵进行求和或者加权求和，得到综合梯度矩阵。将综合梯度矩阵中的各矩阵元素作为梯度值，更新服务器维护的业务预测模型的模型参数。
应理解，在对各目标矩阵进行求和或者加权求和之后，所得到的综合梯度矩阵可以包含n*m个矩阵元素，其中的每个矩阵元素代表一个更新的梯度值，且对应于业务预测模型的一个模型参数。从而，基于该综合梯度矩阵中的各矩阵元素，就可以更新服务器维护的业务预测模型的模型参数。
需要说明的是，在实际应用中，上述步骤202-步骤212是迭代多次执行的，直至达到迭代结束条件。这里的迭代结束条件例如可以为：迭代次数达到阈值次数，或者业务预测模型的性能指标达到阈值等。
还需要说明的是，在每次迭代结束之后，服务器可以将更新后的模型参数下发至各客户端，以便各客户端对本地的业务预测模型的模型参数进行更新，也即各客户端可以得到更新的业务预测模型。从而各客户端在进入下一轮迭代时，基于各自维护的私有样本，在本地训练更新的业务预测模型，并向服务器发送针对该更新的业务预测模型训练得到的加密梯度矩阵。
综合以上，本说明书实施例提供的保护隐私的业务预测模型联合更新方法，服务器在接收到若干客户端发送的加密梯度矩阵，并在对其解密得到原始梯度矩阵之后，先确定若干原始梯度矩阵中的矩阵元素取值的总体趋势。之后，基于确定的总体趋势，分析各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度，并基于各原始梯度矩阵的偏离程度筛选目标矩阵。之后基于筛选的目标矩阵，更新服务器维护的业务预测模型。由于恶意攻击者模拟的数据与正常的数据之间往往存在较大的差异，因此，本方案基于各原始梯度矩阵的偏离程度来筛选目标矩阵，可以有效地剔除异常矩阵，进而可以有效抵御恶意攻击者的攻击。
图3为本说明书一个实施例提供的保护隐私的业务预测模型联合更新装置。该装置设置于服务器，该服务器包括可信执行环境TEE。如图3所示，该装置可以包括：
接收单元302，用于接收若干客户端在基于各自维护的私有样本，在本地训练业务预测模型后发送的加密梯度矩阵。
解密单元304，用于将若干客户端的加密梯度矩阵加载到TEE中，在TEE中对其进行解密，得到若干原始梯度矩阵。
融合单元306，用于对若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵。该融合矩阵用于反映若干原始梯度矩阵中的矩阵元素取值的总体趋势。
融合单元306具体可以用于：
对若干原始梯度矩阵的相同位置的矩阵元素进行求平均或者求加权平均，得到融合矩阵。
计算单元308，用于基于融合矩阵，计算若干原始梯度矩阵各自的离散度。该离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度。
上述若干原始梯度矩阵可以包括第一矩阵，计算单元308具体可以用于：
从第一矩阵中选取至少部分矩阵元素。对于至少部分矩阵元素中任意的第一矩阵元素，从融合矩阵中选取相同位置的矩阵元素作为对应矩阵元素。基于至少部分矩阵元素与对应矩阵元素的差值，计算第一矩阵的离散度。
计算单元308还具体可以用于：
基于至少部分矩阵元素与对应矩阵元素的差值，计算第一均方差。将计算得到的第一均方差作为第一矩阵的离散度。或者，
对至少部分矩阵元素与对应矩阵元素的差值进行求绝对值，对各求绝对值结果进行求和或者加权求和，将求和结果或者加权求和结果作为第一矩阵的离散度。
选取单元310，用于基于若干原始梯度矩阵各自的离散度，从若干原始梯度矩阵中选取各目标矩阵。
选取单元310具体可以用于：
对于若干原始梯度矩阵中的每个矩阵，判断该矩阵的离散度是否超过阈值，如果否，则将该矩阵作为各目标矩阵中的一个目标矩阵。
更新单元312，用于基于各目标矩阵，更新服务器维护的业务预测模型的模型参数。
这里的业务预测模型用于预测业务对象的分类或回归值。该业务对象包括以下任一种：用户、商户、商品以及事件。
更新单元312具体可以用于：
对各目标矩阵进行求和或者加权求和，得到综合梯度矩阵。
将综合梯度矩阵中的各矩阵元素作为梯度值，更新服务器维护的业务预测模型的模型参数。
可选地，上述至少部分矩阵元素可以是从第一矩阵中的各矩阵元素中随机选取而得到。该部分矩阵元素的数目满足预定数目。或者，该部分矩阵元素的占比满足预定比例。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的保护隐私的业务预测模型联合更新装置，可以有效抵御恶意攻击者的攻击，进而可以确保模型联合更新的稳定性和安全性。
另一方面，本说明书的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图2所示的方法。
另一方面，本说明书的实施例提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图2所示的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (16)

1.一种保护隐私的业务预测模型联合更新方法，所述方法通过服务器执行，所述服务器包括可信执行环境TEE；所述方法包括：
接收若干客户端在基于各自维护的私有样本，在本地训练业务预测模型后发送的加密梯度矩阵；其中，任意的第一客户端发送的加密梯度矩阵通过对对应的原始梯度矩阵加密得到；所述原始梯度矩阵通过所述第一客户端将其维护的私有样本输入本地的业务预测模型后，再根据输出以及私有样本的标签而确定；
将所述若干客户端的加密梯度矩阵加载到所述TEE中，在所述TEE中对其进行解密，得到若干原始梯度矩阵；
对所述若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵；所述融合矩阵用于反映所述若干原始梯度矩阵中的矩阵元素取值的总体趋势；
基于所述融合矩阵，计算所述若干原始梯度矩阵各自的离散度；所述离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度；其中，任意的第一矩阵的离散度，基于所述第一矩阵中的至少部分矩阵元素中每个矩阵元素与所述融合矩阵中相同位置的矩阵元素的差值计算得到；
将所述若干原始梯度矩阵中对应离散度不超过阈值的各原始梯度矩阵选取为各目标矩阵；
基于所述各目标矩阵，更新所述服务器维护的业务预测模型的模型参数。
2.根据权利要求1所述的方法，所述业务预测模型用于预测业务对象的分类或回归值；所述业务对象包括以下任一种：用户、商户、商品以及事件。
3.根据权利要求1所述的方法，所述基于所述融合矩阵，计算所述若干原始梯度矩阵各自的离散度，包括：
从所述第一矩阵中选取至少部分矩阵元素；
对于所述至少部分矩阵元素中任意的第一矩阵元素，从所述融合矩阵中选取相同位置的矩阵元素作为对应矩阵元素；
基于所述至少部分矩阵元素与对应矩阵元素的差值，计算所述第一矩阵的离散度。
4.根据权利要求3所述的方法，所述基于所述至少部分矩阵元素与对应矩阵元素的差值，计算所述第一矩阵的离散度，包括：
基于所述至少部分矩阵元素与对应矩阵元素的差值，计算第一均方差；将计算得到的第一均方差作为所述第一矩阵的离散度；或者，
对所述至少部分矩阵元素与对应矩阵元素的差值进行求绝对值，对各求绝对值结果进行求和或者加权求和，将求和结果或者加权求和结果作为所述第一矩阵的离散度。
5.根据权利要求3所述的方法，所述至少部分矩阵元素是从所述第一矩阵中的各矩阵元素中随机选取而得到；所述部分矩阵元素的数目满足预定数目；或者，所述部分矩阵元素的占比满足预定比例。
6.根据权利要求1所述的方法，所述对所述若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵，包括：
对所述若干原始梯度矩阵的相同位置的矩阵元素进行求平均或者求加权平均，得到所述融合矩阵。
7.根据权利要求1所述的方法，所述基于所述各目标矩阵，更新所述服务器维护的业务预测模型的模型参数，包括：
对所述各目标矩阵进行求和或者加权求和，得到综合梯度矩阵；
将所述综合梯度矩阵中的各矩阵元素作为梯度值，更新所述服务器维护的业务预测模型的模型参数。
8.一种保护隐私的业务预测模型联合更新装置，所述装置设置于服务器；所述服务器包括可信执行环境TEE；所述装置包括：
接收单元，用于接收若干客户端在基于各自维护的私有样本，在本地训练业务预测模型后发送的加密梯度矩阵；其中，任意的第一客户端发送的加密梯度矩阵通过对对应的原始梯度矩阵加密得到；所述原始梯度矩阵通过所述第一客户端将其维护的私有样本输入本地的业务预测模型后，再根据输出以及私有样本的标签而确定；
解密单元，用于将所述若干客户端的加密梯度矩阵加载到所述TEE中，在所述TEE中对其进行解密，得到若干原始梯度矩阵；
融合单元，用于对所述若干原始梯度矩阵中相同位置的矩阵元素进行融合，得到融合矩阵；所述融合矩阵用于反映所述若干原始梯度矩阵中的矩阵元素取值的总体趋势；
计算单元，用于基于所述融合矩阵，计算所述若干原始梯度矩阵各自的离散度；所述离散度用于反映各原始梯度矩阵中的矩阵元素取值偏离总体趋势的程度；其中，任意的第一矩阵的离散度，基于所述第一矩阵中的至少部分矩阵元素中每个矩阵元素与所述融合矩阵中相同位置的矩阵元素的差值计算得到；
选取单元，用于将所述若干原始梯度矩阵中对应离散度不超过阈值的各原始梯度矩阵选取为各目标矩阵；
更新单元，用于基于所述各目标矩阵，更新所述服务器维护的业务预测模型的模型参数。
9.根据权利要求8所述的装置，所述业务预测模型用于预测业务对象的分类或回归值；所述业务对象包括以下任一种：用户、商户、商品以及事件。
10.根据权利要求8所述的装置，所述计算单元具体用于：
从所述第一矩阵中选取至少部分矩阵元素；
对于所述至少部分矩阵元素中任意的第一矩阵元素，从所述融合矩阵中选取相同位置的矩阵元素作为对应矩阵元素；
基于所述至少部分矩阵元素与对应矩阵元素的差值，计算所述第一矩阵的离散度。
11.根据权利要求10所述的装置，所述计算单元还具体用于：
基于所述至少部分矩阵元素与对应矩阵元素的差值，计算第一均方差；将计算得到的第一均方差作为所述第一矩阵的离散度；或者，
对所述至少部分矩阵元素与对应矩阵元素的差值进行求绝对值，对各求绝对值结果进行求和或者加权求和，将求和结果或者加权求和结果作为所述第一矩阵的离散度。
12.根据权利要求10所述的装置，所述至少部分矩阵元素是从所述第一矩阵中的各矩阵元素中随机选取而得到；所述部分矩阵元素的数目满足预定数目；或者，所述部分矩阵元素的占比满足预定比例。
13.根据权利要求8所述的装置，所述融合单元具体用于：
对所述若干原始梯度矩阵的相同位置的矩阵元素进行求平均或者求加权平均，得到所述融合矩阵。
14.根据权利要求8所述的装置，所述更新单元具体用于：
对所述各目标矩阵进行求和或者加权求和，得到综合梯度矩阵；
将所述综合梯度矩阵中的各矩阵元素作为梯度值，更新所述服务器维护的业务预测模型的模型参数。
15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。
16.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
CN202010626342.XA 2020-07-02 2020-07-02 保护隐私的业务预测模型联合更新方法及装置 Active CN111800411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010626342.XA CN111800411B (zh) 2020-07-02 2020-07-02 保护隐私的业务预测模型联合更新方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010626342.XA CN111800411B (zh) 2020-07-02 2020-07-02 保护隐私的业务预测模型联合更新方法及装置

Publications (2)

Publication Number Publication Date
CN111800411A CN111800411A (zh) 2020-10-20
CN111800411B true CN111800411B (zh) 2021-04-02

Family

ID=72810024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010626342.XA Active CN111800411B (zh) 2020-07-02 2020-07-02 保护隐私的业务预测模型联合更新方法及装置

Country Status (1)

Country Link
CN (1) CN111800411B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434337A (zh) * 2020-11-30 2021-03-02 上海天旦网络科技发展有限公司 分布式训练生成模型的方法、系统及介质
CN112541574B (zh) * 2020-12-03 2022-05-17 支付宝(杭州)信息技术有限公司 保护隐私的业务预测方法及装置
CN112560085B (zh) * 2020-12-10 2023-09-19 支付宝(杭州)信息技术有限公司 业务预测模型的隐私保护方法及装置
CN113301017B (zh) * 2021-04-22 2022-04-08 西安电子科技大学 基于联邦学习的攻击检测与防御方法、装置及存储介质
CN113347057B (zh) * 2021-05-18 2022-11-22 北京达佳互联信息技术有限公司 异常数据检测方法、装置、电子设备及存储介质
CN113704826A (zh) * 2021-09-13 2021-11-26 支付宝(杭州)信息技术有限公司 一种基于隐私保护的业务风险检测方法、装置及设备
CN115081642B (zh) * 2022-07-19 2022-11-15 浙江大学 一种多方协同更新业务预测模型的方法及系统
CN116522399B (zh) * 2023-06-30 2023-09-19 杭州金智塔科技有限公司 保护用户隐私的推荐模型更新方法、系统及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209817A (zh) * 2016-07-01 2016-12-07 何钟柱 基于大数据和可信计算的信息网络安全自防御系统
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统
CN110189192A (zh) * 2019-05-10 2019-08-30 深圳前海微众银行股份有限公司 一种信息推荐模型的生成方法及装置
CN110443067A (zh) * 2019-07-30 2019-11-12 卓尔智联(武汉)研究院有限公司 基于隐私保护的联邦建模装置、方法及可读存储介质
CN110838069A (zh) * 2019-10-15 2020-02-25 支付宝(杭州)信息技术有限公司 数据处理方法、装置以及系统
CN110874440A (zh) * 2020-01-16 2020-03-10 支付宝(杭州)信息技术有限公司 一种信息推送及其模型训练的方法、装置及电子设备
CN111193564A (zh) * 2019-12-25 2020-05-22 南京工业大学 抗御智能ssdf攻击的宽带加权协作频谱感知算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244243B2 (en) * 2018-01-19 2022-02-08 Hypernet Labs, Inc. Coordinated learning using distributed average consensus
CN111177791B (zh) * 2020-04-10 2020-07-17 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106209817A (zh) * 2016-07-01 2016-12-07 何钟柱 基于大数据和可信计算的信息网络安全自防御系统
CN110189192A (zh) * 2019-05-10 2019-08-30 深圳前海微众银行股份有限公司 一种信息推荐模型的生成方法及装置
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统
CN110443067A (zh) * 2019-07-30 2019-11-12 卓尔智联(武汉)研究院有限公司 基于隐私保护的联邦建模装置、方法及可读存储介质
CN110838069A (zh) * 2019-10-15 2020-02-25 支付宝(杭州)信息技术有限公司 数据处理方法、装置以及系统
CN111193564A (zh) * 2019-12-25 2020-05-22 南京工业大学 抗御智能ssdf攻击的宽带加权协作频谱感知算法
CN110874440A (zh) * 2020-01-16 2020-03-10 支付宝(杭州)信息技术有限公司 一种信息推送及其模型训练的方法、装置及电子设备

Also Published As

Publication number Publication date
CN111800411A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111800411B (zh) 保护隐私的业务预测模型联合更新方法及装置
CN112132198B (zh) 数据处理方法、装置、系统和服务器
CN107704930B (zh) 基于共享数据的建模方法、装置、系统及电子设备
CN110414567B (zh) 数据处理方法、装置和电子设备
CN112132676B (zh) 联合训练目标模型的贡献度的确定方法、装置和终端设备
US20230362200A1 (en) Dynamic cybersecurity scoring and operational risk reduction assessment
CN111428887B (zh) 一种基于多个计算节点的模型训练控制方法、装置及系统
US20220394061A1 (en) System and Method for Monitoring Data Disclosures
US11477245B2 (en) Advanced detection of identity-based attacks to assure identity fidelity in information technology environments
CN113240505B (zh) 图数据的处理方法、装置、设备、存储介质及程序产品
CN113240524A (zh) 联邦学习系统中账户的异常检测方法、装置及电子设备
Ur-Rehman et al. Vulnerability modelling for hybrid IT systems
Khoso et al. Proposing a novel iot framework by identifying security and privacy issues in fog cloud services network
CN116011640A (zh) 基于用户行为数据的风险预测方法及装置
Gokulnath et al. A survey on trust models in cloud computing
Babu Adaptive AI for Dynamic Cybersecurity Systems: Enhancing Protection in a Rapidly Evolving Digital Landscap
Kinai et al. Multi-factor authentication for users of non-internet based applications of blockchain-based platforms
CN112541574B (zh) 保护隐私的业务预测方法及装置
CN113254989B (zh) 目标数据的融合方法、装置和服务器
CN115409512A (zh) 异常信息检测方法、装置、计算机设备、存储介质
Mondal et al. Iot data security with machine learning blckchain: Risks and countermeasures
CN114117428A (zh) 一种检测模型的生成方法及装置
Salam et al. Securing smart manufacturing by integrating anomaly detection with zero-knowledge proofs
Bathich et al. Exploiting vulnerabilities of IP cameras: Lebanon case study
Wang et al. A flexible and privacy-preserving federated learning framework based on logistic regression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039118

Country of ref document: HK