CN115081024B - 基于隐私保护的去中心化业务模型训练方法及装置 - Google Patents
基于隐私保护的去中心化业务模型训练方法及装置 Download PDFInfo
- Publication number
- CN115081024B CN115081024B CN202210980484.5A CN202210980484A CN115081024B CN 115081024 B CN115081024 B CN 115081024B CN 202210980484 A CN202210980484 A CN 202210980484A CN 115081024 B CN115081024 B CN 115081024B
- Authority
- CN
- China
- Prior art keywords
- model
- user
- gradient
- neighbor
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000004931 aggregating effect Effects 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims description 56
- 238000004891 communication Methods 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000002776 aggregation Effects 0.000 claims description 18
- 238000004220 aggregation Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 claims 11
- 230000002596 correlated effect Effects 0.000 claims 4
- 238000013135 deep learning Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书提供基于隐私保护的去中心化业务模型训练方法及装置，其中所述方法包括：确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型，目标用户将本地的梯度与采样的邻居所分享的梯度进行聚合，不仅保护用户隐私数据还可高效训练本地模型。
Description
技术领域
本说明书涉及计算机技术领域，特别涉及一种基于隐私保护的去中心化业务模型训练方法。本说明书同时涉及一种基于隐私保护的去中心化业务模型训练装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
深度学习技术是目前研究最广泛的计算机技术之一，在推荐系统、图像识别和自然语言处理等领域都有突出的应用。为保障用户数据隐私安全的前提下训练高性能的深度学习模型，目前大多数均可采用无中心化的隐私保护深度学习系统，作为一种优化实现，去中心化的深度学习系统在实践中取得了一定的隐私保护效果和较好的运行效率，其允许数据存放于用户本地，并给予高效的去中心化算法训练模型。但是，恶意的用户或机构可能会利用分享的梯度信息，推断用户隐私数据，进而，不仅导致用户隐私数据的泄漏，也制约了系统的运行效率。
发明内容
有鉴于此，本说明书实施例提供了一种基于隐私保护的去中心化业务模型训练方法。本说明书同时涉及一种基于隐私保护的去中心化业务模型训练装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种基于隐私保护的去中心化业务模型训练方法，包括：
确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；
确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；
聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；
基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
根据本说明书实施例的第二方面，提供了一种基于隐私保护的去中心化业务模型训练装置，包括：
用户集合确定模块，被配置为确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；
模型梯度确定模块，被配置为确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；
模型梯度聚合模块，被配置为聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；
业务模型更新模块，被配置为基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述方法的步骤。
本说明书提供的基于隐私保护的去中心化业务模型训练方法，确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
本说明书一实施例通过选择与目标用户关联的邻居用户集合，并接收每个邻居用户发送的邻居模型梯度，再将邻居模型梯度与目标用户的本地待更新业务模型的初始模型梯度进行聚合，确定最终的目标模型梯度，并基于该目标模型梯度更新待更新业务模型，以获得目标用户的目标业务模型，通过该种方式将采样的邻居用户参与目标用户的协同训练，保证了采样数据的有效性，并且目标用户将本地的梯度与采样的邻居所分享的梯度进行聚合，不仅保护了用户隐私数据还可以高效地训练本地模型。
附图说明
图1是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的场景示意图；
图2是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的流程图；
图3是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的用户关系图的示意图；
图4是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的采样邻居用户的流程图；
图5是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的梯度传播流程图；
图6是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的处理流程图；
图7是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练装置的结构示意图；
图8是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
深度学习：(DL，Deep Learning)是机器学习(ML，Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI，ArtificialIntelligence)。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
去中心化：是互联网发展过程中形成的社会关系形态和内容产生形态，是相对于“中心化”而言的新型网络内容生产过程。
梯度：梯度是个向量，自变量沿着该向量的方向变化，函数值变化最快。在机器学习中，为使损失函数下降最快，我们需要让模型参数沿着梯度的负方向更新，即梯度下降。
在大数据和机器学习背景下，深度学习系统被广泛建立来解决各种现实场景中的难题，如商品推荐，目标重识别和语音翻译等。但是，建立这样的深度学习系统往往需要大量隐私数据训练深度模型，如推荐场景中，用户的交互行为数据；目标重识别场景中，用户的人脸数据。随着用户隐私保护意识的提高，收集隐私数据十分困难。因此，建立不侵犯用户隐私数据的深度学习系统是研究的重点问题。进一步地，作为一种优化实现，去中心化的深度学习系统在实践中取得了一定的隐私保护效果和较好的运行效率，因为其允许数据存放于用户本地，并基于高效的去中心化算法训练推荐模型。但是，恶意的用户或机构可能会利用分享的梯度信息，推断用户隐私数据，因此，构建一种去中心化的隐私保护深度学习系统具有重要意义。
如何构建安全的隐私保护深度学习非常具有挑战性，具体来源于两个方面。第一是高效地保护用户数据隐私，现有的隐私保护方法，如秘密分享和同态加密，基于繁重的密码学加密框架，通信成本昂贵。第二是协同训练高性能的深度学习模型，在去中心化系统中，存在效率和效果的折中，参与训练的用户越多，深度学习模型性能越高，但模型训练效率越低。
为在保障用户数据隐私安全的前提下训练高性能的深度学习模型，本申请构建了一种去中心化的隐私保护深度学习推荐系统。在隐私数据受到法规严格限制的场景，本申请不依赖中心化服务器和收集隐私数据，并以一种去中心化的方式协同训练深度学习模型。并且，本申请还提出了一种安全的模型梯度分享机制，在保护用户隐私数据的同时，显著降低了用户间通信量。
目前，对于用户隐私数据的保护，大多数使用了传统的加密技术，使用传统的加密技术虽然一定程度上保证了传输中的安全性，但通信效率大打折扣，建模效率不高；其次，用户隐私数据保护程度不够，对于大部分的发明，攻击者仍可从用户模型的更新梯度中推断用户隐私数据。最后，部分发明依靠关键用户或服务器聚合模型梯度，存在通信瓶颈，制约了系统的运行效率。
基于此，本说明书实施例提供的一种基于隐私保护的去中心化业务模型训练方法是一个安全的去中心化深度学习系统框架，其可分为三个步骤。首先，基于用户间相似关系，如通信关联关系（如社交关系）和位置信息，构建用户设备图。节点是用户，空间距离相近的或具有社交关系的用户会形成一条边。其次，每次训练时，当前用户在用户图中采样K阶的邻居用户，被采样的用户根据深度学习模型的任务，基于本地数据，计算模型梯度。最后，用户在本地安全编码计算得到的梯度，并以用户隐私安全的方式分享梯度。每个用户聚合分享的梯度，并对聚合梯度进行解码，训练本地模型。
在本说明书中，提供了一种基于隐私保护的去中心化业务模型训练方法，本说明书同时涉及一种基于隐私保护的去中心化业务模型训练装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
参见图1，图1是本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的场景示意图。
图1包括深度学习系统100，该深度学习系统100中包括目标用户设备102以及邻居用户1、邻居用户2、邻居用户3以及邻居用户4；需要说明的是，图1中的深度学习系统为一种去中心化的深度学习系统，这种系统在商品推荐、图像识别和自然语言处理等多个领域都具有良好的适用性和可扩展性，并通过协同训练的方式训练深度学习系统中的深度学习模型，即目标用户的待更新业务模型。
实际应用中，目标用户设备102在训练目标用户的待更新业务模型的过程中，可通过采样多个邻居用户，来共同实现协同训练的目的，如图1中目标用户可采样到邻居用户1、邻居用户2、邻居用户3以及邻居用户4，共同完成对待更新业务模型的训练；具体实施时，可通过接收到每个邻居用户发送的邻居模型梯度，并将多个邻居模型梯度与目标用户本地的待更新业务模型的初始模型梯度进行聚合，以获得目标模型梯度，再根据聚合后的目标模型梯度，完成对待更新业务模型的更新操作，以实现对目标用户的待更新业务模型的协同训练。
图2示出了根据本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的流程图，具体包括以下步骤：
步骤202：确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合。
其中，用户关联集群可以理解为与目标用户具有关联关系的集群，其中，该关联关系包括但不限定于地理位置关系、网络通信关系等等。邻居用户集合可以理解为与目标用户协同参与模型训练的邻居用户集合。
实际应用中，目标用户设备可先确定目标用户对应的用户关联集群，该用户关联集群中包括多个用户以及各个用户之间所建立的关联关系；进一步地，还可在该用户关联集群中继续确定目标用户对应的邻居用户集合，便于后续通过邻居用户集合与目标用户协同训练目标用户的业务模型。
进一步地，确定目标用户的用户关联集群，包括：
确定与目标用户具有关联关系的初始邻居用户，其中，所述关联关系包括所述目标用户与所述初始邻居用户之间的通信关联关系和/或位置关联关系；
基于所述通信关联关系和/或位置关联关系构建所述目标用户与所述初始邻居用户之间的用户关系图；
基于所述用户关系图确定目标用户的用户关联集群。
其中，初始邻居用户可以理解为与目标用户具有关联关系的用户，且该关联关系包括但不限于通信关系和/或位置关系。
通信关联关系可以理解为用户之间的通信信息，包括但不限于社交信息，比如互为好友或者互为关注等；位置关联关系可以理解为用户之间的地理位置关联关系，包括但不限于用户注册位置、客户端当前的使用位置等。
用户关系图可以理解为根据用户之间的通信关联关系和/或位置关联关系构建的表示用户之间的关系图。
实际应用中，目标用户设备可确定与目标用户具有通信关联关系和/或位置关联关系的初始邻居用户，再构建目标用户与初始邻居用户之间的用户关系图，根据构建的用户关系图确定该目标用户的用户关联集群。
参见图3，图3示出了本说明书实施例提供的基于隐私保护的去中心化业务模型训练方法的用户关系图的示意图。
需要说明的是，具有社交关系或地理空间接近的用户之间具有关联关系，本实施例中以用户之间的用户地理位置或用户社交信息为例，构建用户关系图。若用户u和用户v地理位置的欧式距离
小于阈值τ，则用户u和用户v间存在边。若用户u和用户v存在社交关系
，如互为好友或者相互关注等，则用户u和用户v之间存在边。用户关系图可表示为
，其中，
表示图中所有用户形成的集合，
代表图中的边。
表示用户u的邻居用户。
图3中示出了用户1至用户8这8个用户之间的用户关系图，由于用户1和用户2之间的欧氏距离小于τ，则用户1和用户2之间存在边；由于用户5和用户6之间存在社交关系，则用户5和用户6之间存在边；基于此，用户1至用户8这8个用户之间即可构建如图3所示的用户关系图的示意图。
进一步地，在所述用户关联集群中确定所述目标用户对应的邻居用户集合，包括：
基于所述用户关联集群中的用户关系图接收所述初始邻居用户的采样权重，其中，所述采样权重基于初始邻居用户对应的邻居业务模型中的损失函数值以及模型训练次数生成；
根据所述采样权重在所述用户关联集群中，确定所述目标用户对应的邻居用户集合。
实际应用中，为了实现与目标用户协同训练，可在与目标用户具有关联关系的初始邻居用户中采样一部分用户，作为邻居用户集合，参与协同训练的过程。该目标用户设备可接收到各个初始邻居用户发送的采样权重，便于后续根据采样权重确定是否采样对应的初始邻居用户，将采样到的初始邻居用户作为参与目标用户协同训练的用户，即构成该目标用户对应的邻居用户集合。
需要说明的是，各个初始邻居用户的采样权重是每个初始邻居用户对应的设备，根据邻居用户本地的邻居业务模型中的损害函数值以及模型训练系数生成的，该采样权重以确定是否将该邻居用户作为协同训练的对象；具体可参见计算邻居用户采样权重的公式，即用户u采样邻居用户
的概率
，如下述公式1所示，
其中，
是用户v模型损失函数的值，初始值为1000，
是用户v模型的训练次数，初始值为0。损失函数值越大的用户，越倾向于被采样参与模型训练；训练迭代次数越多的用户，越不会被采样参与模型训练。因此，欠拟合的模型更可能被采样参与训练。
在目标用户设备接收各个初始邻居用户发送的采样权重时，可根据预先建立的用户关系图确定目标用户与各个初始邻居用户之间的通信路径，并根据该通信路径接收到各个初始邻居用户的采样权重；具体的，基于所述用户关联集群中的用户关系图接收所述初始邻居用户的采样权重，包括：
基于所述用户关联集群中的用户关系图，确定所述目标用户与所述初始邻居用户之间的初始通信路径；
基于所述初始通信路径接收所述初始邻居用户的采样权重。
其中，初始通信路径可以理解为根据用户关联集群中的用户关系图确定的各个初始邻居用户到目标用户之间的通信路径，该通信路径用于各个邻居用户与目标用户之间建立通信连接。
实际应用中，目标用户设备可在用户关联集群中的用户关系图中，确定目标用户与各个初始邻居用户之间的初始通信路径，并根据该初始通信路径接收初始邻居用户的采样权重。
进一步地，在接收到各个初始邻居用户的采样权重之后，还可采样满足一定权重条件的初始邻居用户，作为邻居用户集合，将参与目标用户的协同训练；具体的，根据所述采样权重在所述用户关联集群中，确定所述目标用户对应的邻居用户集合，包括：
在所述用户关联集群中，将所述初始邻居用户的采样权重满足预设权重条件的初始邻居用户，确定为所述目标用户的目标采样邻居用户；
根据所述目标采样邻居用户生成所述目标用户对应的邻居用户集合。
实际应用中，目标用户设备可在用户关联集群中，根据各个初始邻居用户发送的采样权重确定邻居用户集合，该邻居用户集合将与目标用户共同参与模型的训练；具体的，将初始邻居用户的采样权重满足预设权重条件的初始邻居用户，作为目标采样邻居用户，其中，预设权重条件可以理解为权重的数值，可根据不同的业务场景设置的不同的权重数值，在此不作过多限定。
由于在用户关系图中各个用户都可理解为目标用户，并且除了目标用户本身，在用户关联集群中的其他用户均在采样邻居用户的范围内，因此，整个用户关系图中的每个用户采样邻居用户的流程图可通过循环的方式获得，具体可参见图4，图4示出了本实施例提供的基于隐私保护的去中心化业务模型训练方法的采样邻居用户的流程图。
需要说明的是，图4仅针对单个用户，如需采样所有用户，可并行循环用户集合中的所有用户，并使用图4流程进行采样。
在用户设备图
中，参与训练的用户将首先从图中首先采样H跳的邻居用户，所有被采样的用户协同训练模型。对于用户u，其采样邻居用户的过程如图4所示。首先，初始化训练用户集合U，采样的邻居集合
，并添加u到队列q。其次，根据采样阶数H，循环H次。每次循环内，弹出当前队列中的所有用户，每个弹出的用户从邻居用户中按概率采样N个用户，并将其添加到采样邻居集合
和队列q中，结束循环。最后，程序返回被采样的邻居集合
和训练用户集合U。
本说明书实施例提供的基于隐私保护的去中心化业务模型训练方法，通过构建目标用户对应的用户关系图，以实现对邻居用户的采样，将采样得到的邻居用户集合作为与目标用户协同训练的用户，进而完成对目标用户的待更新业务数据的更新。
步骤204：确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成。
其中，待更新业务模型可以理解为目标用户本地的待训练的业务模型，包括但不限于商品推荐业务模型、图像识别业务模型、目标重识别业务模型等。
初始模型梯度可以理解为初始模型编码梯度，即待更新业务模型在初始化状态下所计算的进行编码后的更新梯度，需要说明的是，待更新业务模型可以为根据本地训练数据训练的业务模型，还未根据其他用户数据进行协同训练的业务模型，并且对更新梯度进行了编码加密处理，获得的初始模型梯度。
邻居模型梯度可以理解为邻居模型编码梯度，即邻居用户根据邻居用户本地的训练数据所训练的邻居业务模型对应的进行编码后的更新梯度。
实际应用中，目标用户设备可计算本地梯度，即目标用户的待更新业务模型的初始模型梯度，再接收邻居用户集合中每个邻居用户所发送的邻居模型梯度，其中，邻居模型梯度为各个邻居用户对应的邻居业务模型基于邻居用户本地的邻居训练数据生成的，需要说明的是，初始模型梯度以及邻居模型梯度均是通过梯度编码操作，以保护用户隐私数据。
进一步地，确定所述目标用户的待更新业务模型的初始模型梯度，包括：
基于所述目标用户的本地训练数据生成待更新业务模型的基础模型梯度；
基于预设梯度编码规则对所述待更新业务模型的基础模型梯度进行编码，获得所述目标用户的待更新业务模型的初始模型梯度，其中，所述预设梯度编码规则用于对所述基础模型梯度进行加密。
其中，基础模型梯度可以理解为目标用户根据本地训练数据生成待更新业务模型对应的基础更新梯度，该基础更新梯度可根据模型训练的迭代次数不断变化；初始模型梯度为根据基础模型梯度进行加密处理后的模型梯度，基础模型梯度根据本地训练数据生成。
为了便于后续实现安全梯度分享，对目标用户的本地基础更新梯度也可进行编码，实现对该本地模型的梯度进行加密，便于后续和邻居业务模型中加密后的邻居模型梯度进行聚合处理；实际应用中，目标用户设备基于目标用户的本地训练数据生成待更新业务模型的基础模型梯度，还可根据预设梯度编码规则对待更新业务模型的基础模型梯度进行编码，获得目标用户的待更新业务模型的初始模型梯度。
所有被采样的用户根据任务需求训练深度学习模型。如对于推荐系统，将根据用户对于商品的历史交互数据训练推荐模型；如对于目标重识别场景，将根据用户的人脸数据训练人物识别模型。对于训练用户集合中的用户
，将首先根据本地训练数据计算模型的损失函数值
，其后计算本地模型的更新梯度
。
更进一步地，本实施例提供的基于隐私保护的去中心化业务模型训练方法可提供一种对更新梯度进行编码的方式，以保护用户隐私数据；具体的，基于预设梯度编码规则对所述待更新业务模型的基础模型梯度进行编码，获得所述目标用户的待更新业务模型的初始模型梯度，包括：
确定所述用户关联集群的预设梯度裁剪范围；
基于所述预设梯度裁剪范围以及所述待更新业务模型的基础模型梯度确定待编码模型梯度；
基于预设梯度编码规则对所述待编码模型梯度进行编码，确定所述目标用户的待更新业务模型的初始模型梯度。
其中，预设梯度裁剪范围可以理解为更新梯度所预先设定的梯度范围，比如[-0.1,0.1]这个范围；待编码模型梯度可以理解为根据预设梯度裁剪范围对待更新业务模型的基础模型梯度进行裁剪后的模型梯度，且该待编码模型梯度作为执行梯度编码操作的基础。
实际应用中，目标用户设备可先确定出用户关联集群的预设梯度裁剪范围，可根据不同的业务模型设置不同的梯度裁剪范围，本实施例中对此则不作具体限定；在确定出该用户关联集群的预设梯度裁剪范围之后，即可表示该用户关联集群中的每个用户对应的模型梯度均可按照该裁剪范围进行裁剪，根据该预设梯度裁剪范围对目标用户的待更新业务的基础模型梯度进行裁剪之后，再基于预设梯度编码规则对该待编码模型梯度进行编码操作，进而获得该目标用户的待更新业务模型的初始模型梯度。
需要说明的是，预设梯度编码规则可以为对梯度矩阵进行编码的规则，包括但不限定与根据伯努利分布实现梯度映射编码等，本实施例对具体的梯度编码规则不作具体限定。
进一步地，基于所述预设梯度裁剪范围以及所述待更新业务模型的基础模型梯度确定待编码模型梯度，包括：
在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围内的情况下，将所述基础模型梯度作为待编码模型梯度；或者
在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围之外的情况下，基于所述基础模型梯度，在所述预设梯度裁剪范围的端点梯度中确定为待编码模型梯度。
实际应用中，目标用户对应的基础模型梯度与预设梯度裁剪范围相比较，可能有三种情况，第一，基础模型梯度小于预设梯度裁剪范围的最小值，第二，基础模型梯度在预设梯度裁剪范围之间（包括预设梯度裁剪范围的端点值），第三，基础模型梯度大于预设梯度裁剪范围的最大值；基于此，具体的裁剪过程为，若待更新业务模型的基础模型梯度在预设梯度裁剪范围内的情况下，可直接将该基础模型梯度作为待编码模型梯度；若待更新业务模型的基础模型梯度在预设梯度裁剪范围之外，即可继续确定该基础模型梯度小于预设梯度裁剪范围的最小值还是大于预设梯度裁剪范围的最大值；若基础模型梯度小于预设梯度裁剪范围的最小值，则将预设梯度裁剪范围的最小端点值作为待编码模型梯度，若基础模型梯度大于预设梯度裁剪范围的最大值，则将预设梯度裁剪范围的最大端点值作为待编码模型梯度。
需要说明的是，上述为对梯度进行裁剪的步骤，每个用户所计算的本地梯度均可按照上述的梯度裁剪步骤进行梯度裁剪，便于后续对裁剪后的梯度进行梯度编码操作。
例如，邻居用户集合中每个邻居用户都可根据邻居用户本地的训练数据生成邻居业务模型，并进而计算模型的损失函数值以及计算本地模型的更新梯度；进而，在训练用户集合U中，每个用户
，将梯度剪裁到
的范围，其中
为预先设定的常数。然后，用户通过伯努利分布为每个梯度采样映射的编码，如下公式2所示：
其中，
为用户编码后的梯度，梯度中的每个元素等于-1或1，
为用户梯度扰动的强度，因此，值较大的梯度会倾向于被编码到1，值较小的梯度会编码到-1。本说明书实施例所提出的梯度编码方法满足差分隐私性质，并且给定训练轮数，其隐私保护预算固定。
通过上述实施例的编码方法将梯度编码为-1或1，可以大大降低了通信成本。
目标用户设备在确定了目标用户本地计算梯度之后，还可接收到邻居用户集合中各个邻居用户发送的邻居模型梯度；具体的，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，包括：
在所述邻居用户集合中确定所述目标用户对应的目标邻居用户，基于所述用户关系图确定所述目标用户与所述目标邻居用户之间的目标通信路径；
基于所述目标通信路径接收所述目标邻居用户发送的邻居模型梯度。
需要说明的是，邻居模型梯度可参照目标用户的初始模型梯度的计算方式获得的，各个邻居用户根据本地邻居训练数据生成对应的待更新模型，并计算该模型的损失函数值，以及根据损失函数值计算更新梯度，再一步步地对所计算的本地更新梯度按照预设梯度裁剪范围进行梯度裁剪，再按照预设梯度编码规则对裁剪后的梯度进行编码，以获得邻居模型梯度，因此，该邻居模型梯度也是经过编码加密的安全梯度，对该安全梯度进行分享传输时，能够保证该梯度的安全性，防止恶意人员劫持梯度进行用户隐私数据的盗用。
实际应用中，邻居用户集合中具有多个邻居用户，目标用户设备可接收到每个邻居用户所发送的邻居模型梯度，具体的接收过程以邻居用户集合中的一个目标邻居用户为例进行示例说明；目标用户设备可在邻居用户集合中先确定出目标用户的目标邻居用户，根据用户关系图可确定出该目标邻居用户与目标用户之间的目标通信路径，可利用该目标通信路径完成对目标邻居用户发送的邻居模型梯度的接收。
通过上述步骤，目标用户设备已经获取到了本地模型梯度以及各个邻居用户的邻居模型梯度，且邻居模型梯度是在安全梯度分享中获得的。
此外，由于上述是针对目标用户接收多个邻居用户的邻居模型梯度进行说明的，而在协同训练的过程中，各个协同训练的用户均可利用上述安全梯度传播的方式，获得每个用户所编码后的更新梯度，以实现任意两个用户之间的均实现了安全梯度分享，可参见图5，图5示出了本说明书实施例提供的基于隐私保护的去中心化业务模型训练方法的梯度传播流程示意图。
具体的，用户
，将编码后的梯度在训练用户集合U中进行梯度传播。梯度传播的流程示意图如图5所示，训练用户集合U中的每个用户首先初始化发送的梯度。其后，每个用户并行将梯度发送给邻居用户，并从邻居用户中接收梯度。由于在训练用户集合U中，任意两用户间最长路径为2H，在梯度传播执行2H次后，训练集合中的每个用户都将受到其他所有用户模型的更新梯度，即安全分享的编码后的梯度。
步骤206：聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度。
其中，目标模型梯度可以理解为目标用户设备针对目标用户的待更新业务模型对应的进行更新的模型梯度，且该目标模型梯度为聚合后的模型梯度，且具有各个邻居模型梯度的参考值。
实际应用中，目标用户设备可将目标用户本地的初始模型梯度，与接收的各个邻居用户发送的邻居模型梯度进行聚合处理，即可获得待更新业务模型的目标模型梯度，若初始模型梯度以及邻居模型梯度为128*1024的矩阵，所聚合的模型梯度数量为8，那么聚合后的目标模型梯度为8*128*1024的矩阵。
进一步地，聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度，包括：
确定所述待更新业务模型的梯度聚合规则；
基于所述梯度聚合规则聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度。
目标用户设备可先确定梯度聚合规则，其中，梯度聚合规则可根据不同的梯度矩阵形式设置不同的聚合方式或规则，本实施例中可采用不同的梯度聚合规则实现，对此不作具体限定；根据梯度聚合规则对初始模型梯度以及多个邻居模型梯度进行聚合处理，进而获得待更新业务模型的目标模型梯度。
本说明书实施例提供的基于隐私保护的去中心化业务模型训练方法，通过对目标用户的本地梯度与邻居用户的邻居梯度进行聚合，可获得具有各个邻居业务模型对应的模型梯度数据的聚合梯度，便于完成对目标用户的待更新业务模型的协同训练操作。
步骤208：基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
实际应用中，目标用户设备根据聚合后的目标模型梯度，更新待更新业务模型，进而获得目标用户的目标业务模型，其中，目标业务模型可以理解为通过协同训练后得到的业务模型。
进一步地，基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型，包括：
基于预设梯度解码规则对所述目标模型梯度进行解码，获得所述待更新业务模型的更新模型梯度；
基于预设梯度下降算法根据所述更新模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
实际应用中，由于目标模型梯度聚合了编码后的梯度，因此，在利用该目标模型梯度进行模型更新时，可将编码后的梯度还原为可直接更新待更新业务模型的梯度，进而，目标用户设备可按照预设梯度解码规则对目标模型梯度进行解码，以获得待更新业务模型的更新模型梯度，并通过预设梯度下降算法根据该更新模型梯度完成对待更新业务模型的更新操作，获得目标用户的目标业务模型。
更进一步地，基于预设梯度解码规则对所述目标模型梯度进行解码，获得所述待更新业务模型的更新模型梯度，包括：
确定模型梯度的梯度总数量，其中，所述模型梯度包括初始模型梯度以及邻居模型梯度；
基于所述梯度总数量确定所述目标模型梯度的平均模型梯度；
对所述平均模型梯度进行解码处理，获得所述待更新业务模型的更新模型梯度。
实际应用中，由于目标模型梯度已经聚合了多个用户的模型梯度，目标用户设备可通过计算平均数的方式，获得该目标模型梯度的平均模型梯度，并对平均模型梯度进行解码处理，以获得待更新业务模型的更新模型梯度。
在梯度传播后，每个训练集合中的用户
，本地解码梯度，并通过随机梯度下降算法，使用解码后的梯度更新模型，其中，梯度解码的过程可参见如下公式3所示：
其中，
表示解码后的梯度（更新模型梯度），
表示平均模型梯度；需要说明的是，上述实施例提供的梯度解码算法是无偏的，会消除梯度编码算法中引入的噪声。
综上，本实施例提供的基于隐私保护的去中心化业务模型训练方法，基于用户的位置关系或社交关系，构建了一种去中心化的深度学习系统，采样邻居用户算法，解决了去中心化深度学习系统中运行效率与模型效果的折中，能够以高运行效率训练高精度的模型；同时，还提出了一种安全梯度分享算法，该算法能够有效地保护用户隐私数据的安全，聚合后的梯度能够有效地消除噪声，从而在不影响系统准确性的情况下，实现隐私保护，另外，该系统还拥有较高的运行效率，也不存在通信瓶颈，这种系统在商品推荐、图像识别和自然语言处理等多个领域都具有良好的适用性和可扩展性；同时本发明实现了一种无噪声的安全梯度分享算法，能够在不影响系统准确性的情况下，实现对用户隐私数据的保护。
下述结合附图6，图6示出了本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练方法的处理流程图。
本说明书实施例提供的基于隐私保护的去中心化业务模型训练方法可以包括三大阶段：S1构建用户设备图、采样邻居用户，S2执行本地计算和S3安全梯度分享；具体可参见下述步骤。
步骤602：构建用户设备图。
具体实施时，用户基于地理空间信息和社交关系构建用户设备图。其中，图中节点是参与用户，边连接距离相近或存在社交关系的用户。
步骤604：采样邻居用户。
具体实施时，参与训练的用户采样高阶邻居用户协同训练。
步骤606：执行本地计算梯度，安全梯度分享。
具体实施时，各用户根据本地数据计算更新模型的梯度。用户通过安全梯度分享算法，以一种保护用户隐私数据的方式，在采样的邻居中分享梯度，协同训练模型。用户首先将本地编码模型梯度，并将其发送给采样的其他用户。
步骤608：完成业务模型的更新。
具体实施时，经过梯度传播后，用户解码收到的梯度，更新本地业务模型。
综上，基于用户的位置信息或社交关系，构建了一种去中心化的深度学习系统，还提出了安全梯度分享算法，该算法能有效保护用户隐私数据安全，聚合后的梯度能有效消除噪声，从而在不影响系统准确性的情况下，实现隐私保护，该系统拥有较高的运行效率，不存在通信瓶颈。
与上述方法实施例相对应，本说明书还提供了基于隐私保护的去中心化业务模型训练装置实施例，图7示出了本说明书一实施例提供的一种基于隐私保护的去中心化业务模型训练装置的结构示意图。如图7所示，该装置包括：
用户集合确定模块702，被配置为确定目标用户的用户关联集群，在所述用户关联集群中确定所述目标用户对应的邻居用户集合；
模型梯度确定模块704，被配置为确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；
模型梯度聚合模块706，被配置为聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；
业务模型更新模块708，被配置为基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
可选地，所述模型梯度确定模块704，进一步被配置为：
基于所述目标用户的本地训练数据生成待更新业务模型的基础模型梯度；
基于预设梯度编码规则对所述待更新业务模型的基础模型梯度进行编码，获得所述目标用户的待更新业务模型的初始模型梯度，其中，所述预设梯度编码规则用于对所述基础模型梯度进行加密。
可选地，所述模型梯度确定模块704，进一步被配置为：
确定所述用户关联集群的预设梯度裁剪范围；
基于所述预设梯度裁剪范围以及所述待更新业务模型的基础模型梯度确定待编码模型梯度；
基于预设梯度编码规则对所述待编码模型梯度进行编码，确定所述目标用户的待更新业务模型的初始模型梯度。
可选地，所述模型梯度确定模块704，进一步被配置为：
在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围内的情况下，将所述基础模型梯度作为待编码模型梯度；或者
在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围之外的情况下，基于所述基础模型梯度，在所述预设梯度裁剪范围的端点梯度中确定为待编码模型梯度。
可选地，所述用户集合确定模块702，进一步被配置为：
确定与目标用户具有关联关系的初始邻居用户，其中，所述关联关系包括所述目标用户与所述初始邻居用户之间的通信关联关系和/或位置关联关系；
基于所述通信关联关系和/或位置关联关系构建所述目标用户与所述初始邻居用户之间的用户关系图；
基于所述用户关系图确定目标用户的用户关联集群。
可选地，所述用户集合确定模块702，进一步被配置为：
基于所述用户关联集群中的用户关系图接收所述初始邻居用户的采样权重，其中，所述采样权重基于初始邻居用户对应的邻居业务模型中的损失函数值以及模型训练次数生成；
根据所述采样权重在所述用户关联集群中，确定所述目标用户对应的邻居用户集合。
可选地，所述用户集合确定模块702，进一步被配置为：
基于所述用户关联集群中的用户关系图，确定所述目标用户与所述初始邻居用户之间的初始通信路径；
基于所述初始通信路径接收所述初始邻居用户的采样权重。
可选地，所述用户集合确定模块702，进一步被配置为：
在所述用户关联集群中，将所述初始邻居用户的采样权重满足预设权重条件的初始邻居用户，确定为所述目标用户的目标采样邻居用户；
根据所述目标采样邻居用户生成所述目标用户对应的邻居用户集合。
可选地，所述模型梯度确定模块704，进一步被配置为：
在所述邻居用户集合中确定所述目标用户对应的目标邻居用户，基于所述用户关系图确定所述目标用户与所述目标邻居用户之间的目标通信路径；
基于所述目标通信路径接收所述目标邻居用户发送的邻居模型梯度。
可选地，所述模型梯度聚合模块706，进一步被配置为：
确定所述待更新业务模型的梯度聚合规则；
基于所述梯度聚合规则聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度。
可选地，所述业务模型更新模块708，进一步被配置为：
基于预设梯度解码规则对所述目标模型梯度进行解码，获得所述待更新业务模型的更新模型梯度；
基于预设梯度下降算法根据所述更新模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
可选地，所述业务模型更新模块708，进一步被配置为：
确定模型梯度的梯度总数量，其中，所述模型梯度包括初始模型梯度以及邻居模型梯度；
基于所述梯度总数量确定所述目标模型梯度的平均模型梯度；
对所述平均模型梯度进行解码处理，获得所述待更新业务模型的更新模型梯度。
本说明书实施例提供的基于隐私保护的去中心化业务模型训练装置，基于用户的位置关系或社交关系，构建了一种去中心化的深度学习系统，同时，还提出了一种安全梯度分享算法，该算法能够有效地保护用户隐私数据的安全，聚合后的梯度能够有效地消除噪声，从而在不影响系统准确性的情况下，实现隐私保护，另外，该系统还拥有较高的运行效率，也不存在通信瓶颈，这种系统在商品推荐、图像识别和自然语言处理等多个领域都具有良好的适用性和可扩展性；同时本发明实现了一种无噪声的安全梯度分享算法，能够在不影响系统准确性的情况下，实现对用户隐私数据的保护。
上述为本实施例的一种基于隐私保护的去中心化业务模型训练装置的示意性方案。需要说明的是，该基于隐私保护的去中心化业务模型训练装置的技术方案与上述的基于隐私保护的去中心化业务模型训练方法的技术方案属于同一构思，基于隐私保护的去中心化业务模型训练装置的技术方案未详细描述的细节内容，均可以参见上述基于隐私保护的去中心化业务模型训练方法的技术方案的描述。
图8示出了根据本说明书一实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接，数据库850用于保存数据。
计算设备800还包括接入设备840，接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网（PSTN）、局域网（LAN）、广域网（WAN）、个域网（PAN）或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC））中的一个或多个，诸如IEEE802.11无线局域网（WLAN）无线接口、全球微波互联接入（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC）接口，等等。
在本说明书的一个实施例中，计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图8所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
其中，处理器820执行所述计算机指令时实现所述的数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的基于隐私保护的去中心化业务模型训练方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述基于隐私保护的去中心化业务模型训练方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的基于隐私保护的去中心化业务模型训练方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述基于隐私保护的去中心化业务模型训练方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种基于隐私保护的去中心化业务模型训练方法，其特征在于，包括：
确定目标用户的用户关联集群；
基于所述用户关联集群中的用户关系图，接收初始邻居用户的采样权重，其中，所述用户关系图基于所述目标用户与初始邻居用户之间的通信关联关系和/或位置关联关系构建，所述采样权重基于初始邻居用户对应的邻居业务模型中的损失函数值以及模型训练次数生成，所述采样权重与所述损失函数值成正相关，所述采样权重与所述模型训练次数成负相关；
根据所述采样权重在所述用户关联集群中，确定所述目标用户对应的邻居用户集合；
确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；
聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；
基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
2.如权利要求1所述的方法，其特征在于，确定所述目标用户的待更新业务模型的初始模型梯度，包括：
基于所述目标用户的本地训练数据生成待更新业务模型的基础模型梯度；
基于预设梯度编码规则对所述待更新业务模型的基础模型梯度进行编码，获得所述目标用户的待更新业务模型的初始模型梯度，其中，所述预设梯度编码规则用于对所述基础模型梯度进行加密。
3.如权利要求2所述的方法，其特征在于，基于预设梯度编码规则对所述待更新业务模型的基础模型梯度进行编码，获得所述目标用户的待更新业务模型的初始模型梯度，包括：
确定所述用户关联集群的预设梯度裁剪范围；
基于所述预设梯度裁剪范围以及所述待更新业务模型的基础模型梯度确定待编码模型梯度；
基于预设梯度编码规则对所述待编码模型梯度进行编码，确定所述目标用户的待更新业务模型的初始模型梯度。
4.如权利要求3所述的方法，其特征在于，基于所述预设梯度裁剪范围以及所述待更新业务模型的基础模型梯度确定待编码模型梯度，包括：
在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围内的情况下，将所述基础模型梯度作为待编码模型梯度；或者
在确定所述待更新业务模型的基础模型梯度在所述预设梯度裁剪范围之外的情况下，基于所述基础模型梯度，在所述预设梯度裁剪范围的端点梯度中确定待编码模型梯度。
5.如权利要求1所述的方法，其特征在于，确定目标用户的用户关联集群，包括：
确定与目标用户具有关联关系的初始邻居用户，其中，所述关联关系包括所述目标用户与所述初始邻居用户之间的通信关联关系和/或位置关联关系；
基于所述通信关联关系和/或位置关联关系构建所述目标用户与所述初始邻居用户之间的用户关系图；
基于所述用户关系图确定目标用户的用户关联集群。
6.如权利要求1所述的方法，其特征在于，基于所述用户关联集群中的用户关系图接收所述初始邻居用户的采样权重，包括：
基于所述用户关联集群中的用户关系图，确定所述目标用户与所述初始邻居用户之间的初始通信路径；
基于所述初始通信路径接收所述初始邻居用户的采样权重。
7.如权利要求6所述的方法，其特征在于，根据所述采样权重在所述用户关联集群中，确定所述目标用户对应的邻居用户集合，包括：
在所述用户关联集群中，将所述初始邻居用户的采样权重满足预设权重条件的初始邻居用户，确定为所述目标用户的目标采样邻居用户；
根据所述目标采样邻居用户生成所述目标用户对应的邻居用户集合。
8.如权利要求5所述的方法，其特征在于，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，包括：
在所述邻居用户集合中确定所述目标用户对应的目标邻居用户，基于所述用户关系图确定所述目标用户与所述目标邻居用户之间的目标通信路径；
基于所述目标通信路径接收所述目标邻居用户发送的邻居模型梯度。
9.如权利要求1-8任意一项所述的方法，其特征在于，聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度，包括：
确定所述待更新业务模型的梯度聚合规则；
基于所述梯度聚合规则聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度。
10.如权利要求9所述的方法，其特征在于，基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型，包括：
基于预设梯度解码规则对所述目标模型梯度进行解码，获得所述待更新业务模型的更新模型梯度；
基于预设梯度下降算法根据所述更新模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
11.如权利要求10所述的方法，其特征在于，基于预设梯度解码规则对所述目标模型梯度进行解码，获得所述待更新业务模型的更新模型梯度，包括：
确定模型梯度的梯度总数量，其中，所述模型梯度包括初始模型梯度以及邻居模型梯度；
基于所述梯度总数量确定所述目标模型梯度的平均模型梯度；
对所述平均模型梯度进行解码处理，获得所述待更新业务模型的更新模型梯度。
12.一种业务模型训练装置，其特征在于，包括：
用户集合确定模块，被配置为确定目标用户的用户关联集群；基于所述用户关联集群中的用户关系图，接收初始邻居用户的采样权重，其中，所述用户关系图基于所述目标用户与初始邻居用户之间的通信关联关系和/或位置关联关系构建，所述采样权重基于初始邻居用户对应的邻居业务模型中的损失函数值以及模型训练次数生成，所述采样权重与所述损失函数值成正相关，所述采样权重与所述模型训练次数成负相关；根据所述采样权重在所述用户关联集群中，确定所述目标用户对应的邻居用户集合；
模型梯度确定模块，被配置为确定所述目标用户的待更新业务模型的初始模型梯度，接收所述邻居用户集合中每个邻居用户发送的邻居模型梯度，其中，所述邻居模型梯度为邻居用户对应的邻居业务模型基于邻居用户对应的邻居训练数据生成；
模型梯度聚合模块，被配置为聚合所述初始模型梯度以及所述邻居模型梯度，获得所述待更新业务模型的目标模型梯度；
业务模型更新模块，被配置为基于所述目标模型梯度更新所述待更新业务模型，获得所述目标用户的目标业务模型。
13.一种计算设备，其特征在于，包括存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现权利要求1至11任意一项所述方法的步骤。
14.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210980484.5A CN115081024B (zh) | 2022-08-16 | 2022-08-16 | 基于隐私保护的去中心化业务模型训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210980484.5A CN115081024B (zh) | 2022-08-16 | 2022-08-16 | 基于隐私保护的去中心化业务模型训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115081024A CN115081024A (zh) | 2022-09-20 |
| CN115081024B true CN115081024B (zh) | 2023-01-24 |
Family
ID=83245108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210980484.5A Active CN115081024B (zh) | 2022-08-16 | 2022-08-16 | 基于隐私保护的去中心化业务模型训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115081024B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116522399B (zh) * | 2023-06-30 | 2023-09-19 | 杭州金智塔科技有限公司 | 保护用户隐私的推荐模型更新方法、系统及装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460793B (zh) * | 2018-11-15 | 2023-07-18 | 腾讯科技（深圳）有限公司 | 一种节点分类的方法、模型训练的方法及装置 |
| US11645540B2 (en) * | 2019-08-12 | 2023-05-09 | Nec Corporation | Deep graph de-noise by differentiable ranking |
| CN110704754B (zh) * | 2019-10-18 | 2023-03-28 | 支付宝(杭州)信息技术有限公司 | 一种由用户终端执行的推送模型优化方法和装置 |
| CN113077058B (zh) * | 2019-10-23 | 2022-07-15 | 支付宝(杭州)信息技术有限公司 | 一种由用户终端执行的推送模型优化方法和装置 |
| CN113515770B (zh) * | 2020-04-10 | 2024-06-18 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护确定目标业务模型的方法及装置 |
| CN111814189B (zh) * | 2020-08-21 | 2022-10-18 | 安徽大学 | 一种基于差分隐私的分布式学习隐私保护方法 |
| CN112085172B (zh) * | 2020-09-16 | 2022-09-16 | 支付宝(杭州)信息技术有限公司 | 图神经网络的训练方法及装置 |
| CN112258250A (zh) * | 2020-11-16 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 基于网络热点的目标用户识别方法、装置和计算机设备 |
| CN112446040A (zh) * | 2020-11-24 | 2021-03-05 | 平安科技（深圳）有限公司 | 基于选择性梯度更新的联邦建模方法及相关设备 |
| CN113536383B (zh) * | 2021-01-27 | 2023-10-27 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护训练图神经网络的方法及装置 |
| CN113449319B (zh) * | 2021-06-23 | 2022-08-19 | 华东师范大学 | 一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法 |
| CN113609398B (zh) * | 2021-08-17 | 2023-09-19 | 石家庄铁道大学 | 一种基于异构图神经网络的社交推荐方法 |
| CN114186671A (zh) * | 2021-12-07 | 2022-03-15 | 南京大学 | 一种大批量的去中心化分布式图像分类器训练方法和系统 |
| CN114741611B (zh) * | 2022-06-08 | 2022-10-14 | 杭州金智塔科技有限公司 | 联邦推荐模型训练方法以及系统 |
-
2022
- 2022-08-16 CN CN202210980484.5A patent/CN115081024B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115081024A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Vertical federated learning: Concepts, advances, and challenges | |
| WO2021164365A1 (zh) | 图神经网络模型训练方法、装置及系统 | |
| US20210383280A1 (en) | Methods and apparatuses for defense against adversarial attacks on federated learning systems | |
| CN114912605B (zh) | 基于自适应分割联邦学习的模型训练方法和人脸识别方法 | |
| CN112906903A (zh) | 网络安全风险预测方法、装置、存储介质及计算机设备 | |
| Wang et al. | Attrleaks on the edge: Exploiting information leakage from privacy-preserving co-inference | |
| CN115081024B (zh) | 基于隐私保护的去中心化业务模型训练方法及装置 | |
| CN114595830B (zh) | 一种面向边缘计算场景下的隐私保护联邦学习方法 | |
| CN116506124B (zh) | 多方隐私求交系统及方法 | |
| CN117835246B (zh) | 一种面向任务的隐私语义通信方法 | |
| CN116523074A (zh) | 动态化公平性的隐私保护联邦深度学习方法 | |
| CN115766159A (zh) | 隐私数据处理方法、装置及电子设备 | |
| Li et al. | An Adaptive Communication‐Efficient Federated Learning to Resist Gradient‐Based Reconstruction Attacks | |
| Hernandez-Ramos et al. | Intrusion Detection based on Federated Learning: a systematic review | |
| CN117972766A (zh) | 一种基于多模态联邦学习的反演攻击方法 | |
| Han et al. | FLoRa: Sequential fuzzy extractor based physical layer key generation for LPWAN | |
| Ghosh et al. | Reliable data transmission for a VANET-IoIT architecture: A DNN approach | |
| CN115329981A (zh) | 一种通信高效、保护隐私且抗攻击的联邦学习方法 | |
| Mestoukirdi et al. | Sparser Random Networks Exist: Enforcing Communication-Efficient Federated Learning via Regularization | |
| CN112235787A (zh) | 一种基于生成对抗网络的位置隐私保护方法 | |
| CN118333105B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| Huo et al. | AS‐DMF: A Lightweight Malware Encrypted Traffic Detection Method Based on Active Learning and Feature Selection | |
| Cho et al. | LDoS Attacks Detection for ICPS NB-IoTs Environment via SE-Based CNN | |
| CN116074116B (zh) | 一种基于深度确定性策略梯度算法的网络流变形方法 | |
| Saffer et al. | Lightweight cryptography method in the internet of things using elliptic curve and crow search algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |